NAS bygge (projekt #329)

#1 » 12:10:47, 16-02-2015

Jaha, ännu ett påbörjat projekt....

Har länge velat haft en NAS(alltså en hårddisk som sitter nätverksansluten)

Spara lite film på sen lite program o verktyg mm. Även viktigt nu när man har kameror uppe, så man kan spela in.
Även spela in från TV vore ju kul o kunna göra.

Finns ju några fler dataintresserad här på forat så jag tänkte att kanske nån mer är intresserad av detta.

Som vanligt så spårar det ju ur... Grunden var iaf en RAID5 lösning med minst 4 st diskar.
Hade tänkt mig en QNAP till detta, men varför köpa nåt färdigt när man kan bygga nåt eget mycket dyrare?? :mrgreen:

Nuvarande setup är som följer:
Supermicro X9SCL+-F -moderkort
XEON E3-1240v2 3,4-3,8GHz med 8Mb cache och 4 kärnor
32Gb (4x8) ECC minne Kingston 1600Mhz
5st Seagate 2TB Enterprise NAS diskar 7200 rpm
Qlogic Fibre Channel PCI-E
Låda vet jag inte, men det får nog bli nån gammal PC-låda så detta inte blir så dyrt.

Sen tänkte jag sätta ett FC kort i min PC och köra fiber mellan min PC och denna NAS så det går undan lite. Sen kommer den även att anslutas på LAN med 1gbps kort.

OS: FreeNAS med ZFS raid i RAIDZ konfiguration, en paritetsdisk, liknar RAID5. Ger 4x2tb= 8TB lagringsyta.

Lite länkar:
http://www.supermicro.nl/products/mothe ... SCL_-F.cfm
https://www.dustin.se/product/501081680 ... as-hdd-2tb
https://www.dustin.se/product/501063877 ... -processor

#2 » 01:33:51, 17-02-2015

Ska du köra ZFS så tycker ju att du ska skaffa ett log-device samt även en l2arc om du läser mycket från den.
Nu lider ju inte zfs av raid5s "write-hole", men det gör ändå en monumental skillnad att ha speciellt ett log-device.
Vi har ett par zfs-filers på jobbet som trycker ett par tusen IOPS sustained 24/7 med just sådana.
Zfs är ju ypperligt val för långtidslagring av data med sin blocklevel checksum. Och copy-on-write.

-ekstam

#3 » 09:55:05, 17-02-2015

Ja, log-device har jag funderat lite på, men hamnar inte den på USB disken som OSet ligger på?

Vad är l2arc då?

#4 » 11:02:22, 17-02-2015

Du vill ha något med väldigt låg latency som log-device, eftersom du "pool"ar alla skrivningar dit innan dom åker ned på de vanliga diskarna. Så någon SLC SSD är att rekommendera. Utrymmesmässigt klarar man sig med väldigt lite, jag kör våra 4TB-filers med 4GB logg, tror aldrig det vart ens en gig nyttjad på dom.
L2ARC är ett device där det som puttas ut ut ram-disk-cachen hamnar. Så man får förenklat sett en större sådan, där bör man köra någon läsoptimerat low-latency-storage, t.ex. en MLC SSD.

-ekstam

#5 » 11:46:17, 17-02-2015

Ok, ska kolla upp detta. Går dessa två att lägga på samma disk då?

Moderkortet har dykt upp

Originalets URL: http://tapatalk.imageshack.com/v2/15/02/17/def8f3e2bc43506e9f985461aa0affb8.jpg

#6 » 18:35:30, 17-02-2015

Nu har hårddiskarna kommit oxå :thumme:

Har läst lite mer om FreeNAS nu. Finns ju hur mycket som helst att läsa på deras sida såklart. Det kommer nog ta nåt år innan man kommit in i det ordentligt.
Ska köra Samba på denna oxå.

.... As a general rule of thumb, an L2ARC should not be added to a system with less than 64 GB of RAM an...

Jag kommer ju köra med 32Gb RAM så nån disk till L2ARC är inte akuellt. Sen ska det man vill ha cachat rymmas till stor del på den extra disken så det kommer inte passa till mitt användningsområde.

Håller på o läser lite om separat loggdisk. Det verkar inte vara helt uteslutande att jag skaffar en sån. Får se vad jag kommer fram till...

#7 » 20:34:31, 17-02-2015

Kod: Markera allt: capacity operations bandwidth latency pool alloc free read write read write read write ---------- ----- ----- ----- ----- ----- ----- ----- ----- dataset-1-raid10 941G 1.25T 12 7.83K 305K 161M 488.41 1109.77 mirror 235G 321G 3 1.72K 116K 36.1M 309.20 1162.83 c17t50000393D8235E0Ad0 - - 2 821 58.0K 40.3M 301.36 11.21 c19t50000393D832B686d0 - - 1 713 58.5K 35.9M 307.06 12.65 mirror 235G 321G 2 2.02K 48.8K 41.2M 948.77 1015.13 c12t50000393D8283856d0 - - 2 720 48.8K 40.0M 938.01 9.76 c14t50000393D8280722d0 - - 0 792 0 44.1M 0.00 11.14 mirror 235G 321G 0 1.91K 0 40.5M 0.00 1039.27 c13t50000393D82818CEd0 - - 0 781 0 43.0M 0.00 11.04 c15t50000393D828071Ad0 - - 0 737 0 40.5M 0.00 12.74 mirror 235G 321G 5 2.17K 140K 42.5M 416.07 1226.86 c16t5000C5001C9612E1d0 - - 2 652 57.0K 40.7M 113.79 14.98 c18t50000393D8234AC6d0 - - 2 645 82.5K 41.2M 702.80 11.96 c3t0d0 305M 3.55G 0 18 0 1.19M 0.00 1.24 cache - - - - - - c0d1 119G 8M 0 0 63.4K 0 1.58 0.00 c4d1 119G 8M 0 0 63.4K 0 1.72 0.00 ---------- ----- ----- ----- ----- ----- ----- ----- ----- syspool 34.8G 197G 0 0 0 0 0.00 0.00 c1d0s0 34.8G 197G 0 0 0 0 0.00 0.00 ---------- ----- ----- ----- ----- ----- ----- ----- ----- ^C admin@nex1a:~$

Här har vi en sådan filer, just denna tar emot en stor del av det data vi har för trendanalysering av olika grejjer, så dom ~8000 IOPS som ligger där är väl att betrakta som normalvärde.
Runt en halv miljon datapunkter som mäts var 10e sekund :mrgreen:

Denna har dock loggdiskarnas loggdisk i sig, en sån här; http://www.ddrdrive.com/ är en PCI-E-bräda med ett interface för att presentera DDR-minne som persistent storage till OSet på.

Annars är det vanliga 600GB 10krpm SAS-diskar i den, i en stripe av mirrors.

Och sen två 128GBs SSDer som L2ARC.

Nu ska jag sluta förstöra din tråd

Ska bli kul att se vad som växer fram.

-ekstam

#8 » 21:16:57, 17-02-2015

haha

Kul med lite input :thumme:

Verkar iaf finnas mycket bra verktyg i OSet för att just kunna avgöra huruvida vilken hårdvara som flaskhalsen ligger i.

Ang log-disk så kan man köra ett tag sen kolla upp om det skulle hjälpa med en sådan och då går det att mosa i efterhand.

Jag gör detta av två anledningar; dels behöver jag den hemma sen försöker jag hitta nåt koncept jag kan sälja till mina kunder.
Nu menar jag inte att just denna konfiguration rakt av passar alla men att med detta får jag en referens. Sen kan man bygga både billigare och dyrare lösning.

Jag har en lista på vad jag vill åstadkomma hos mina kunder, köper jag det som en HP server så ligger prislappen ganska högt för ett mindre företag. Nu är jag såpass kräsen att även ett mindre företag tycker jag skulle ha en viss nivå. Med detta koncept hoppas jag kunna halvera kostnaden för kunden. Men, men än så länge är det bara i teorin.

#9 » 21:20:30, 17-02-2015

Vad är IOPS? Och hur många har Maskinisten?

**#10** » 21:44:01, 17-02-2015

http://en.wikipedia.org/wiki/IOPS

**#11** » 22:24:24, 17-02-2015

är ingen datakille men jag har kört freenas några år dock det som är det ursprungliga programmet. såg att det krävs en del av hårvaran för att kunna köra freenas programmet idag.

**#12** » 23:32:47, 17-02-2015

Då kommer jag med lite kontrollfrågor.
Du köpte ett socket 1155 moderkort, var det extra bra/billigt för att inte köpa ett nyare socket 1150 med Xeon V3? Stack ut lite tyckte jag, men har inte koll på lösa moderkort för dessa Xeon-processorer.
Vilket FibreChannel-kort är det och vad kostar det?
Jag är inte alls hemma på FibreChannel. På jobbet är det 10 Gbps ethernet med iSCSI för att koppla ihop SAN:et med virtualiseringshostarna. Men såg att det gick ju på lite det också om man köper korten löst.

Jag kör inte själv någon NAS men gjorde en snabb koll förut och började sätta upp en med NFS-share, men jag valde NAS4Free som (om jag minns rätt) var fork av ursprungliga FreeNAS.

**#13** » 23:42:18, 17-02-2015

Kunde nog fått ett 1150 kort för ungefär samma pris. Kommer inte ihåg varför det blev just 1155 :klia:

Nåt qlogic 4gbps. Kostar ca 70:-/st
Snabbare än 1gbps ethernet iaf.
Skulle hellre köra 10gbps ethernet

Ok. Har inte läst så mkt om den ännu. Är den distron bättre?

**#14** » 23:48:15, 17-02-2015

Towil skrev:http://en.wikipedia.org/wiki/IOPS

Oh, okej, men då har Maskinisten mer än 8000 IOPS iallafall :mrgreen:

minst 10.500! :svettas:

**#15** » 01:15:37, 18-02-2015

Ja 70 kr styck är svårt att slå.

Tror jag läste den här genomgången och bestämde mig för att testa.
arstechnica.com/information-technology/2014/06/the-ars-nas-distribution-shootout-freenas-vs-nas4free/
Blev ju inte mer av det och det var virtuellt det kördes.