Kleiner Tipp von meiner Seite: Label dir die Festplattenschlitten noch mit der entsprechenden Seriennummer, das macht das Austauschen stressfreier, falls mal eine die Grätsche macht.
@@der8auer Oder mit nem Edding einfach die letzten 4 Ziffern der Seriennummer draufschreiben. Weiss man zu schätzen wenns mehr Platten werden und einem "ist das denn die Richtige" durch den Kopf schiesst beim Tauschen irgendwann :)
@@peterpain6625 Habe mir auch die gleichen Toshiba HDDs wie Roman gekauft. Die Seriennummern von 6 HDDs sind bis auf zwei Zeichen in der Mitte vollkommen identisch. Die letzten 4 Zeichen wären bei allen HDDs identisch 😀 Kommen vermutlich alle aus der gleichen Charge.
Hi, ich arbeite seit über 15 Jahren professionell mit Speichersystemen und insbesondere ZFS. Ich würde dir gern einen Rat mit auf den Weg geben. Die heutige "Lehrmeinung" ist, dass RAID-Z bei den heute gängigen HDD Größen eine Gefahr darstellt und nicht mehr empfehlenswert ist, stattdessen sollte RAID-Z2 eingesetzt werden Im Falle eines Festplattenausfalls müssen in der Zwischenzeit die verbleibenden Disks schwerere Arbeit verrichten, wenn dann die defekte HDD ausgetauscht wird startet der sog. Resilver-Vorgang - die Festplatte wird wieder einsynchronisiert - dabei müssen von allen verbleibenden Platten alle daten gelesen werden. Das haut auf die verbleibenden Platten noch mal so richtig rein ... die Wahrscheinlichkeit, dass während des Resilvers eine weitere Festplatte ausfällt ist dadurch stark erhöht, deshalb versucht man den Resilverprozess so kurz wie möglich zu halten. Bei 20 TB großen HDDs mit ca. 110 MB/s Durchsatz dauert das schon mal über 2 Tage ... zusätzlich dazu fehlt dir bei RAID-Z, wenn eine Platte ausgefallen ist, die Redundanz um von ZFS' Self-Healing funktionalität zu profitieren. Statistisch gesehen haben Festplatten alle X-billionen bits einen Bitfehler, ... das führt dazu, dass Laienhaft ausgedrückt, 20 TB HDD so groß sind, dass sie, wenn man sie von vorn bis hinten liest garantiert irgendwo einen Fehler drin haben... Wenn wir jetzt an unseren Resilver denken, bei dem alle HDDs gelesen werden, stolpert (statistisch) der Resilverprozess garantiert über einen Bitfehler ... den ZFS dann nicht beheben kann, denn es gibt keine Redundanz in diesem Moment. Deshalb wird nach aktuellem Stand, bei allem was >2TB ist, empfohlen RAID-Z2 einzusetzen. Bei RAID-Z2 werden schlicht zwei HDDs als Redundanz genutzt ... bei einem zpool aus 4 Elementen ist das leider ein sehr starker Schlag für die (Speicher-)Effizienz. Ein zusätzlicher Hinweise für deine TrueNAS installation: Ich hab gesehen im Video ist deine "Reporting Database corrupt" - das tritt u.U. nach einem Reboot auf und liegt an einer falsch eingestellten Real Time Clock. Das Reporting ist dir wahrscheinlich rel. egal, allerdings ist eine falsch gesetzte Uhr auf einem Serversystem immer eine schlechte Idee. Viel Erfolg mit dem System :-)
Mit einem weiteren Backup dürfte das aber auch nicht so dramatisch sein, oder? Meiner Meinung nach dient Raid-Z schon fast nur der Einfachheit halber, dass bei einem etwaigen Defekt zumindest die Möglichkeit besteht, dass System einfach wieder zum Laufen zu bekommen. Klappt es dann nicht weil eine weitere Platte ausfällt, dann greift man eben aufs zweite Backup zurück.
Die Problematik hatte ich schon beim einfachen Raid 1. Eine Platte geht kaputt. Ich tausche aus, stelle das Raid wieder her. 2 Tage später die andere alte Platte segnet das zeitliche...
Yep gibt so raid calculatoren im net. Bei 20 TB und Raid5 ist sehr wahrscheinlich dass das Raid am Ende nix bringt (40-50%). Würde bei über 12 TB HDDs immer Raid10 empfehlen. Egal wieviele 16 TB HDDs zb verbaut sind (4,6,8,...), die failure rate bleibt immer bei nur 12%. Die chance liegt hoch (9/10) dass der rebuild klappt... Dazu kommt dass Raid10 deutlich schneller ist. Einziger Nachteil ist halt €€€ also man verliert 50% Kapazität...
@@achannelhasnoname5182 Es geht darum dass man die Echtzeitarbeit nicht verliert. Backup kann es passieren dass man Stunden/Tage/Wochen an Arbeit verliert... Aber Backup sollte man immer auch neben drm Raid haben, am besten in feuerfesten Kiste oder an Ort Nr 2.
@@Bofrostmannful So ist das meistens. Ein Fehler kommt selten allein. Ist mir zwei Desktops und 2 Raidplatten im Raid 5 passiert, bevor ich einen neue Festplatte einbauen konnte.
Baue meine NAS schon lange selbst. TrueNAS war damals auch so ne Überlegung. Am Ende bin ich aber beim Unraid gelandet, fand das Konzept sehr geil und bin auch seit vielen Jahren bei geblieben. Möchte es einfach hier mit erwähnen, falls sich irgendwann jemand hier was ähnliches bauen will und über die Software nachdenkt. Ist jedenfalls ein Blick Wert :D
Man muss dazu erwähnen, dass unraid, wie der Name schon sagt, kein RAID ist. Ist ja erstmal nichts neues. Daten werden als ganzes auf Festplatten kopiert. Am Ende gibt es eine Festplatte, die die Summe aller Festplatten bit für bit abspeichert, sodass bei einem Ausfall einer Festplatte, sie komplett wieder rekonstruiert werden kann. 2 Dinge die mich dabei stören: die Spiegel Festplatte muss mindestens so groß sein, wie die größte Festplatte im Pool (warum nicht wie bei einem RAID einfach alles gleiche Festplatten verbauen? Warum muss man da Experimente machen? Aber das ist natürlich Nutzer abhängig. Das kann man auch mit gleichen Platten machen). Und der zweite Punkt, der mich am meisten stört: da die Dateien als ganzes nur auf einer Platte landen: die Lesegeschwindigkeit ist ungefähr bei dem max einer einzigen Festplatte. Wenn man 10G Lan hat und eine HDD hat, wartet man, je nachdem was man kopiert Tage darauf. Bei einem RAID 5 könnte ich theoretisch einen 10G Port komplett auslasten, wenn ich es darauf anlege.
Da hat jemand wohl das Funktionsprinzip von Unraid nicht verstanden. Das die Paritäts-HDD mindestens gleich groß wie die größte Daten-HDD sein muss: wie sonst willst du den die Ausfallsicherheit gewährleisten, ohne dabei die besonderen Funktionen von Unraid zu verlieren...? Und wer die erhöhten Lese-/Schreibraten eines Raids braucht bzw. haben will, der wird sich eh nicht weiter mit Unraid befassen - außer man will n Troll sein...
@@Crazynin1 du kannst doch alle Platten in gleicher Größe einbauen. Musst es aber nicht :D Bei mir ist die Primary halt einfach die größte .. weil ich die anderen Platten in der Zukunft evtl. mal dahin ersetzen will. Bei deinem Punkt 2 hast du aber Recht - zumindest wenn du keine SSDs einsetzt. Wobei aber das halt Anforderungssache is. Beim Datengrab brauchst du die Dateien selten mit 10G wieder davon runter gezogen.
Als Hetzner-Fan könntest du ja noch ein Offsite Backup mittels Hetzner Storage Box einrichten. Dann hast du einen doppelten Boden, falls mal die Bude abbrennt oder alles in dem Stromkreis deiner Wohnug hops geht.
Limit ist hier aber IMO 24TB. Zumindest sehe ich kein Angebot mit größerer Kapazität. Hatte mich die Tage ebenfalls diesbezüglich informiert und Hetzner ist mit Abstand die „günstigste“ Option für eine solche Menge an Daten. Das Backup NAS würde ich an Romans stelle optimalerweise an einen anderen Standort (Familie, etc) verlagern. Dann ist man auch im Falle eines Brandes, Wasserschadens, etc. noch abgesichert.
Top, Backup sind nicht zu vernachlässigen. Im Fall eines wie immer unerwartenden Ausfalls ist es immer eine Erleichterung so etwas zu haben und vorbereitet zu sein. Wie immer ist es nicht die Frage ob ein Ausfall passiert sondern wann. Und mit Backup ist es dann relativ egal ob und wann.
Viel wichtiger ist das es ein Offline Backup ist, also eines das wenn selbsttätig started und abfragt. Ich habe es mit einem rsync Server Dienst gelöst wobei das Vault einen Pull macht. Mein Backup fährt morgens um 9 uhr automatisch per Zeitschalte an, startet einen Rsync CALL mit eigenem Passwort gen NAS und schaltet sich dann später wieder ab. Es ist nur über das Webinterface zu erreichen mit einem eigenen Passwort, SMB ist deaktiviert. Ein Virenbefall kann schnell sich in der NAS Software festsetzen und dann sitzt dort der Virus und verschlüsselt alle Rechner im Netzwerk. Daher ist das Vault ideal wenn es am Vormittag startet, man wach ist und noch alles Okey morgens ist, dann macht es den Abgleich und schläft wieder ein. Dabei kann es nicht von aussen attackiert werden, ohne das Vault Passwort.
für offsite backup großer datenmengen wäre ein S3 storage anbieter oder hdd housing mein vorschlag. aber egal was man nimmt, immer auch die restore kosten vorab klären!
An die Cloud-Backup Fraktion: Ja klar wäre das ideal, aber dafür muss auch die Internetleitung passen und Cloud-Speicher kostet WESENTLICH mehr. Amazon S3: 1,64€/TB, Hetzner: 2,41€/TB, Strato: 8,5€/TB, alle natürlich pro Monat. 20TB * 1,64€/Monat * 36 Monate = 1180€ UND da kommen soweit ich weiß noch Bandbreiten-Kosten hinzu. 20TB HDD = 260€ *2 (damit immer 1 außer Haus bleibt) * 36 Monate * 4 Wochen * 0,95€/Dose * 2 Dosen Bier = 793,60€ UND du hast einen legitimen Grund dich regelmäßig mit deinem besten Kumpel treffen zu dürfen.
Kennst du schon pcloud? Ist wesentlich billiger. Dazu noch EU-Anbieter also DSGVO-konform. 10TB 1190€, das lebenslang. Finde ich eigentlich preislich ok. Ja, ist natürlich immer so ne Sache ob das in 60 Jahren nich läuft, aber, warum nicht?
@@electronicstv5884 Die habe ich bei meiner Preissuche auch gefunden, aber deren TOS und FAQ (gerade durchgeblättert) sind bzgl "Lifetime" sehr eindeutig 💩 "Termination: We reserve the right not to provide the Site or Services to any user." "Does pCloud have a minimum period under which Lifetime usage will be guaranteed? In essence, by paying a couple of years in advance, you're getting storage for a lifetime. If you’re in doubts about the Lifetime plan as a solution to your storage needs, we recommend our monthly and annual subscription plans. " tl;dr Gibt keinerlei Zusagen zur Dauer der "Lifetime" Produkte.
@@spacenomad5484 Bei seinem Verwendungszweck wäre Cloud Speicher vermutlich trotzdem Kosteneffektiver. Und so schnell muss dasd Internet nicht sein dafür
@@electronicstv5884 Korrektur: Sie behaupten DSVGO-konfrom zu sein, haben aber z.b. keine eigene EU-Datenschutz-Vertretung. Sind de fakto auch kein EU anbieter sondern ein Schweizer Anbieter, und rechtlich gesehen müssen die sich dadurch nur an das Datenschutzgesetz der Schweiz halten. Was dem Schweizer Behörden also sehr sehr guten umfangreichen zugriff auf die Daten erlaubt. Und operiert wird aus Bulgarien raus. Man muss auch die Frage stellen, wie die sich Finanzieren. Weil durch diese Lebenslange gedöns mit sicherheit nicht.
Nice, fühle mich in meiner Gehäusewahl bestätigt :D Das Gehäuse ist wirklich das Äquivalent zu Synology- / QNAP-Gehäusen für den Eigenbau-NAS. Dremeln konnte ich mit Auswahl der angeschlossenen Kabel und ein bisschen Quetschen vermeiden 😄
So wie du dein NAS verwendest, könntest du ein Problem mit bit rot bekommen (Linus hatte da letztes Jahr so einiges an Daten verloren). TrueNAS führt regelmäßig ein scrubbing auf den Festplatten durch, um bit rot vorzubeugen. Dafür muss das NAS jedoch eingeschaltet bleiben.
@@marlon32 ja aber der kalender ist nicht sonderlich flexibel. Ich benutze meine ds 1815+ als backup von meinem unraid server. der macht jeden sonntag ein backup mit den neuen daten auf die synology. jetzt möchte man alle 3 monate ein scrubing machen, das geht zwar, aber man kann nicht sagen alle 3 monate aber start nur am sonntag. so muss ich immer selber schauen wann das wieder zeit für ein scrubing ist oder nicht. Bei truenas geht das ohne probleme.
Grundsätzlich ein wichtiger Punkt. Scrubs bei ner Backup Location ließen sich allerdings vermeiden, wenn man das Backup häufig, also zB einmal im Monat dürfte hier reichen, auffrischt. Da das Synology ja, falls richtig konfiguriert, selbst Scrubs durchführt, würde es bei Dateibeschädigungen auf der Backup Location die entsprechenden Dateien neu senden. Zumindest wenn man das über nen Pull Task vom TrueNAS aus startet, das geht über Checksums. Wenn das Synology Pushed hängt das von der Einrichtung ab ob da über Checksums gearbeitet wird oder nicht. Wenn man das System allerdings eh monatlich dafür anmachen würde, könnte man auch einmal monatlich den Scrub direkt auf dem TrueNAS laufen lassen, dementsprechend eine eher akademische Überlegung. Der bestehende Plan das System nur ein paar Tage im Jahr laufen zu lassen ist bzgl. Bit Rot allerdings keine ideale Lösung. Auch wenn bei primär Videodateien der Einfluss von Bit Rot nicht so groß ist, da nen großer Teil der Bitfolge keine dramatischen Auswirkungen auf die vollständige Datei hat. Drauf anlegen dadurch Dateien zu verlieren, würde ich's trotzdem nicht
@@lafeu812 Ja das selbe habe ich mir auch gedacht. Ich wollte das aber eigentlich nicht kritisieren. Aber in Romas Fall würde das wahrscheinlich schon Sinn machen. Ich glaube da hat Roman auch die richtigen Partner für an der Hand.
3-2-1 ist für Privatpersonen meistens übertrieben. Ausreichend ist schon ein 2-1. Wobei für die 1 dann auch schon ausreicht, die HDDs in einem wasserdichten & feuerfesten Safe, am anderen Ende des Hauses bzw. des Grundstücks zu platzieren. Ausnahme bestätigen natürlich die Regel - bei Gefahr von Erdrutschen und/oder Flutkatastrophen, sollte die 1 dann wirklich an einem weit entfernten Ort sein. ^^
@@kitsunesenpai441 Kommt immer auf die Wichtigkeit der Daten an. Also ich habe zum Beispiel ein Schließfach bei einer 200km entfernten Bank mit meinen wichtigen Unterlagen. Kann mir diese auch jeder Zeit via Kurier senden oder was einlagern lassen. Bei Daten nutze ich einfach die Google Cloud. Ja, ist jetzt aus Datenschutz Sicht vielleicht nicht die Top Lösung, aber sollen die meine Familienfotos doch sehen oder meinen Kopf auf den einer sexy Baywatch Tante packen. Mir ehrlichgesagt wumpe. Dazu eben die Sicherung zuhause. 3-2-1 ist wichtig, wenn du mit den Daten Geld verdienst. Das tut Roman und somit sinnvoll wenn man wirklich hohe Verfügbarkeit und Sicherheit haben will vor Verlust.
Bitte mehr zu dem Thema. Nutze zwar auch Synology und bin sehr zufrieden aber mich interessieren auch Eigenbaulösungen. Wobei Hard- und Software interessant ist.
05:12 kurios :D wenns hier passiert, muss ich immer an "slippery fingers"-Linus denken..... wenn bei ihm passiert, denke ich immer an "kracht ne CPU in einen Sockel" ;) bei allem Respekt vor eurem Wissen und eurer Arbeit: es schmerzt jedes mal aufs neue.....
Hast du ZFS Snapshots aktiviert um gegen Verschlüsselungsransomware zu schützen? Denk dran, dass manche Ransomware mehrere Monate schlummernd liegt, bis sie zuschlägt.
Ich hätte zwischen den HDDs jeweils ein slot leer gelassen für besseren airflow. Beim backuppen muss man auch noch bedenken ob man ACLs mit sichern will und falls ja, UNIX oder NFSv4 (das selbe wie das Quell NAS). Für so sporadisches sichern ohne failover wäre evtl auch ein DAS die bessere Lösung gewesen. Ansonsten hat man mit zwei TrueNAS im cluster mit snapshot Replikation die beste Absicherung
Also normalerweise würde ich ja sagen "wer schlau redet, will klug wirken oder hat es selber nicht verstanden" ABER deine Aussagen hat glaube ich Hand und Fuß :D:D Auch wenn ich es nicht verstehe, stimme ich dir zu :D:D
@@philipdb2455 Danke, habe vor 10 Jahren meine erste NAS auf Windows Basis gebaut und seitdem viel Erfahrungen mit RAID konfigs/Dateisystemen/Backupping sammel -dürfen- müssen. Hab aktuell eine TrueNAS SCALE VM auf einem Proxmox host installiert. Der Hypervisor schleift 5x 8TB HDDs für RAIDZ1 + 1x 1TB SSD für ArcL2 cache durch. Über die 10GbE NIC habe ich bei einer großen Datei Schreibraten von ≈600MB/s (bis der ArcL1 cache voll ist, dann ≈250MB/s). Backups ziehe ich einmal Täglich auf eine 22TB HDD welche ich wöchentlich mit einer in einem Safe rotiere.
Das mit den freien Slots kam mir auch sofort in den Sinn, vor allem, weil es sich bei dem Gehäuse mit 8 Slots und 4 HDDs direkt anbietet. (Mache ich nach Möglichkeit auch immer) Ein DAS wäre für diese Anwendung aber übertrieben, da Du dann wieder einen anderen Controller und SAS HDDs benötigst. Auch die Variante mit den 2 TruNAS im Cluster schießt über das Ziel hinaus. Denn, so wie ich das verstanden habe, wird darauf nur das Grundbackup gemacht und danach so alle 2 bis 4 Wochen synchronisiert. In der Zwischenzeit ist das NAS ausgeschaltet.
@@MrSteini1979 von welchen DAS redest du..? Es gibt ein DAS von Orico mit 5 Hotswap SATA Bays für 120€. Und ein TrueNAS Cluster kann auch zum gelegentlichen sichern genutzt werden. Der Hauptvorteil dabei ist ja, dass der ganze ZFS Pool via Snapshots auf Block-Ebene gesichert wird.
@@FaySmash Gut, das ist eigentlich nur ein Multibay(Raid) USB-Gehäuse. Da wird es mit der dauerhaften Unterbringung an einem anderen Standort zwecks Sicherheit aber eher schwierig.
Ich hoffe es ist ECC-RAM, bei ZFS sehe ich das als Notwendigkeit. Ansonsten sehr ähnlich zu meinem NAS aus 2012, welches inzwischen mit 6x3TB, Raid Z2 eher zu den kleineren gehört, aber immer noch ohne Ausfall da steht.
@@TimEckertPauschal stimmt das so nicht. Nicht alle RDIMMs haben ECC, auch wenn dies meistens der Fall ist. Den RAM, den Roman eingebaut hat, hat jedoch ECC.
Du hast tatsächlich circa 58 Terrabyte Speicher in deinem RAID zur Verfügung. Angezeigt werden dir Tebibyte. Kleiner Funfact zu dem Thema: Windows berechnet Datenmengen auch mit Zweierpotenzen also als Kibibyte, Mebibyte, Gebibyte, Tebibyte, etc., gibt sie dann aber fälschlicherweise als Kilobyte usw. an.
Ich habe letztes Jahr auch ein NAS zusammengeschraubt. Hab mir ein Asus Prime A320 Board mit nem Ryzen 2200G geschossen, dazu dann 16 GB Ram und alles in ein Fractal Design Node 804 gepackt, dazu noch ne Lüftersteuerung und nen SATA-Controller. Zur Zeit sind 5 8 TB HDDs drin. Hab OpenMediaVault installiert und es laufen auch ein paar Docker Container. Hab auch noch auf HDD-Seite ein paar mehr Lüfter verbaut. Müssten BeQuiet Silent Wings gewesen sein. Netzteil hatte ich noch nen 400Watt BeQuiet rumliegen.
Bin selber Sysadmin (zum Teil auch wegen dir^^) und muss ehrlich sagen: Alles im Video komplett cringefrei für jmd. vom Fach. Komponentenwahl perfekt für den Usecase, IPMI sinnvoll genutzt, TrueNAS Scale verwendet (was vllt. nicht optimal ist, aber definitiv ein sehr gutes NAS OS). Gut gemacht, und würde sagen viel weiter gedacht als so einiger anderer UA-camr 😂
@@lukas_ls Ich vermute er meint, das er lieber ein NAS auf basis eines Linux Systems und ZFS aufsetzen würde. So würde ich das machen. Edit: TrueNAS ist mehr so ein Set and forget system (klar um updates muss man sich noch kümmern). Danach hat man eine schöne WEBUI Wenn man das auf Linux Basis komplett selbst installiert (zfs, smb, nfs, ldap usw. einrichten), hat man mehr arbeit und hängt viel in der Konsole, aber man hat aber auch mehr Möglichkeiten.
@@lukas_ls Nichts, hab ja gesagt ist ein sehr gutes NAS OS. Gibt halt noch andere OS die eher für Backups im speziellen geeignet sind, oder halt einfach ein blankes Linux ohne alles mit nem Samba share und ZFS. Aber dafür muss Roman dann halt auch mit Linux klar kommen und ohne Storage-GUI zurechtkommen, was verständlicherweise die meisten Home-User dann halt doch nicht machen wollen.
Ich habe 2 Qnap NASen und binn ebenfalls sehr zufrieden aber der Selbstbau ist ne echt coole Sache, und wenn ich dass früher gesen hätte , hätte ich kein Qnap 8Bay Nas käuflich erworben. Tolles Video tolle Info, weiter so
die hochkant cmos battery einfach nur premium das müssen mehr mainbords haben dann kann man vernünftig die wechseln und bricht sich nicht dabei die finger beim rauspopeln
Vermutlich hätte es ein DAS (Direct Attached Storage) für den Anwendungszweck ebenso getan und hätte einen Bruchteil vom Preis gekostet, zumal man mit einem DAS am Synology auch die Funktionalität vom gelegentlichen Backup aus dem Netzwerk hätte umsetzen können. Nicht das ich das nicht auch so gelöst hätte, aber man denkt als Ingenieur oft viel zu kompliziert.
mit einem NAS hat man halt einfach mehr Möglichkeiten. Des weiteren wenn das 90% vom Strom getrennt ist, kann es auch nicht durch Spannungsspitzen zerstört werden im Gegensatz zu einem DAS.
@@electronicstv5884 Genau darum geht es doch, das NAS hat er bereits und ein DAS schließt man nur an, sofern man es auch verwendet. Genauso wie er es jetzt mit dem NAS vor hat. Dazu braucht man kein NAS, dazu genügt ein deutlich günstigeres DAS. Die "mehr Möglichkeiten" werden allesamt nicht verwendet, da es nicht als normales NAS sondern als "anschaltbare Festplatte" für ein paar Tage im Jahr zum Backup genutzt wird. Schau dir bitte das Video komplett an, damit du den Zweck von Roman für dieses NAS verstehst, er sagt es im Video bereits selbst, das es vermutlich kompletter Overkill ist.
@@nonames9 ich habe mir bereits das Video komplett angesehen. Ja, es mag ein wenig Overkill sein, aber lieber im Nachhinein mehr Möglichkeiten haben als später nachrüsten zu müssen...
Schön das Du einen Beitrag zu einem NAS-Build auf ZFS-Basis machst und Daumen hoch, dass Du auf eine Datacenter-Plattform mit ECC-Ram setzt, um Datenintegrität bestmöglich sicherzustellen. Storagekonzepte und Backup wird leider von vielen Leuten nicht Ernst genug genommen und dann ist das Zähneknirschen immer groß, wenn die einfache USB-HDD hin ist. Die Beschäftigung mit ZFS-Systemen hat mich damals vor rund 10 Jahren auch von einem reinen Windows-User an BSD und Linux an die Shells dort herangeführt. Ebenso an ESXI.
Richtig cooles Video 😊 Falls du dich mal noch tiefer in die Thematik einliest, würde ich mich noch über ein Budget Build freuen, der auf kosteneffizienz achtet (Stromverbrauch) und mit dem man 24/7 drauf zugreifen kann, auch vom Handy ^^
Von außerhalb drauf zugreifen ist halt immer so eine Sache. Da muss man die Ports weiterleiten und das stellt ein potentielles Sicherheitsrisiko da. Außerdem musst du immer die aktuelle IP deines Hauses wissen und manche Internetanbieter ermöglichen das Hosting von Diensten nicht, da kann man einfach keine Verbindung herstellen.
TrueNAS-Scale kann dynDNS und einen wireguard-server laufen lassen, bei 24/7 würde ich die Platten über das Chipset des MB laufen lassen und nicht über einen HBA. eine 6-Kern-APU + mindestens 16 GB RAM und einen schnenellen NIC wenn gebraucht (10 Gb/s)
Für den einfachen Anwender sind wohl Synology und Qnap der way2go. Einfach auf Kleinanzeigenportalen nach gebrauchten Gehäusen ausschau halten und eben Festplatten dazu kaufen. Fernzugriff und Dateiverwaltung sowie viele andere nützliche Software gibt es kostenlos dazu bzw. sind im Kaufpreis inkludiert. Ein TrueNAS Budget Build wäre normale gebrauchte Desktop Hardware und eben die notwendigen Festplatten dazu. Lässt sich ja alles auch mit einem normalen PC realisieren.
Wieder ein sehr gelungenes Video. Wer gerne mehr als nur ein NAS realisieren möchte empfehle ich Proxmox. Als ITX Gehäuse kann ich das Jonsbo N3 (5x3,5), N2 (5x3,5) oder N3 (8×3,5) empfehle. Als Mainboard selbst nutze ich das Topton N5105 (4x Intel i226-V 2,5G Nics Dual M.2 NVMe Sechs SATA 3,0 2 * DDR4 HDMI 2,0 Mini) Ich würde zu gerne mal sehen wo die ganze Server übereinander gestapelt von Roman ihren Platz gefunden haben.
Ich hab mir vor ca. nem halben Jahr ein NAS mit TrueNas Scale gebaut. Bin auch sehr zufrieden damit. Einzig musst du schauen, dass du dein NAS genug häufig upgradest. Da du es eh nur als Backup verwendest ist es bei dir nicht so schlimm, bei mir liefen aber nach dem letzten Upgrade der Version keine Docker Apps mehr.
Du solltest über ein offsite Backup (3-2-1) nachdenken. Bei den Datenmengen natürlich krass. Cloud oder zweite Synology. Ohne FTTH nicht zu realisieren 😅
Nutzte fast 12 Jahre einen HP Microserver, erst mit WHS, dann Freenas und nun Truenas Core. Der AMD Turion drückt immer noch über 100mb/s lesend (zuletzt mit 4 HGST Travelstar Z7K500.B, ja mir reichte 1TB in Raid 10).
Ich würde das Nas jetzt noch bei dir in die Firma stellen wegen der Räumlichen Trennung der Daten. Und was für Festplatten wichtig ist, Sie halten deutlich länger wenn diese einfach durch laufen, ständige Neustarts mögen diese nur bedingt. Ansonsten sehr schön umgesetzt.
Wieder mal ein interessantes Video. Was technisch heutzutage doch so alles möglich ist, wenn der Basteltrieb mal wieder durchschlägt ( und Kosten keine Rolle spielen )...
Hi Roman, hattest du zwischenzeitlich auch eine LTO-Sicherung in der engeren Auswahl. Gerade weil du keine heiße Sicherung brauchst, wäre das doch evtl. Etwas für dein nächstes Projekt. LTO-7 HH gibt es schon zu annehmbaren Preisen und die Tapes sind dann günstig. LG
Ahoi, so richtig schnell ist das aber noch nicht. Wir bauen unsere Geräte auch mit TrueNAS. Allerdings kommen wir auf 500-800GB Speed. Wir verteilen die Last auf 8-12 HDDs haben noch ne SWAP/Caching SSD und einen vernünftigen HDD Controller mit BBU
@@der8auer danke, gabs keine Gelegenheit dich anzusprechen, da ihr aus den Parkhaus rausgefahren seid. Wollte nur mein Respekt aussprechen! Mach weiter so 👍🏼
Mit nem zweiten SynologyNAS hättest die einfach miteinander einmal im Monat oder so synchronisieren lassen können :D Selber Nutzen und weniger Verbrauch. Abgesehen davon hast du bei Synology den Vorteil, dass du die HDDs immer ins nächste NAS übernehmen kannst (Vorrausgesetz mindestens selbe Anzahl an Bays), heißt du hättest für dein Hauptnas auch physisch nen "Backup", wenn das mal defekt ist. Platten einfach rüber ins Backup NAS und dann in Ruhe auf den Ersatz warten ohne Ausfall. Ist nen schönes Projekt, aber zwei Synologys sind mein ich die bessere Wahl.
@@xiyangyang1974 Ja funktioniert bei unseren Kunden einwandfrei. Kann man sogar machen, wenn man beide in unterschiedlichen Netzen oder Standorten hat, da limitiert natürlich dann die DSL-Leitung die synchronisierungsgeschwindigkeit. Man sollte allerdings darauf achten, dass man die "+" Varianten (intel cpu) nutzt, die sind Flott. Die "Play" Varianten sind meist eher in der Leistung limitiert und bieten solche funktionen oft nicht. Bei unseren Kunden haben wir von den kleinen zweiBay bis zu den großen RackStations alles im Einsatz und damit auch schon verschiedenste Backupmöglichkeiten auf die Beine gestellt. Können bisher nicht klagen. Außerdem bieten die + auch mit dem ActiveBackupForBusiness auch eine der entspanntesten Möglichkeiten um u.A. auch von Clients Backups zu ziehen, ohne dass diese Leistungseinbußen haben. Nutze das Backup selbst bei mir mit nem kleine 2Bay Nas zu Hause, sichert mehrmals am Tag und behält dann immer die letzte Tagesversion für einige Zeit. Würde also immer eigentlich eher zu sowas tendieren, als sich so ein eigenbau NAS zu bauen, einfach viel Stressfreier das ganze. Hab auch ein von der Hardware gleichwertiges QNAP daneben stehen, da sind die Möglichkeiten der Anwendungen aber meiner Meinung nach wesentlich limitierter, schnell sind aber beide und das OS ist bei beiden eigentlich relativ identisch. Klingt fast wie nen Werbetext, bekomme dafür kein Geld keine Sorge, aber meiner Meinung nach kommt von der unkomplizierten Art und die Möglichkeiten die man hat, kaum eine andere Lösung an Synology aktuell ran, sofern man sich kein Play kauft.
@@MrsPiggi Vielen Dank für die ausführliche Antwort. Ich sehe auch kaum eine Alternative zu Synology. Ich habe nur j Modelle, und die sind inzwischen völlig ungeeignet dafür, die TB, die man so hat, herumzuschieben. HyperBackup und die meisten Apps blockieren das System bis zum Stillstand. Ich hatte auch bei den stärkeren Modellen von Problemen mit HyperBackup gehört, darum beruhigt es mich nun ein bisschen, dass ihr so gute Erfahrungen damit habt.
@@xiyangyang1974 Hyperbackup klappt eigentlich ganz gut find ich. Kommt evtl auch immer bißchen auf die Netzwektoplogie drauf an. Oder man plant dir synchro so ein bißchen auserhalb der Hauptlastzeiten. Einmal am Tag Nachts oder so
Ich schau jetzt schon zum vierten mal das Video und war auch schon auf Caseking nach Hardware schauen und bin auch fündig geworden. Da ich seit 14 Jahren mit Qnap arbeite ist das Dateisystem auf deinem NAS Neuland für mich und ich betreibe meine beiden NASen 4 Bay mit Raid 5 ohne Probleme. Das Dateisystem auf deinem NAS kenne ich nicht und muss mich erstmal damit auseinandersetzen. Aber tolles Video, tolles Projekt und tolle Katze. Die tolle weiße Katze durfte ich ja auf Corsair Deutschland sehen und habe mich sehr darüber gefreut. Aber es wäre cool von Dir ein Video zu sehen hinsichtlich Einrichtung der NAS.
13:55 kommt mir etwas langsam vor, da eine einzelne diese HDDs schon so ~180-240MB/s (angeblihc sogar bis 290MB/s, was ich nicht glaube) packen sollte.
Ich hab mir gerade auch ein NAS Gebaut mit einen Raspberry Pi 4. Der hat nur 6 TB Speicher und nur 1 GB Ethernet aber für meine Backup reicht das aus. Platten habe ich über 3.0 USB angeschlossen. Rennt super. NAS Software habe ich nicht laufen, einfach über Samba Share gelöst, gibt aber für den PI auch software dafür. Aber lass dann lieber PiHole drauf laufen.
@@electronicstv5884 Wlechen Pi hattest du? Also ich kopier gerade ein TB an Daten auf die Platte 2/3 hat er und nicht ein Problem. Seine 4 Kerne sind sagen wir zu 20% ausgelastet. Aber ich habe das über Samba gelöst, brauche nicht dringend extra Software dafür.
von den sata karten wird großartig abgeraten, eigene erfahrung, macht nur probleme... kauf einen HBA (also eine raid karte ohne raid) als OS kann ich dir nur unraid empfehlen.
Ich weiß nicht, ob das für dich ein relevantes Risiko ist, da du das System ja nur für eine Backup-Kopie deiner Daten verwendest. Aber für Leute die sich ggf. selber einen NAS bauen wollen, ist es eventuell relevant: Das Datenblatt von den Festplatten gibt eine UBE/Non-recoverable Read Error Rate von 10 per 10^16 Bits (-> 10^15 Bits) an. Umgerechnet tritt also ca. alle 113.7TiB (125TB) gelesene Daten ein nicht-behebbarer Lesefehler auf. Deshalb sollte man bei großen Platten kein Raid5/RaidZ1 einsetzen. Die meisten nicht-enterprise Platten haben sehr häufig sogar eine Fehlerrate von 10^14 Bits (ca. 11.37TiB / 12.5TB), was das Problem deutlich verschlimmert. Bei einem Rebuild müssen alle Daten der verbleibenden Platten gelesen werden (bei RaidZ1 nur tatsächlich genutzte Daten; Bei klassischem Raid5 die vollständigen Festplatten), was bei dieser Konfiguration hier im schlimmsten Fall 60TB sind. Also statistisch gesehen im schlimmsten Fall eine 48-prozentige Chance, dass ein solcher Lesefehler beim Rebuild auftritt. Wenn das in einem Datenblock passiert hast du Datenkorruption. Wenn das aber in den Metadaten passiert, verlierst du den Pool. Bei einem normalen Raid5 ists direkt vorbei.
Die Mathematik geht nicht so ganz auf, aber sonst ist es schon richtig. Wobei das bei ZFS schon sehr extrem unwahrscheinlich ist, dass man Probleme haben wird
@@lukas_ls Was soll da denn nicht aufgehen? Zur Vollständigkeit halber einmal die Berechnungen: 10 Fehler per 10^16 Bits = 1 Fehler per 10^15 Bits. Da hat sich jemand in der Marketing-Abteilung gedacht, dass 10 per 10^16 besser klingt. Industriestandard im Consumer-Bereich sind 10^14 und im Enterprise-Bereich 10^15. 8 Bits = 1 Byte. -> 10^15 Bits = (10^15)/8 Byte -> Ein Tebibyte (IEC-Einheiten, 2er-Potenzen) sind 2^40 Byte, damit: ((10^15)/8)/(2^40) = 113.686838 TiB -> Ein Terabyte (SI-Einheiten, 10er-Potenzen) sind 10^12 Byte, damit: ((10^15)/8)/(10^12) = 125 TB Für 10^14 Bit analog. Falls Tebibyte vs Terabyte zur Verwirrung führt: - SI-Einheiten (KB, MB, GB, TB, PB, EB, ...) arbeiten mit 10er-Potenzen. Kilo = Tausend (10^3), Mega = Million (10^6), Giga = Milliarde (10^9), Tera = Billion (10^12) usw. - IEC-Einheiten (KiB, MiB, GiB, TiB, PiB, EiB, ...) arbeiten mit 2er-Potenzen. Kibibyte = 2^10 = 1024, Mibibyte = 2^20 = 1024^2, Gibibyte = 2^30 = 1024^3 usw. Windows führt dabei bei vielen Leuten leider zur Verwirrung, da Windows Speichermengen mit SI-Einheitskürzeln anzeigt aber mit IEC-Einheiten rechnet. Das ist historisch bedingt und wurde leider nie von Microsoft geradegestellt/angepasst. Deswegen wird eine 2TB-Festplatte in Windows auch nur als 1.81"TB" dargestellt. Das ist auch der Grund warum viele Festplattenhersteller explizit die Anzahl der Bytes angeben oder Disclaimer in die Produktbeschreibung schreiben, da es in der Vergangenheit wohl einige wütende Kunden gab, die sich betrogen gefühlt haben. Festplatten werden nach Industriestandard in SI-Einheiten (z.B. Terabyte) angegeben. Im Rebuild wegen Plattenausfall hast du damit 3*20TB an roher Datenmenge die potentiell gelesen werden müssen. Bei RaidZ1 hängt die Menge der zu lesenden Daten während des Rebuilds von den tatsächlich genutzten Daten ab. Im Kontrast zu Raid5, wo der Controller (ebenso bei Software-Raid) nicht weiß, welche Blöcke der Festplatten genutzt werden, weshalb die gesamten Festplatten gelesen werden müssten. Der schlimmste Fall und das größte Risiko ist bei RaidZ1 also, wenn der Speicher nahezu voll ist. Das entspricht 3*20 = 60 TB (= 3*20*10^24 / 2^40 = 54.5696821 TiB genutzte Kapazität [Siehe auch 13:38 unten über den Create und Cancel Buttons]) Prozentrechnung: 60TB/125TB * 100 = 48% UBE's lassen sich *_nicht_* verhindern. Man muss immer damit rechnen, oder es gibt potentiell ein böses Erwachen nach dem Tausch einer defekten Platte. RaidZ1 hat zwei Vorteile gegenüber klassischem Raid5 in der Situation: a) Beim Rebuild müssen nicht die ganzen Platten gelesen werden. Dadurch fällt die Eintrittswahrscheinlichkeit geringer aus, solange die Platten nicht nahezu oder ganz voll sind. b) Tritt ein UBE während des Rebuild auf, kann das bei Datenblöcken verkraftet werden. Bei Metadaten-Blöcken ist es weiterhin kritisch. Ja, es ist mit RaidZ nicht so extrem kritisch wie bei klassischem Raid5, da nicht zwingend alles Futsch ist sondern eventuell nur Datenkorruption auftritt. Aber das Problem löst sich mit RaidZ1 nicht einfach in Luft auf, s.o. 48% Wahrscheinlichkeit für Datenkorruption (und potentiellen Verlust des Pools, wenn die Metadaten betroffen sind) sollten nicht einfach ignoriert werden. Selbst wenn der Pool nur zur Hälfte gefüllt ist, sind das schon 24%. Der Ziel von meinem Kommentar war, dass Leute, die sich einen NAS zuzulegen, dieses Problem kennen und sich entsprechend vorher informieren. Die Datenblätter von fast allen Festplatten lassen sich sehr leicht finden und man kann sich einfach 10^14 -> 12.5TB bzw. 10^15 -> 125TB merken. Da hat sich in den letzten 15 Jahren nichts getan. Und da es heutzutage immer mehr Richtung SSDs geht (wo Raid5 noch vollkommen OK ist!) wird da wohl auch nicht viel mehr passieren. Dinge wie kosmische Strahlung werden weiterhin ein Problem darstellen und mit der stagnierenden Entwicklung von konventionellen Festplatten wird man die Fehlerrate wohl kaum großartig weiter senken können. Wenn man von consumer-grade Platten ausgeht wird es nämlich deutlich schlimmer: WD Red werden z.B. als NAS-Festplatten vermarktet. Haben aber eine UBE Rate von 10^14 Bits, selbst bei den neuesten Modellvarianten. Wenn man da z.B. 4x 14TB WD Red Pro (CMR; WD140EFGX & WD140EFFX) nimmt hat man statistisch gesehen direkt 3.7 solcher Fehler beim Rebuild in Kauf. Das ist nicht vernachlässigbar! Habe ich leider beruflich oft genug bei Kunden gesehen, wo dann nacher Daten gerettet werden müssen, was leider nicht immer klappt. Eine 3-2-1 Strategie wird häufig erst verwendet, nachdem man sich bereits die Finger verbrannt hat. Im Heimbereich werden sich die wenigsten Leute Gedanken um Offsite-Backups und Disaster Recovery-Strategien machen. Da muss man sich dann nicht noch selber unnötig Stöcke in die Speichen stecken.
@@themenk Nette Erklärung, das wäre aber nicht nötig gewesen, das weiß ich selbst. Ich weiß welche Probleme es gibt und hatte dir ja auch im wesentlichen Zugestimmt (mit dem Hinweis, dass ein kompletter Pool defekt unter ZFS durch das Design aber eher unwahrscheinlich ist). Mein Punkt ist aber, dass die Berechnung falsch ist. Wie du richtig geschrieben hast, ist die Wahrscheinlichkeit für ein falsches Bit bei 10^-15. Damit ergibt sich der Erwartungswert für Fehler von 125TB, so weit so korrekt, aber du kannst nicht mit dem Erwartungswert weitere Wahrscheinlichkeiten ausrechnen, das funktioniert mathematisch einfach nicht. Nach deiner Argumentation würde die Wahrscheinlichkeit für einen ube bei einer Plattengröße von 125TB bei 100% liegen, aber das ist ja offensichtlich nicht der Fall, die treten ja nbicht in einer vorhersehbaren Rate auf, sondern haben einfach eine gewisse Wahrscheinlichkeit, aufzutreten. Nur weil ich jetzt einen Fehler hatte, heißt es ja nicht, dass ich die nächsten 125TB keinen Fehler mehr habe. Das ganze ist eine Binomialverteilung und so musst du auch rechnen. Der Pool hat eine Kapazität von 3 x 20 x 8 x 10^12 Bits und die Fehlerwahrscheinlichkeit bei 10^-15. Damit ist die Wahrscheinlichkeit für 0 Fehler bei 60TB: P(x=0) = (60*8*10^12 choose 0)*((10^-15)^0) *(1-10^-15)^((60*8*10^12)-0) = 0,619 und damit P(x>0) = 1-0,619 = 0,381 also 38% Auch die Aussage mit der Größe der Platte ist schwierig, da die Wahrscheinlichkeit auch bei kleineren Platten recht hoch ist. Das Risiko steigt nicht linear mit der Pool Größe. Die Wahrscheinlichkeiten für mindestens einen UBE (bei 10^15) für ein paar übliche Pool konfigurationen: 24TB (4x8TB): 17,5% 32TB (5x8TB): 22,6% 8TB (3x4TB): 6,2% 4TB (2x4TB): 3,2% Sobald man auf über ~20TB geht, ist die Wahrscheinlichkeit schon sehr hoch.
jetzt noch ein offsite-backup, was die meiste zeit nicht läuft (wie dieses ja auch), damit, wenn irgendwas mit dem Haus oder den Datenträgern passiert immernoch ein Backup an einem anderen Standort (Hetzner zB?) existiert
ich hab mir ein UNRAID NAS bzw. DAS (direct attached storage) gebaut. Für Games only hab ich nen extra RAID Controller drin für RAID 0, für Datensicherungen dann UNRAID eigene Pools. Verbunden habe ich das ganze per Direktverbindung über 10gbit LAN, Asus 10gbit im DAS und 10gbit onboard im PC.
Ist schon geil was du da gebaut hast war sehr überracht mit der ghetto mod cpu kühlung habe solche mods früher bei ATI grafikkarten gemacht nachdem der werkskühler abgeraucht ist war zwar nicht schick hat aber seinen zweck erfüllt
Bisher hatte ich nicht die Notwendigkeit für einen Netzwerkspeicher. Wenn die internen Platten nicht mehr ausreichten, habe ich nachgerüstet. Am Ende dann mit einem Wechselschacht. Aber das wird sich im Zuge immer größerer NVMe-SSDs auch erledigen. Da reicht dann ein Adapter auf USB, und man kann die SSDs extern anschließen.
ja wobei ein Raid sowie ein NAS eigentlich nie ein wirkliches Backup ist/wäre, wenn ich ne externe Platte bespiele und die mindestens nen halbes Jahr lang nicht aktiviere um darauf zuzugreifen oder das Backup auf einen neueren Stand zu bringe, das ist dann ein Backup. Dafür verwendet man eben in der Regel so oder so schonmal kein NAS sowie auch ebenso kein SoftwareRaid wie in diesem Falle
@@dennisgamingexperience5613 ich mache meine Backups für Win11 und MX-Linux jeweils auf einem USB-3.0-Extern-LW, die ich mir mal bei Saturn geschossen habe, als die im Angebot waren. Die für Win11 hat 5TB und die für Linux. 4TB und alles läuft, wie geschmiert.
Ich an Deiner Stelle wäre ja flugs zur LTX geflogen und hätte das Ding zusammen mit Jake Tivy gebaut. Hätte sicher 'nen schicken Overkill-Faktor gehabt... 😂
Danke, schwanke schon lange damit herum aus meinem Losen USB NAS ein richtiges NAS zu machen. Jezuz habe ich sogar eine Lösung die ich einfach kopieren kann. Der Extra Wartungsport ist fantastisch, quasi ein MiniComputer vor dem richtigen Computer, wie ich es von den großen Server kenne. TrueNAS hätte ich mir auch als Lösung ausgesucht.
das Mainboard ist meiner Meinung nach unpassend für dieses Gehäuse und auch für seinen Anwendungsfall. Wenn man da ein normales (egal ob nun ITX oder ATX) nimmt, kommt man weitaus günstiger hin
Mit passender Konfiguration sind solche Systeme deutlich günstiger als fertige Systeme. Die einzige Sparte die sich schlecht mit Selbstbau bedienen lässt, wären günstige fertige 2-Bay Lösungen wie ein DS220J, wobei ich die sowieso nur sehr eingeschränkt empfehlen würde, da denen die Möglichkeit auf Scrubs fehlt und die Performance selbst für das ausreizen der Gigabit Netzwerkverbindung zu mager ist. Um 300-500€ bekommt man allerdings seeeehr gut ausgestattete Selbstbau Systeme (ohne Festplatten natürlich), die selbst gegen fertige Systeme um 1000€ aufwärts deutlich performanter und funktionsreicher sind
Wenn dich interessiert was das System tatsächlich aus der Dose zieht kanns auch mit Strommesser für die Steckdose arbeiten. Ich nutze da das Voltcraft SEM6000 mit der smartphone app. Hat allerdings Manchmal Probleme das teil zu finden und braucht dann zeit auf dem smartphone. Wenn ich das hingegen mit Bluetooth und ner Linux Bash Nutze geht das immer sofort . Das habe ich noch nicht ganz verstenden. Ich Tippe, dass das System in dem Betrieb zwischen 12 und 30 Watt zieht . Ich habe selbst ein AsRock Rack Board verwendet und man merkt das es in dem Szenarium etwa 10 Watt weniger braucht als mit einem üblichen AM4 board und der selben CPU. Also ich denke ein Stromfresser ist das nicht. Und dann muss man bedenken: Macht man die Selbe konfiguration mit einer Pie wird man eventuell auf 15 Watt auch kommen wenn man da festplatten mit einbezieht und versucht eine möglichst hohe netzwerkbandbreite zu erreichen . Aber genau sagen kann ich es nun nicht
Kleine Empfehlung für die Toshibas: die solltest du regelmäßig auf funktionsfähig prüfen. Bei uns im NAS schmieren die regelmäßig ab. Hab im letzten halben Jahr 2 zur Reparatur geschickt. Ansonsten cooles Video.
Das muss nicht immer was mit den Toshiba zu tun haben. Das kann dir genauso mit WD oder Seagate passieren. Mir ist auch eine WD abgeschmiert. Da spielen zu viele Faktoren rein, um es auf ein Modell eines bestimmen Herstellers herunterzubrechen.
@@TheBurnout96 ist nur eine Beobachtung meinerseits. Einer unserer Qnaps ist voll mit denen und bereits mein Vorgänger hat mich vor dem Problem mit den Toshibas aus eigenen Erfahrungen gewarnt. RMA läuft aber immer anstandslos. Unsere Seagates zum Beispiel machen keine faxen. Aber du hast Recht, man kann immer Mal Pech haben. Nur die Toshibas stechen dort bei uns sehr hervor.
Mein "NAS" hat letztens nen Upgrade bekommen. Allerdings nutze ich normale Desktop-Hardware mit Undervolting auf der CPU - in dem Fall ein Ryzen 5 5500. 32GB DDR4 3200 hatte ich noch rumliegen. Und den Rest hab ich auch noch da gehabt. Bei mir läuft insgesamt aber auch mehr drauf.. Unraid als Basis und dann ein paar Docker und ne VM. Nen bisschen Netzwerkkram -JDownloader, Droppy und AdGuard Home -, Plex und zwei Gameserver - Wreckfest und über die VM hab ich nen Minecraftserver mit Mods laufen. Und sollte ich mal nen bisschen mehr zum enkodieren haben, hab ich noch ne Quadro M2000 rumliegen 😅
Witziger Zufall, habe auch vor zwei Wochen meinen DIY NAS gebaut. In erster Linie für Plex und Datengrab, aber maybe auch lokale Smarthomesteuerung und mal schauen was mir noch so in den Sinn kommt. Bei mir ist's ein i3-12100 geworden, wegen der UHD730 für's Transcoding, ältere CPUs mit iGPU hätten's bestimmt auch getan, aber haben sich vom Preis nicht viel getan... 32GB DDR5, weil hatte ich von einem Kumpel bekommen, und bisher 16TB HDD, 8TB davon Parity und 1TB SSD für Cache. Alles verbaut in einem Node 3 und als OS Unraid. Viel Frickelei bisher, aber Spaß macht's und das ist ja die Hauptsache 😅
Hab vor ein paar Jahren auch überlegt mir selbst ein NAS zu bauen, dann aber doch zu einem Synology gegriffen. War ne gute Entscheidung, das Ding läuft 1A als eigene Cloud, kann auch von unterwegs mit Smartphone, Schlepptop oder notfalls über Browser VPN-geschützt auf alle meine Daten zugreifen.
Ich habe bei dem Case ein Winkel blech genommen so das die Luft ohne Umwege durch den HDD Käfig muss. Bei Dauerbetrieb sollte man das machen. im hoch Sommer hatte ich ohne das blech 47grad und mit blech max 40 in der Regel habe ich 35grad bei 7 Platten dauerlast. Außerdem laufen meine lüfter "Noctua NF-A14 industrialPPC-3000 PWM, 140mm" auf max (Hochsommer)
Pass auf, wenn du das NAS nur ein paar mal im Jahr laufen lässt. Festplatten können Daten verlieren, wenn sie lange nicht eingeschalten sind. Mir sind in der Vergangenheit einige Daten dadurch zerstört worden. Genau deswegen bin ich für meine Backups auf LTO Bänder gewechselt. Die sind auf den Speicherplatz und die Lagerfähigkeit viel günstiger als HDDs. Bransicherheit ist da auch so eine Sache. Meine Daten sind dreifach gesichert. Alle Bänder sind an komplett unterschiedlichen Plätzen gelagert, dass gar nichts passieren kann.
ZFS entdeckt und repariert bei verfügbarer Redundanz Bitrot automatisch beim Lesen von Dateien. Oder man kann regelmässig manuell per "zpool scrub" einen Durchlauf anstossen.
Für den Usecase ist das vollkommen okay. Wenn man allerdings täglich sowas nutzt und das als zentraler Punkt im Netzwerk ist, ist die Geschwindigkeit wirklich lahm. Liegt aber ziemlich sicher daran das für ZFS viel zu wenig RAM eingebaut wurde, und die CPU auch nicht ewig flott ist. Mein ZFS-Z1 macht mit 5x WD GOLD im schreiben ca 1 GB/sec. Allerdings ist das zuhause dann mein aktiver Server & NAS. Als Software wird bei mir allerdings Proxmox verwendet.
Liegt eher an den HDDs bzw. der Anzahl. Auch wäre RAID10 eher die Wahl für mehr Performance. RAID5/6/ZRaid und alles andere was mit Paritäten arbeitet ist halt inherent langsamer. Kommt halt drauf an, was man braucht. Mein Syno RAID10 mit 8 Platten macht locker 1800MB/s in Read und Write. Kann ich leider nur begrenzt nutzen, da der 10G Link schon bei 1250MB/s saturiert ist. Habe noch ein Syno RAID6 mit 6 Platten, welches insbesondere im Write deutlich langsamer ist.
Mein Performance Herz blutet. Bitte bitte Roman, RAID 10 dann hast du zwar nur 40TB, aber es können unter Umständen sogar 2 Festplatten Ausfall. Was aber wichtiger ist es ist 30-40 Performanter. Du könntest auch noch mit dem cache spielen und deine SSD nutzen. Gruß ebenfalls Roman
13:16 "SoftwareRAID" ist mit so einem SATA Controller jetz aber nicht so wirklich toll wie wäre es mit einem "LSI MegaRAID SAS 9271-8i", 1GB Modul mit bei und nem Akku für den Cache falls Stromausfall vorkommt während des anlegen des Backups ? Wenn man schonn was aktuelleres als GigaBit-LAN wirklich durchgängig hat, dann macht genau das auf jeden Fall Sinn, ich mein gut als Backup jetzt nicht unbedingt lohnenswert aber für ein richtige Selbstbau-NAS sollte man das so dann in Erwägung ziehen falls das Mainbaord kein vernünfiges Raid an Board hat. An genanntem LSI, kann man auch SATA-Platten nutzen, da kommen an 2 Ports, jeweils 4 Platten bei mit den entsprechenden Kabelpeitschen. JBOD kann man machen indem man Raid-0 Arrays konfiguriert mit nur einer Platte jeweils, was in dem Sinne für Backups dann auch Sinn macht, weil die einzeln an nem SATA Controller tatsächlich ganz normal weiterlaufen, bzw wenn man da ne Platte anklemmt die bereits eine Partition hat, man die in ein solches Array "reinschmeisst" läuft die auch am LSI genau so weiter. In nem laufendem System mit Windows ist das durchaus leider problematisch, weil man die Treiber nicht gescheit aktualisieren kann, abgesicherten Modus kann man denn halt vergessen beispielsweise, Win10 geht besser als 11, weil 11 keine SSD's an dem LSI als SSD erkennt, was echt schade ist. Wenn man nen Rechner mit guter Gehäusebelüftung hat und sinnvoll was nachrüsten will, kann ich sowas jedenfalls nur empfehlen, 1GB Cache für Platten is schonn verdammt nice, die paar MB die so ne Platte hat im Vergleich is da nen Witz im Vergleich.
Falls Du dich über schlechten Datendurchsatz wundern solltest: Tausch den SATA Controller gegen einen LSI HBA (9211) mit ensprechenden Adapterkabeln. Gibts gebraucht bei ebay und ist deutlich besser.
Ich hab für mein NAS vier WD Red Raid Festplatten von 4 verschedenen Lieferanten (ARLT, Alternate, ...). Wenn man z.B. 4 von einem bestellt kann sein das man ne Charge erwischt die bei z.B. drei identisch ist und wenn man ein Serienfehler hat verrecken dann gleich 3 ^^ (mit Pech kann man die 4 diverifiziert bestellten Platten natürlich auch vom gleichen Band / Tag sein).
@@lukas_ls schön wärs ... Da WD nix sauber labelt ham se schon ne Klage (glaube) weil se SMR auch im Red Label haben und - wie du es bereits erwähnt hast - es steht NIRGENDS.
@@klimbimbel6446Als Reaktion auf die Klagen hat WD die Produktlinien angepasst: Red: SMR Red Plus: CMR Red Pro: CMR Wenn kein Plus oder Pro draufsteht, ist es SMR
Wasser, Feuer, Diebstahl...? Und dann? Ist ganz nett, ein NAS, was nicht automatisch für Backups zur Verfügung steht? Was bedeutet "nicht jeden Tag"? Machst Du das dann 3-4 mal im Jahr an und ziehst die Backups manuell? Wenn ja, warum und was bringt das?
@der8auer Kannst du vielleicht die genaue Typenbezeichnung des Motherboards posten da es als upgrade von alten HP-Nas tauglich wäre von der Baugröße und den Anschlüssen
Netter Build. Der Einfachheit halber hätte es auch ein esata Enclosure oder externe Platten getan. Hyper Backup drauf und fertig. Ich sehe allerdings klar den Vorteil eines dedizierten Systems.
Der Epyc Limitiert wahrscheinlich in der Singlethreaded Performance mit SMB. Hab die Platten selbst und die rennen mit ca Minimum 200MB pro Sekunde. Mein Threadripper limitiert da leider auch weswegen nur ca 700MB pro Sekunde im RAIDZ1 möglich sind maximal leider
@@electronicstv5884 SMB ist leider mega single threaded was halt übelst nervt xD denke auch mit der Sata Karte wird er auf ca max 600MB pro Sekunde limitiert sein selbst wenn die CPU es mitmachen würde. Was ich halt auch etwas "anstrengend" finde, hätte gerne SSDs als "pseudo-cache" deswegen der Threadripper aufgrund der Menge an Pcie Lanes. Für Software RAID brauchst gute Multicore Performance um parity berechnen zu können und bei Truenas ist auch die Frage ob du komprimierst oder nicht. Wenn du aktiv komprimierst brauchst auch gute Multicore Performance um halt live komprimieren können. Also so die Balance zwischen Menge an PCIe Lanes, Singlecore und Multicore zu finden ist noch so ein bisschen die Frage was ich mache xD Noch paar Jahre warten, eventuell lohnt sich ja dann 3rd gen Threadripper oder sogar Intel W790 für die Kiste ^^
@@Mom19SMB ist allgemein nicht besonders schnell, Windows sowieso nicht. Wer ernsthaft etwas mit Netzwerk Speicher tun will, kann kein Windows nutzen, die Performance ist damit immer unterirdisch
@@lukas_ls ist mir auch bewusst, aber me wirkliche Alternative bietet sich mir nicht wirklich tbh. Mein Workflow ist komplett Windows basiert, nur auf Arbeit nutze ich Linux (ist auch cool, don't get me wrong) und 700MB pro Sekunde ist auch ganz nett, aber die Möglichkeit 10Gbit auszuschöpfen wenn man es schonmal hat wäre mal ganz nett... FTP ist halt auch nicht das Richtige für meine Zwecke. Theoretisch könnte ich multiple Typen von Datentransferprotokollen benutzen um diverse Dinge zu erledigen, aber da überwiegt die Bequemlichkeit alles über ein Protokoll zu jagen, den nutzen von vielleicht 200MB mehr at max. Zumal ich eh momentan nur 4x16TB Toshiba Enterprise MG Platten drin habe. SSDs sind noch zu teuer damit sich das vernünftig lohnt. Dementsprechend krieg ich so oder so nur 700MB/s peak hin sofern das Quell-Medium dementsprechend schnell genug ist. Vorerst ausreichend und eher nochmal diskutabel wenn SSDs nochmal ca die Hälfte kosten oder Threadripper 3000-5000 auch nur noch die Hälfte kostet von dem was es aktuell kostet. Also erstmal relativ Gurke tatsächlich. Aber ist mir halt beim Testen meines Setups aufgefallen wie sich das ganze eben verhält. Für richtigen Server Kram ist Windows so oder so nicht zu gebrauchen 😄 Vielleicht noch nen Minecraft Server zum zusammen klicken, das wars aber dann auch schon wieder 😂 (Hab ich aktuell tatsächlich auf einem 8700K laufen ohne Probleme und ordentlich Leistung bzw kaum Auslastung dadrauf, war zu faul mein altes OS zu purgen und Linux zu installieren so yeaah ^^)
Mein selbstgebautes NAS ist natürlich kein Vergleich... Bei mir läuft ein SBC Nano Pi M4 (4+2 Kerne, 4 GB RAM, 16 GB eMMC). Über USB3 ist eine 1 TB SSD (55% belegt) angeschlossen. Alles ist schön in einem 19" Einschub im 19" Rack eingebaut. Das Steckernetzteil hat 5 Watt / 3A, was bei Volllast 15 Watt bedeutet. Läuft lautlos im 24/7 Betrieb. Da sich am System selten etwas ändert, gibt es ein wöchentliches Backup der Konfigurationsdateien und eine monatliche Sicherung des gesamten Armbian-Betriebssystems (eMMC). Zusätzlich werden bestimmte Archive nachts automatisch per SFTP auf meinen Webspace geladen. Für mich ist diese Setup vollkommen ausreichend.
Du solltest ggf. eine 64GB SSD (SATA) als Bootmedium für das OS verwenden und die M.2 SSD als Cache einrichten, dann schaffst du auch mit den HDD's die 10Gbit für den Transfer bei Kleinen bis Mittleren Datenmengen ;)
@@lukas_ls Die SSD als Read Cache einzurichten wäre kein Problem, macht für die Anwendung als Backup Location aber keinerlei Sinn. Die SSD als SLOG wäre auch ne Möglichkeit (da sollte man sich nur überlegen ob man einen Mirror braucht oder nicht) und könnte sogar massiv die Performance verbessern, wenn man das System so konfiguriert, dass alle Schreibvorgänge zwingend synchron behandelt werden. Ist in dieser Anwendung zwar nur sehr begrenzt vorteilhaft zu asynchroner Verarbeitung, könnte man sich allerdings überlegen
@@pridedoggo ich habe mich vielleicht nicht ausreichend ausführlich ausgedrückt, allerdings meinte ich natürlich Write Caching, weil das der einzig "sinnvolle" Einsatzzweck wäre. Die Transfere sind ja grundsätzlich Writes und das kann ZFS nicht cachen. Aber auch selbst wenn ZFS write Caching könnte, würde es nicht wirklich viel bringen, da die Performance des ganzen ja keine Rolle spielt und nach Ende des Transfers das NAS wieder ausgeschaltet werden soll. Es bringt dann nichts, auf einen schnellen Datenträger zu schreiben, nur um dann mit dem Shutdown wieder auf die HDDs warten zu müssen.
@@lukas_ls Richtig, Write Caching im traditionellen Sinne geht nicht. Nen SLOG ist aber kein Problem und würde, sofern man synchronous writes wollen würde, helfen.
Kleiner Tipp von meiner Seite: Label dir die Festplattenschlitten noch mit der entsprechenden Seriennummer, das macht das Austauschen stressfreier, falls mal eine die Grätsche macht.
das ist eine super Idee! Danke
@@der8auer Oder mit nem Edding einfach die letzten 4 Ziffern der Seriennummer draufschreiben. Weiss man zu schätzen wenns mehr Platten werden und einem "ist das denn die Richtige" durch den Kopf schiesst beim Tauschen irgendwann :)
Kenne das Case nicht, aber dafür lässt man üblicherweise einfach die Disk LED blinken (wenn man sie halt hat)
@@meFisttoU wenn das case den pro hdd ne LED hat - ich hab nen Standard rechner Gehäuse, bei mir sind die alle ohne Schlitten drin.
@@peterpain6625 Habe mir auch die gleichen Toshiba HDDs wie Roman gekauft. Die Seriennummern von 6 HDDs sind bis auf zwei Zeichen in der Mitte vollkommen identisch. Die letzten 4 Zeichen wären bei allen HDDs identisch 😀
Kommen vermutlich alle aus der gleichen Charge.
Hi, ich arbeite seit über 15 Jahren professionell mit Speichersystemen und insbesondere ZFS. Ich würde dir gern einen Rat mit auf den Weg geben.
Die heutige "Lehrmeinung" ist, dass RAID-Z bei den heute gängigen HDD Größen eine Gefahr darstellt und nicht mehr empfehlenswert ist, stattdessen sollte RAID-Z2 eingesetzt werden
Im Falle eines Festplattenausfalls müssen in der Zwischenzeit die verbleibenden Disks schwerere Arbeit verrichten, wenn dann die defekte HDD ausgetauscht wird startet der sog. Resilver-Vorgang - die Festplatte wird wieder einsynchronisiert - dabei müssen von allen verbleibenden Platten alle daten gelesen werden. Das haut auf die verbleibenden Platten noch mal so richtig rein ... die Wahrscheinlichkeit, dass während des Resilvers eine weitere Festplatte ausfällt ist dadurch stark erhöht, deshalb versucht man den Resilverprozess so kurz wie möglich zu halten. Bei 20 TB großen HDDs mit ca. 110 MB/s Durchsatz dauert das schon mal über 2 Tage ... zusätzlich dazu fehlt dir bei RAID-Z, wenn eine Platte ausgefallen ist, die Redundanz um von ZFS' Self-Healing funktionalität zu profitieren. Statistisch gesehen haben Festplatten alle X-billionen bits einen Bitfehler, ... das führt dazu, dass Laienhaft ausgedrückt, 20 TB HDD so groß sind, dass sie, wenn man sie von vorn bis hinten liest garantiert irgendwo einen Fehler drin haben... Wenn wir jetzt an unseren Resilver denken, bei dem alle HDDs gelesen werden, stolpert (statistisch) der Resilverprozess garantiert über einen Bitfehler ... den ZFS dann nicht beheben kann, denn es gibt keine Redundanz in diesem Moment. Deshalb wird nach aktuellem Stand, bei allem was >2TB ist, empfohlen RAID-Z2 einzusetzen. Bei RAID-Z2 werden schlicht zwei HDDs als Redundanz genutzt ... bei einem zpool aus 4 Elementen ist das leider ein sehr starker Schlag für die (Speicher-)Effizienz.
Ein zusätzlicher Hinweise für deine TrueNAS installation: Ich hab gesehen im Video ist deine "Reporting Database corrupt" - das tritt u.U. nach einem Reboot auf und liegt an einer falsch eingestellten Real Time Clock. Das Reporting ist dir wahrscheinlich rel. egal, allerdings ist eine falsch gesetzte Uhr auf einem Serversystem immer eine schlechte Idee.
Viel Erfolg mit dem System :-)
Mit einem weiteren Backup dürfte das aber auch nicht so dramatisch sein, oder? Meiner Meinung nach dient Raid-Z schon fast nur der Einfachheit halber, dass bei einem etwaigen Defekt zumindest die Möglichkeit besteht, dass System einfach wieder zum Laufen zu bekommen. Klappt es dann nicht weil eine weitere Platte ausfällt, dann greift man eben aufs zweite Backup zurück.
Die Problematik hatte ich schon beim einfachen Raid 1. Eine Platte geht kaputt. Ich tausche aus, stelle das Raid wieder her. 2 Tage später die andere alte Platte segnet das zeitliche...
Yep gibt so raid calculatoren im net. Bei 20 TB und Raid5 ist sehr wahrscheinlich dass das Raid am Ende nix bringt (40-50%). Würde bei über 12 TB HDDs immer Raid10 empfehlen. Egal wieviele 16 TB HDDs zb verbaut sind (4,6,8,...), die failure rate bleibt immer bei nur 12%. Die chance liegt hoch (9/10) dass der rebuild klappt... Dazu kommt dass Raid10 deutlich schneller ist. Einziger Nachteil ist halt €€€ also man verliert 50% Kapazität...
@@achannelhasnoname5182 Es geht darum dass man die Echtzeitarbeit nicht verliert. Backup kann es passieren dass man Stunden/Tage/Wochen an Arbeit verliert... Aber Backup sollte man immer auch neben drm Raid haben, am besten in feuerfesten Kiste oder an Ort Nr 2.
@@Bofrostmannful So ist das meistens. Ein Fehler kommt selten allein. Ist mir zwei Desktops und 2 Raidplatten im Raid 5 passiert, bevor ich einen neue Festplatte einbauen konnte.
Es ist immer wieder entspannend festplatten in solche käfige einzuschieben
Baue meine NAS schon lange selbst. TrueNAS war damals auch so ne Überlegung.
Am Ende bin ich aber beim Unraid gelandet, fand das Konzept sehr geil und bin auch seit vielen Jahren bei geblieben.
Möchte es einfach hier mit erwähnen, falls sich irgendwann jemand hier was ähnliches bauen will und über die Software nachdenkt.
Ist jedenfalls ein Blick Wert :D
unraid traurigerweise beste option...
Man muss dazu erwähnen, dass unraid, wie der Name schon sagt, kein RAID ist. Ist ja erstmal nichts neues. Daten werden als ganzes auf Festplatten kopiert. Am Ende gibt es eine Festplatte, die die Summe aller Festplatten bit für bit abspeichert, sodass bei einem Ausfall einer Festplatte, sie komplett wieder rekonstruiert werden kann. 2 Dinge die mich dabei stören: die Spiegel Festplatte muss mindestens so groß sein, wie die größte Festplatte im Pool (warum nicht wie bei einem RAID einfach alles gleiche Festplatten verbauen? Warum muss man da Experimente machen? Aber das ist natürlich Nutzer abhängig. Das kann man auch mit gleichen Platten machen). Und der zweite Punkt, der mich am meisten stört: da die Dateien als ganzes nur auf einer Platte landen: die Lesegeschwindigkeit ist ungefähr bei dem max einer einzigen Festplatte. Wenn man 10G Lan hat und eine HDD hat, wartet man, je nachdem was man kopiert Tage darauf. Bei einem RAID 5 könnte ich theoretisch einen 10G Port komplett auslasten, wenn ich es darauf anlege.
Da hat jemand wohl das Funktionsprinzip von Unraid nicht verstanden.
Das die Paritäts-HDD mindestens gleich groß wie die größte Daten-HDD sein muss: wie sonst willst du den die Ausfallsicherheit gewährleisten, ohne dabei die besonderen Funktionen von Unraid zu verlieren...?
Und wer die erhöhten Lese-/Schreibraten eines Raids braucht bzw. haben will, der wird sich eh nicht weiter mit Unraid befassen - außer man will n Troll sein...
@@kitsunesenpai441 da hat jemand meinen Kommentar erst gar nicht gelesen.
@@Crazynin1 du kannst doch alle Platten in gleicher Größe einbauen. Musst es aber nicht :D
Bei mir ist die Primary halt einfach die größte .. weil ich die anderen Platten in der Zukunft evtl. mal dahin ersetzen will.
Bei deinem Punkt 2 hast du aber Recht - zumindest wenn du keine SSDs einsetzt. Wobei aber das halt Anforderungssache is.
Beim Datengrab brauchst du die Dateien selten mit 10G wieder davon runter gezogen.
Richtig spannend, informativ und lehrreich. Wirklich gutes Video :)
Sehr geiles Video. Das Thema NAS interressiert mich selber wirklich sehr und ich fand dieses Video sehr interressant und lehrreich. Weiter so ❤❤
Ein Like allein für deine Katze 👍 😂
👎🏻
👍🏻
@@SystemFehler_28überflüssig
@@VolkerPutt266 ok 😶
wenn die Katzen pupsen geht das NAS in den Streik 😹😹😹
Als Hetzner-Fan könntest du ja noch ein Offsite Backup mittels Hetzner Storage Box einrichten. Dann hast du einen doppelten Boden, falls mal die Bude abbrennt oder alles in dem Stromkreis deiner Wohnug hops geht.
Limit ist hier aber IMO 24TB. Zumindest sehe ich kein Angebot mit größerer Kapazität. Hatte mich die Tage ebenfalls diesbezüglich informiert und Hetzner ist mit Abstand die „günstigste“ Option für
eine solche Menge an Daten.
Das Backup NAS würde ich an Romans stelle optimalerweise an einen anderen Standort (Familie, etc) verlagern. Dann ist man auch im Falle eines Brandes, Wasserschadens, etc. noch abgesichert.
Top, Backup sind nicht zu vernachlässigen. Im Fall eines wie immer unerwartenden Ausfalls ist es immer eine Erleichterung so etwas zu haben und vorbereitet zu sein. Wie immer ist es nicht die Frage ob ein Ausfall passiert sondern wann. Und mit Backup ist es dann relativ egal ob und wann.
Viel wichtiger ist das es ein Offline Backup ist, also eines das wenn selbsttätig started und abfragt. Ich habe es mit einem rsync Server Dienst gelöst wobei das Vault einen Pull macht.
Mein Backup fährt morgens um 9 uhr automatisch per Zeitschalte an, startet einen Rsync CALL mit eigenem Passwort gen NAS und schaltet sich dann später wieder ab. Es ist nur über das Webinterface zu erreichen mit einem eigenen Passwort, SMB ist deaktiviert. Ein Virenbefall kann schnell sich in der NAS Software festsetzen und dann sitzt dort der Virus und verschlüsselt alle Rechner im Netzwerk. Daher ist das Vault ideal wenn es am Vormittag startet, man wach ist und noch alles Okey morgens ist, dann macht es den Abgleich und schläft wieder ein. Dabei kann es nicht von aussen attackiert werden, ohne das Vault Passwort.
für offsite backup großer datenmengen wäre ein S3 storage anbieter oder hdd housing mein vorschlag. aber egal was man nimmt, immer auch die restore kosten vorab klären!
Backblaze ist da quasi unschlagbar. Einfach alles vorher durch openssl oder gpg oder so jagen, dann ists auch egal dass der Kram dann in USA landet
Er macht doch recht viel mit Hetzner, da gibts bestimmt ne Lösung
An die Cloud-Backup Fraktion: Ja klar wäre das ideal, aber dafür muss auch die Internetleitung passen und Cloud-Speicher kostet WESENTLICH mehr.
Amazon S3: 1,64€/TB, Hetzner: 2,41€/TB, Strato: 8,5€/TB, alle natürlich pro Monat. 20TB * 1,64€/Monat * 36 Monate = 1180€ UND da kommen soweit ich weiß noch Bandbreiten-Kosten hinzu.
20TB HDD = 260€ *2 (damit immer 1 außer Haus bleibt) * 36 Monate * 4 Wochen * 0,95€/Dose * 2 Dosen Bier = 793,60€ UND du hast einen legitimen Grund dich regelmäßig mit deinem besten Kumpel treffen zu dürfen.
Kennst du schon pcloud? Ist wesentlich billiger. Dazu noch EU-Anbieter also DSGVO-konform. 10TB 1190€, das lebenslang. Finde ich eigentlich preislich ok. Ja, ist natürlich immer so ne Sache ob das in 60 Jahren nich läuft, aber, warum nicht?
@@electronicstv5884 Die habe ich bei meiner Preissuche auch gefunden, aber deren TOS und FAQ (gerade durchgeblättert) sind bzgl "Lifetime" sehr eindeutig 💩
"Termination: We reserve the right not to provide the Site or Services to any user."
"Does pCloud have a minimum period under which Lifetime usage will be guaranteed?
In essence, by paying a couple of years in advance, you're getting storage for a lifetime.
If you’re in doubts about the Lifetime plan as a solution to your storage needs, we recommend our monthly and annual subscription plans. "
tl;dr Gibt keinerlei Zusagen zur Dauer der "Lifetime" Produkte.
@@spacenomad5484 Bei seinem Verwendungszweck wäre Cloud Speicher vermutlich trotzdem Kosteneffektiver. Und so schnell muss dasd Internet nicht sein dafür
@@electronicstv5884 Korrektur: Sie behaupten DSVGO-konfrom zu sein, haben aber z.b. keine eigene EU-Datenschutz-Vertretung. Sind de fakto auch kein EU anbieter sondern ein Schweizer Anbieter, und rechtlich gesehen müssen die sich dadurch nur an das Datenschutzgesetz der Schweiz halten. Was dem Schweizer Behörden also sehr sehr guten umfangreichen zugriff auf die Daten erlaubt. Und operiert wird aus Bulgarien raus.
Man muss auch die Frage stellen, wie die sich Finanzieren. Weil durch diese Lebenslange gedöns mit sicherheit nicht.
Super Projekt :D Vor allem die Speed, begeistert :D
Nice, fühle mich in meiner Gehäusewahl bestätigt :D
Das Gehäuse ist wirklich das Äquivalent zu Synology- / QNAP-Gehäusen für den Eigenbau-NAS.
Dremeln konnte ich mit Auswahl der angeschlossenen Kabel und ein bisschen Quetschen vermeiden 😄
So wie du dein NAS verwendest, könntest du ein Problem mit bit rot bekommen (Linus hatte da letztes Jahr so einiges an Daten verloren).
TrueNAS führt regelmäßig ein scrubbing auf den Festplatten durch, um bit rot vorzubeugen. Dafür muss das NAS jedoch eingeschaltet bleiben.
Die Synologys unterstützten DataScrubbing. Wie es bei dem DIY NAS aussieht weiß ich nicht 🤷♂️
@@marlon32 ja aber der kalender ist nicht sonderlich flexibel. Ich benutze meine ds 1815+ als backup von meinem unraid server. der macht jeden sonntag ein backup mit den neuen daten auf die synology. jetzt möchte man alle 3 monate ein scrubing machen, das geht zwar, aber man kann nicht sagen alle 3 monate aber start nur am sonntag. so muss ich immer selber schauen wann das wieder zeit für ein scrubing ist oder nicht.
Bei truenas geht das ohne probleme.
Grundsätzlich ein wichtiger Punkt.
Scrubs bei ner Backup Location ließen sich allerdings vermeiden, wenn man das Backup häufig, also zB einmal im Monat dürfte hier reichen, auffrischt.
Da das Synology ja, falls richtig konfiguriert, selbst Scrubs durchführt, würde es bei Dateibeschädigungen auf der Backup Location die entsprechenden Dateien neu senden. Zumindest wenn man das über nen Pull Task vom TrueNAS aus startet, das geht über Checksums. Wenn das Synology Pushed hängt das von der Einrichtung ab ob da über Checksums gearbeitet wird oder nicht.
Wenn man das System allerdings eh monatlich dafür anmachen würde, könnte man auch einmal monatlich den Scrub direkt auf dem TrueNAS laufen lassen, dementsprechend eine eher akademische Überlegung.
Der bestehende Plan das System nur ein paar Tage im Jahr laufen zu lassen ist bzgl. Bit Rot allerdings keine ideale Lösung. Auch wenn bei primär Videodateien der Einfluss von Bit Rot nicht so groß ist, da nen großer Teil der Bitfolge keine dramatischen Auswirkungen auf die vollständige Datei hat.
Drauf anlegen dadurch Dateien zu verlieren, würde ich's trotzdem nicht
8:25 Beste Befestigung im Jahr 2023. Was normal nicht geht, funktioniert mit Kabelbinder. 😂👍🏻👍🏻
Cooles Video. Gerne weiter so. 💪🏻
oldscool binde draht is aber ausfallsicher ;) der wird nicht spröde ;)
Je nach dem wie wichtig die Daten sind, würde ich über ein zusätzliches Offsite-Backup nachdenken. Stichwort Feuer / Trojaner...
3-2-1 halt...
3 Backups, 2 offline, 1 an einem anderen Ort
@@lafeu812 genau!
@@lafeu812 Ja das selbe habe ich mir auch gedacht. Ich wollte das aber eigentlich nicht kritisieren. Aber in Romas Fall würde das wahrscheinlich schon Sinn machen. Ich glaube da hat Roman auch die richtigen Partner für an der Hand.
3-2-1 ist für Privatpersonen meistens übertrieben.
Ausreichend ist schon ein 2-1.
Wobei für die 1 dann auch schon ausreicht, die HDDs in einem wasserdichten & feuerfesten Safe, am anderen Ende des Hauses bzw. des Grundstücks zu platzieren.
Ausnahme bestätigen natürlich die Regel - bei Gefahr von Erdrutschen und/oder Flutkatastrophen, sollte die 1 dann wirklich an einem weit entfernten Ort sein. ^^
@@kitsunesenpai441 Kommt immer auf die Wichtigkeit der Daten an. Also ich habe zum Beispiel ein Schließfach bei einer 200km entfernten Bank mit meinen wichtigen Unterlagen. Kann mir diese auch jeder Zeit via Kurier senden oder was einlagern lassen. Bei Daten nutze ich einfach die Google Cloud. Ja, ist jetzt aus Datenschutz Sicht vielleicht nicht die Top Lösung, aber sollen die meine Familienfotos doch sehen oder meinen Kopf auf den einer sexy Baywatch Tante packen. Mir ehrlichgesagt wumpe. Dazu eben die Sicherung zuhause.
3-2-1 ist wichtig, wenn du mit den Daten Geld verdienst. Das tut Roman und somit sinnvoll wenn man wirklich hohe Verfügbarkeit und Sicherheit haben will vor Verlust.
Bitte mehr zu dem Thema. Nutze zwar auch Synology und bin sehr zufrieden aber mich interessieren auch Eigenbaulösungen. Wobei Hard- und Software interessant ist.
Xpenology für die Faulen
05:12 kurios :D
wenns hier passiert, muss ich immer an "slippery fingers"-Linus denken.....
wenn bei ihm passiert, denke ich immer an "kracht ne CPU in einen Sockel" ;)
bei allem Respekt vor eurem Wissen und eurer Arbeit:
es schmerzt jedes mal aufs neue.....
Hast du ZFS Snapshots aktiviert um gegen Verschlüsselungsransomware zu schützen? Denk dran, dass manche Ransomware mehrere Monate schlummernd liegt, bis sie zuschlägt.
Ich hätte zwischen den HDDs jeweils ein slot leer gelassen für besseren airflow. Beim backuppen muss man auch noch bedenken ob man ACLs mit sichern will und falls ja, UNIX oder NFSv4 (das selbe wie das Quell NAS). Für so sporadisches sichern ohne failover wäre evtl auch ein DAS die bessere Lösung gewesen. Ansonsten hat man mit zwei TrueNAS im cluster mit snapshot Replikation die beste Absicherung
Also normalerweise würde ich ja sagen "wer schlau redet, will klug wirken oder hat es selber nicht verstanden" ABER deine Aussagen hat glaube ich Hand und Fuß :D:D
Auch wenn ich es nicht verstehe, stimme ich dir zu :D:D
@@philipdb2455 Danke, habe vor 10 Jahren meine erste NAS auf Windows Basis gebaut und seitdem viel Erfahrungen mit RAID konfigs/Dateisystemen/Backupping sammel -dürfen- müssen. Hab aktuell eine TrueNAS SCALE VM auf einem Proxmox host installiert. Der Hypervisor schleift 5x 8TB HDDs für RAIDZ1 + 1x 1TB SSD für ArcL2 cache durch. Über die 10GbE NIC habe ich bei einer großen Datei Schreibraten von ≈600MB/s (bis der ArcL1 cache voll ist, dann ≈250MB/s). Backups ziehe ich einmal Täglich auf eine 22TB HDD welche ich wöchentlich mit einer in einem Safe rotiere.
Das mit den freien Slots kam mir auch sofort in den Sinn, vor allem, weil es sich bei dem Gehäuse mit 8 Slots und 4 HDDs direkt anbietet. (Mache ich nach Möglichkeit auch immer) Ein DAS wäre für diese Anwendung aber übertrieben, da Du dann wieder einen anderen Controller und SAS HDDs benötigst. Auch die Variante mit den 2 TruNAS im Cluster schießt über das Ziel hinaus. Denn, so wie ich das verstanden habe, wird darauf nur das Grundbackup gemacht und danach so alle 2 bis 4 Wochen synchronisiert. In der Zwischenzeit ist das NAS ausgeschaltet.
@@MrSteini1979 von welchen DAS redest du..? Es gibt ein DAS von Orico mit 5 Hotswap SATA Bays für 120€. Und ein TrueNAS Cluster kann auch zum gelegentlichen sichern genutzt werden. Der Hauptvorteil dabei ist ja, dass der ganze ZFS Pool via Snapshots auf Block-Ebene gesichert wird.
@@FaySmash Gut, das ist eigentlich nur ein Multibay(Raid) USB-Gehäuse. Da wird es mit der dauerhaften Unterbringung an einem anderen Standort zwecks Sicherheit aber eher schwierig.
Ich hoffe es ist ECC-RAM, bei ZFS sehe ich das als Notwendigkeit. Ansonsten sehr ähnlich zu meinem NAS aus 2012, welches inzwischen mit 6x3TB, Raid Z2 eher zu den kleineren gehört, aber immer noch ohne Ausfall da steht.
Jup, das sind RDIMMs (Server-RAM) die haben immer ECC
@@TimEckertPauschal stimmt das so nicht. Nicht alle RDIMMs haben ECC, auch wenn dies meistens der Fall ist.
Den RAM, den Roman eingebaut hat, hat jedoch ECC.
Sehr interessantes Video. Danke dafür. :)
Du hast tatsächlich circa 58 Terrabyte Speicher in deinem RAID zur Verfügung. Angezeigt werden dir Tebibyte. Kleiner Funfact zu dem Thema: Windows berechnet Datenmengen auch mit Zweierpotenzen also als Kibibyte, Mebibyte, Gebibyte, Tebibyte, etc., gibt sie dann aber fälschlicherweise als Kilobyte usw. an.
Hatte mir auch gedacht das müssten doch eigentlich um die 60TB sein, aber hab dann die 52TiB gesehen 😅
Gibt's zu den Terrabytes auch noch Lunabytes 😄?
FYI, es sind Terabytes, mit einem "R"
Ich habe letztes Jahr auch ein NAS zusammengeschraubt. Hab mir ein Asus Prime A320 Board mit nem Ryzen 2200G geschossen, dazu dann 16 GB Ram und alles in ein Fractal Design Node 804 gepackt, dazu noch ne Lüftersteuerung und nen SATA-Controller. Zur Zeit sind 5 8 TB HDDs drin. Hab OpenMediaVault installiert und es laufen auch ein paar Docker Container. Hab auch noch auf HDD-Seite ein paar mehr Lüfter verbaut. Müssten BeQuiet Silent Wings gewesen sein. Netzteil hatte ich noch nen 400Watt BeQuiet rumliegen.
Bin selber Sysadmin (zum Teil auch wegen dir^^) und muss ehrlich sagen: Alles im Video komplett cringefrei für jmd. vom Fach.
Komponentenwahl perfekt für den Usecase, IPMI sinnvoll genutzt, TrueNAS Scale verwendet (was vllt. nicht optimal ist, aber definitiv ein sehr gutes NAS OS).
Gut gemacht, und würde sagen viel weiter gedacht als so einiger anderer UA-camr 😂
Was spricht gegen TrueNAS Scale?
@@lukas_ls Ich vermute er meint, das er lieber ein NAS auf basis eines Linux Systems und ZFS aufsetzen würde. So würde ich das machen.
Edit:
TrueNAS ist mehr so ein Set and forget system (klar um updates muss man sich noch kümmern). Danach hat man eine schöne WEBUI
Wenn man das auf Linux Basis komplett selbst installiert (zfs, smb, nfs, ldap usw. einrichten), hat man mehr arbeit und hängt viel in der Konsole, aber man hat aber auch mehr Möglichkeiten.
@@tl1897 würde ich persönlich auch so machen, aber aus guten Gründen. Gegen TrueNAS spricht ja aber nichts, Nachteile hat man nicht
@@lukas_ls Nichts, hab ja gesagt ist ein sehr gutes NAS OS. Gibt halt noch andere OS die eher für Backups im speziellen geeignet sind, oder halt einfach ein blankes Linux ohne alles mit nem Samba share und ZFS.
Aber dafür muss Roman dann halt auch mit Linux klar kommen und ohne Storage-GUI zurechtkommen, was verständlicherweise die meisten Home-User dann halt doch nicht machen wollen.
@@tl1897also halten wir fest: kein einziger Vorteil für den Anwendungsfall.
Ich habe 2 Qnap NASen und binn ebenfalls sehr zufrieden aber der Selbstbau ist ne echt coole Sache, und wenn ich dass früher gesen hätte , hätte ich kein Qnap 8Bay Nas käuflich erworben. Tolles Video tolle Info, weiter so
die hochkant cmos battery einfach nur premium das müssen mehr mainbords haben dann kann man vernünftig die wechseln und bricht sich nicht dabei die finger beim rauspopeln
Vermutlich hätte es ein DAS (Direct Attached Storage) für den Anwendungszweck ebenso getan und hätte einen Bruchteil vom Preis gekostet, zumal man mit einem DAS am Synology auch die Funktionalität vom gelegentlichen Backup aus dem Netzwerk hätte umsetzen können. Nicht das ich das nicht auch so gelöst hätte, aber man denkt als Ingenieur oft viel zu kompliziert.
mit einem NAS hat man halt einfach mehr Möglichkeiten. Des weiteren wenn das 90% vom Strom getrennt ist, kann es auch nicht durch Spannungsspitzen zerstört werden im Gegensatz zu einem DAS.
@@electronicstv5884 Genau darum geht es doch, das NAS hat er bereits und ein DAS schließt man nur an, sofern man es auch verwendet. Genauso wie er es jetzt mit dem NAS vor hat. Dazu braucht man kein NAS, dazu genügt ein deutlich günstigeres DAS. Die "mehr Möglichkeiten" werden allesamt nicht verwendet, da es nicht als normales NAS sondern als "anschaltbare Festplatte" für ein paar Tage im Jahr zum Backup genutzt wird. Schau dir bitte das Video komplett an, damit du den Zweck von Roman für dieses NAS verstehst, er sagt es im Video bereits selbst, das es vermutlich kompletter Overkill ist.
@@nonames9 ich habe mir bereits das Video komplett angesehen. Ja, es mag ein wenig Overkill sein, aber lieber im Nachhinein mehr Möglichkeiten haben als später nachrüsten zu müssen...
Schön das Du einen Beitrag zu einem NAS-Build auf ZFS-Basis machst und Daumen hoch, dass Du auf eine Datacenter-Plattform mit ECC-Ram setzt, um Datenintegrität bestmöglich sicherzustellen. Storagekonzepte und Backup wird leider von vielen Leuten nicht Ernst genug genommen und dann ist das Zähneknirschen immer groß, wenn die einfache USB-HDD hin ist.
Die Beschäftigung mit ZFS-Systemen hat mich damals vor rund 10 Jahren auch von einem reinen Windows-User an BSD und Linux an die Shells dort herangeführt. Ebenso an ESXI.
5:11 ein Glück kein offener Sockel in der Nähe 😁
Richtig cooles Video 😊
Falls du dich mal noch tiefer in die Thematik einliest, würde ich mich noch über ein Budget Build freuen, der auf kosteneffizienz achtet (Stromverbrauch) und mit dem man 24/7 drauf zugreifen kann, auch vom Handy ^^
Von außerhalb drauf zugreifen ist halt immer so eine Sache. Da muss man die Ports weiterleiten und das stellt ein potentielles Sicherheitsrisiko da. Außerdem musst du immer die aktuelle IP deines Hauses wissen und manche Internetanbieter ermöglichen das Hosting von Diensten nicht, da kann man einfach keine Verbindung herstellen.
TrueNAS-Scale kann dynDNS und einen wireguard-server laufen lassen, bei 24/7 würde ich die Platten über das Chipset des MB laufen lassen und nicht über einen HBA. eine 6-Kern-APU + mindestens 16 GB RAM und einen schnenellen NIC wenn gebraucht (10 Gb/s)
Für den einfachen Anwender sind wohl Synology und Qnap der way2go.
Einfach auf Kleinanzeigenportalen nach gebrauchten Gehäusen ausschau halten und eben Festplatten dazu kaufen.
Fernzugriff und Dateiverwaltung sowie viele andere nützliche Software gibt es kostenlos dazu bzw. sind im Kaufpreis inkludiert.
Ein TrueNAS Budget Build wäre normale gebrauchte Desktop Hardware und eben die notwendigen Festplatten dazu. Lässt sich ja alles auch mit einem normalen PC realisieren.
@@drcyb3r VPN? Da muss man keine oder nur ein Port aufmachen. Alles andere wäre ziemlich mutig, wen man nicht weis was man tut.
endlich wieder ein für mich interessantes Video :D
Super Video, etwas neues gelernt!
Wieder ein sehr gelungenes Video. Wer gerne mehr als nur ein NAS realisieren möchte empfehle ich Proxmox. Als ITX Gehäuse kann ich das Jonsbo N3 (5x3,5), N2 (5x3,5) oder N3 (8×3,5) empfehle. Als Mainboard selbst nutze ich das Topton N5105 (4x Intel i226-V 2,5G Nics Dual M.2 NVMe Sechs SATA 3,0 2 * DDR4 HDMI 2,0 Mini)
Ich würde zu gerne mal sehen wo die ganze Server übereinander gestapelt von Roman ihren Platz gefunden haben.
Ich hab mir vor ca. nem halben Jahr ein NAS mit TrueNas Scale gebaut. Bin auch sehr zufrieden damit. Einzig musst du schauen, dass du dein NAS genug häufig upgradest. Da du es eh nur als Backup verwendest ist es bei dir nicht so schlimm, bei mir liefen aber nach dem letzten Upgrade der Version keine Docker Apps mehr.
Da war was im Forum dazu afaik.
@@peterpain6625 ja konnt es mittlerweile lösen, gab ein skript dazu womit man alle apps manuell updaten konnte
Du solltest über ein offsite Backup (3-2-1) nachdenken. Bei den Datenmengen natürlich krass. Cloud oder zweite Synology. Ohne FTTH nicht zu realisieren 😅
6:40....die Katze realisiert das der Sommer Rum ist....das ganze Leben zieht an ihm vorbei 😅
Kopierst du deine Daten lediglich auf das NAS mittels Robocopy Script, etc. oder machst du richtige Backups mittels Software?
Für dein Z-RAID hätte ich noch ECC RAM verbaut und >50GB RAM... Sonst richtig geil, wäre cool wenn du mehr solcher NAS bauen könntest!
ISt doch ECC RAM verbaut.. sind RDIMMs, die gibts nur mit ECC
Top, hatte ich nicht gesehen!
@@TimEckert
Nutzte fast 12 Jahre einen HP Microserver, erst mit WHS, dann Freenas und nun Truenas Core. Der AMD Turion drückt immer noch über 100mb/s lesend (zuletzt mit 4 HGST Travelstar Z7K500.B, ja mir reichte 1TB in Raid 10).
So lange die Leistung dir noch reicht, warum nicht
Synology hat hierfür eine Backup Funktion die das von dir gewünschte bereits von Haus aus mtbringt...
Ich würde das Nas jetzt noch bei dir in die Firma stellen wegen der Räumlichen Trennung der Daten.
Und was für Festplatten wichtig ist, Sie halten deutlich länger wenn diese einfach durch laufen, ständige Neustarts mögen diese nur bedingt.
Ansonsten sehr schön umgesetzt.
Der benutzt die ja nur 2 bis 3 mal im Jahr, da würd ich schon sagen, dass an und ausschalten länger hält als durchlaufen lassen.
@@schortkramer4405 ist die Frage ist es so selten oder macht er es einmal die Woche.
Gestern Qnap auf meinem PC zum laufen gebracht. Hatte OMV davor. Bin noch beim testen, der erste eindruck ist Geil
DIESE KATZE!!!!! LIEBE, PURE LIEBE!!!
Wieder mal ein interessantes Video. Was technisch heutzutage doch so alles möglich ist, wenn der Basteltrieb mal wieder durchschlägt ( und Kosten keine Rolle spielen )...
Wir nutzen seit 2016 ein NAS-on-Demand auf Windows-Basis mit RAID1. Läuft bis heute einwandfrei und äußerst wartungsarm.
Genau das gleiche will ich auch gerade aufsetzen. Allerdings mit einem Fundus alter Hardware. Und wenn möglich in einem 19'' Gehäuse.
Hi Roman, hattest du zwischenzeitlich auch eine LTO-Sicherung in der engeren Auswahl. Gerade weil du keine heiße Sicherung brauchst, wäre das doch evtl. Etwas für dein nächstes Projekt. LTO-7 HH gibt es schon zu annehmbaren Preisen und die Tapes sind dann günstig.
LG
Ahoi, so richtig schnell ist das aber noch nicht. Wir bauen unsere Geräte auch mit TrueNAS. Allerdings kommen wir auf 500-800GB Speed. Wir verteilen die Last auf 8-12 HDDs haben noch ne SWAP/Caching SSD und einen vernünftigen HDD Controller mit BBU
das dachte ich auch... da schlafen mir ja die füße ein beim zuschauen
Moin, Grüße gehen an 8auer Spandauer. Hab dich letztens in Spandauer Arcaden gesehen 😂
Grüße zurück :D
@@der8auer danke, gabs keine Gelegenheit dich anzusprechen, da ihr aus den Parkhaus rausgefahren seid. Wollte nur mein Respekt aussprechen! Mach weiter so 👍🏼
Jumboframes auf beiden seiten einschalten, dann sollte die performance nochmal etwas besser werden :)
Mit nem zweiten SynologyNAS hättest die einfach miteinander einmal im Monat oder so synchronisieren lassen können :D
Selber Nutzen und weniger Verbrauch. Abgesehen davon hast du bei Synology den Vorteil, dass du die HDDs immer ins nächste NAS übernehmen kannst (Vorrausgesetz mindestens selbe Anzahl an Bays), heißt du hättest für dein Hauptnas auch physisch nen "Backup", wenn das mal defekt ist. Platten einfach rüber ins Backup NAS und dann in Ruhe auf den Ersatz warten ohne Ausfall.
Ist nen schönes Projekt, aber zwei Synologys sind mein ich die bessere Wahl.
Hast du das ausprobiert? Ich habe ein bisschen den Eindruck, dass Synology relativ langsam ist.
@@xiyangyang1974 Ja funktioniert bei unseren Kunden einwandfrei. Kann man sogar machen, wenn man beide in unterschiedlichen Netzen oder Standorten hat, da limitiert natürlich dann die DSL-Leitung die synchronisierungsgeschwindigkeit. Man sollte allerdings darauf achten, dass man die "+" Varianten (intel cpu) nutzt, die sind Flott. Die "Play" Varianten sind meist eher in der Leistung limitiert und bieten solche funktionen oft nicht. Bei unseren Kunden haben wir von den kleinen zweiBay bis zu den großen RackStations alles im Einsatz und damit auch schon verschiedenste Backupmöglichkeiten auf die Beine gestellt. Können bisher nicht klagen. Außerdem bieten die + auch mit dem ActiveBackupForBusiness auch eine der entspanntesten Möglichkeiten um u.A. auch von Clients Backups zu ziehen, ohne dass diese Leistungseinbußen haben. Nutze das Backup selbst bei mir mit nem kleine 2Bay Nas zu Hause, sichert mehrmals am Tag und behält dann immer die letzte Tagesversion für einige Zeit.
Würde also immer eigentlich eher zu sowas tendieren, als sich so ein eigenbau NAS zu bauen, einfach viel Stressfreier das ganze. Hab auch ein von der Hardware gleichwertiges QNAP daneben stehen, da sind die Möglichkeiten der Anwendungen aber meiner Meinung nach wesentlich limitierter, schnell sind aber beide und das OS ist bei beiden eigentlich relativ identisch.
Klingt fast wie nen Werbetext, bekomme dafür kein Geld keine Sorge, aber meiner Meinung nach kommt von der unkomplizierten Art und die Möglichkeiten die man hat, kaum eine andere Lösung an Synology aktuell ran, sofern man sich kein Play kauft.
@@MrsPiggi Vielen Dank für die ausführliche Antwort. Ich sehe auch kaum eine Alternative zu Synology. Ich habe nur j Modelle, und die sind inzwischen völlig ungeeignet dafür, die TB, die man so hat, herumzuschieben. HyperBackup und die meisten Apps blockieren das System bis zum Stillstand. Ich hatte auch bei den stärkeren Modellen von Problemen mit HyperBackup gehört, darum beruhigt es mich nun ein bisschen, dass ihr so gute Erfahrungen damit habt.
@@xiyangyang1974 Hyperbackup klappt eigentlich ganz gut find ich. Kommt evtl auch immer bißchen auf die Netzwektoplogie drauf an. Oder man plant dir synchro so ein bißchen auserhalb der Hauptlastzeiten. Einmal am Tag Nachts oder so
danke für das tolle video :) wie immer top! aber 1500€ für ein Mainboard O.O
Ich denke ein gebrauchter Nas von Qnap, Synology uns. ist viel billiger.
Ich schau jetzt schon zum vierten mal das Video und war auch schon auf Caseking nach Hardware schauen und bin auch fündig geworden. Da ich seit 14 Jahren mit Qnap arbeite ist das Dateisystem auf deinem NAS Neuland für mich und ich betreibe meine beiden NASen 4 Bay mit Raid 5 ohne Probleme. Das Dateisystem auf deinem NAS kenne ich nicht und muss mich erstmal damit auseinandersetzen. Aber tolles Video, tolles Projekt und tolle Katze. Die tolle weiße Katze durfte ich ja auf Corsair Deutschland sehen und habe mich sehr darüber gefreut. Aber es wäre cool von Dir ein Video zu sehen hinsichtlich Einrichtung der NAS.
Danke fürs Video.
13:55 kommt mir etwas langsam vor, da eine einzelne diese HDDs schon so ~180-240MB/s (angeblihc sogar bis 290MB/s, was ich nicht glaube) packen sollte.
Ich hab mir gerade auch ein NAS Gebaut mit einen Raspberry Pi 4. Der hat nur 6 TB Speicher und nur 1 GB Ethernet aber für meine Backup reicht das aus. Platten habe ich über 3.0 USB angeschlossen. Rennt super. NAS Software habe ich nicht laufen, einfach über Samba Share gelöst, gibt aber für den PI auch software dafür. Aber lass dann lieber PiHole drauf laufen.
der Pi packt das? Hatte das mal mit OMV laufen und das ist dauernd gecrasht
Wichtig ist ein USB Adapter mit externer Stromversorgung
@@electronicstv5884 Wlechen Pi hattest du? Also ich kopier gerade ein TB an Daten auf die Platte 2/3 hat er und nicht ein Problem. Seine 4 Kerne sind sagen wir zu 20% ausgelastet. Aber ich habe das über Samba gelöst, brauche nicht dringend extra Software dafür.
@@sorenholzenkamp8877Ja das stimmt natürlich.
@@crowATlinux Ganz normalen Pi 4 4GB. Ist immer wieder gecrasht. Hab mir dann einen dedizierten Server geholt, funktioniert wunderbar.
von den sata karten wird großartig abgeraten, eigene erfahrung, macht nur probleme... kauf einen HBA (also eine raid karte ohne raid) als OS kann ich dir nur unraid empfehlen.
Bei den Platten ist Preis Leistung wichtig aber Projekt Unvernunft müsste trotzdem sein sympathisch man kann sich unterhalten 😂
Ich weiß nicht, ob das für dich ein relevantes Risiko ist, da du das System ja nur für eine Backup-Kopie deiner Daten verwendest. Aber für Leute die sich ggf. selber einen NAS bauen wollen, ist es eventuell relevant:
Das Datenblatt von den Festplatten gibt eine UBE/Non-recoverable Read Error Rate von 10 per 10^16 Bits (-> 10^15 Bits) an. Umgerechnet tritt also ca. alle 113.7TiB (125TB) gelesene Daten ein nicht-behebbarer Lesefehler auf.
Deshalb sollte man bei großen Platten kein Raid5/RaidZ1 einsetzen. Die meisten nicht-enterprise Platten haben sehr häufig sogar eine Fehlerrate von 10^14 Bits (ca. 11.37TiB / 12.5TB), was das Problem deutlich verschlimmert.
Bei einem Rebuild müssen alle Daten der verbleibenden Platten gelesen werden (bei RaidZ1 nur tatsächlich genutzte Daten; Bei klassischem Raid5 die vollständigen Festplatten), was bei dieser Konfiguration hier im schlimmsten Fall 60TB sind. Also statistisch gesehen im schlimmsten Fall eine 48-prozentige Chance, dass ein solcher Lesefehler beim Rebuild auftritt.
Wenn das in einem Datenblock passiert hast du Datenkorruption. Wenn das aber in den Metadaten passiert, verlierst du den Pool.
Bei einem normalen Raid5 ists direkt vorbei.
Die Mathematik geht nicht so ganz auf, aber sonst ist es schon richtig. Wobei das bei ZFS schon sehr extrem unwahrscheinlich ist, dass man Probleme haben wird
@@lukas_ls Was soll da denn nicht aufgehen?
Zur Vollständigkeit halber einmal die Berechnungen:
10 Fehler per 10^16 Bits = 1 Fehler per 10^15 Bits. Da hat sich jemand in der Marketing-Abteilung gedacht, dass 10 per 10^16 besser klingt. Industriestandard im Consumer-Bereich sind 10^14 und im Enterprise-Bereich 10^15.
8 Bits = 1 Byte. -> 10^15 Bits = (10^15)/8 Byte
-> Ein Tebibyte (IEC-Einheiten, 2er-Potenzen) sind 2^40 Byte, damit: ((10^15)/8)/(2^40) = 113.686838 TiB
-> Ein Terabyte (SI-Einheiten, 10er-Potenzen) sind 10^12 Byte, damit: ((10^15)/8)/(10^12) = 125 TB
Für 10^14 Bit analog.
Falls Tebibyte vs Terabyte zur Verwirrung führt:
- SI-Einheiten (KB, MB, GB, TB, PB, EB, ...) arbeiten mit 10er-Potenzen. Kilo = Tausend (10^3), Mega = Million (10^6), Giga = Milliarde (10^9), Tera = Billion (10^12) usw.
- IEC-Einheiten (KiB, MiB, GiB, TiB, PiB, EiB, ...) arbeiten mit 2er-Potenzen. Kibibyte = 2^10 = 1024, Mibibyte = 2^20 = 1024^2, Gibibyte = 2^30 = 1024^3 usw.
Windows führt dabei bei vielen Leuten leider zur Verwirrung, da Windows Speichermengen mit SI-Einheitskürzeln anzeigt aber mit IEC-Einheiten rechnet. Das ist historisch bedingt und wurde leider nie von Microsoft geradegestellt/angepasst. Deswegen wird eine 2TB-Festplatte in Windows auch nur als 1.81"TB" dargestellt. Das ist auch der Grund warum viele Festplattenhersteller explizit die Anzahl der Bytes angeben oder Disclaimer in die Produktbeschreibung schreiben, da es in der Vergangenheit wohl einige wütende Kunden gab, die sich betrogen gefühlt haben.
Festplatten werden nach Industriestandard in SI-Einheiten (z.B. Terabyte) angegeben. Im Rebuild wegen Plattenausfall hast du damit 3*20TB an roher Datenmenge die potentiell gelesen werden müssen. Bei RaidZ1 hängt die Menge der zu lesenden Daten während des Rebuilds von den tatsächlich genutzten Daten ab. Im Kontrast zu Raid5, wo der Controller (ebenso bei Software-Raid) nicht weiß, welche Blöcke der Festplatten genutzt werden, weshalb die gesamten Festplatten gelesen werden müssten.
Der schlimmste Fall und das größte Risiko ist bei RaidZ1 also, wenn der Speicher nahezu voll ist. Das entspricht 3*20 = 60 TB (= 3*20*10^24 / 2^40 = 54.5696821 TiB genutzte Kapazität [Siehe auch 13:38 unten über den Create und Cancel Buttons])
Prozentrechnung: 60TB/125TB * 100 = 48%
UBE's lassen sich *_nicht_* verhindern. Man muss immer damit rechnen, oder es gibt potentiell ein böses Erwachen nach dem Tausch einer defekten Platte.
RaidZ1 hat zwei Vorteile gegenüber klassischem Raid5 in der Situation:
a) Beim Rebuild müssen nicht die ganzen Platten gelesen werden. Dadurch fällt die Eintrittswahrscheinlichkeit geringer aus, solange die Platten nicht nahezu oder ganz voll sind.
b) Tritt ein UBE während des Rebuild auf, kann das bei Datenblöcken verkraftet werden. Bei Metadaten-Blöcken ist es weiterhin kritisch.
Ja, es ist mit RaidZ nicht so extrem kritisch wie bei klassischem Raid5, da nicht zwingend alles Futsch ist sondern eventuell nur Datenkorruption auftritt. Aber das Problem löst sich mit RaidZ1 nicht einfach in Luft auf, s.o.
48% Wahrscheinlichkeit für Datenkorruption (und potentiellen Verlust des Pools, wenn die Metadaten betroffen sind) sollten nicht einfach ignoriert werden. Selbst wenn der Pool nur zur Hälfte gefüllt ist, sind das schon 24%.
Der Ziel von meinem Kommentar war, dass Leute, die sich einen NAS zuzulegen, dieses Problem kennen und sich entsprechend vorher informieren. Die Datenblätter von fast allen Festplatten lassen sich sehr leicht finden und man kann sich einfach 10^14 -> 12.5TB bzw. 10^15 -> 125TB merken. Da hat sich in den letzten 15 Jahren nichts getan. Und da es heutzutage immer mehr Richtung SSDs geht (wo Raid5 noch vollkommen OK ist!) wird da wohl auch nicht viel mehr passieren. Dinge wie kosmische Strahlung werden weiterhin ein Problem darstellen und mit der stagnierenden Entwicklung von konventionellen Festplatten wird man die Fehlerrate wohl kaum großartig weiter senken können.
Wenn man von consumer-grade Platten ausgeht wird es nämlich deutlich schlimmer:
WD Red werden z.B. als NAS-Festplatten vermarktet. Haben aber eine UBE Rate von 10^14 Bits, selbst bei den neuesten Modellvarianten.
Wenn man da z.B. 4x 14TB WD Red Pro (CMR; WD140EFGX & WD140EFFX) nimmt hat man statistisch gesehen direkt 3.7 solcher Fehler beim Rebuild in Kauf.
Das ist nicht vernachlässigbar! Habe ich leider beruflich oft genug bei Kunden gesehen, wo dann nacher Daten gerettet werden müssen, was leider nicht immer klappt. Eine 3-2-1 Strategie wird häufig erst verwendet, nachdem man sich bereits die Finger verbrannt hat.
Im Heimbereich werden sich die wenigsten Leute Gedanken um Offsite-Backups und Disaster Recovery-Strategien machen. Da muss man sich dann nicht noch selber unnötig Stöcke in die Speichen stecken.
@@themenk Nette Erklärung, das wäre aber nicht nötig gewesen, das weiß ich selbst. Ich weiß welche Probleme es gibt und hatte dir ja auch im wesentlichen Zugestimmt (mit dem Hinweis, dass ein kompletter Pool defekt unter ZFS durch das Design aber eher unwahrscheinlich ist).
Mein Punkt ist aber, dass die Berechnung falsch ist. Wie du richtig geschrieben hast, ist die Wahrscheinlichkeit für ein falsches Bit bei 10^-15. Damit ergibt sich der Erwartungswert für Fehler von 125TB, so weit so korrekt, aber du kannst nicht mit dem Erwartungswert weitere Wahrscheinlichkeiten ausrechnen, das funktioniert mathematisch einfach nicht. Nach deiner Argumentation würde die Wahrscheinlichkeit für einen ube bei einer Plattengröße von 125TB bei 100% liegen, aber das ist ja offensichtlich nicht der Fall, die treten ja nbicht in einer vorhersehbaren Rate auf, sondern haben einfach eine gewisse Wahrscheinlichkeit, aufzutreten. Nur weil ich jetzt einen Fehler hatte, heißt es ja nicht, dass ich die nächsten 125TB keinen Fehler mehr habe.
Das ganze ist eine Binomialverteilung und so musst du auch rechnen. Der Pool hat eine Kapazität von 3 x 20 x 8 x 10^12 Bits und die Fehlerwahrscheinlichkeit bei 10^-15. Damit ist die Wahrscheinlichkeit für 0 Fehler bei 60TB:
P(x=0) = (60*8*10^12 choose 0)*((10^-15)^0) *(1-10^-15)^((60*8*10^12)-0) = 0,619 und damit P(x>0) = 1-0,619 = 0,381 also 38%
Auch die Aussage mit der Größe der Platte ist schwierig, da die Wahrscheinlichkeit auch bei kleineren Platten recht hoch ist. Das Risiko steigt nicht linear mit der Pool Größe.
Die Wahrscheinlichkeiten für mindestens einen UBE (bei 10^15) für ein paar übliche Pool konfigurationen:
24TB (4x8TB): 17,5%
32TB (5x8TB): 22,6%
8TB (3x4TB): 6,2%
4TB (2x4TB): 3,2%
Sobald man auf über ~20TB geht, ist die Wahrscheinlichkeit schon sehr hoch.
jetzt noch ein offsite-backup, was die meiste zeit nicht läuft (wie dieses ja auch), damit, wenn irgendwas mit dem Haus oder den Datenträgern passiert immernoch ein Backup an einem anderen Standort (Hetzner zB?) existiert
ich hab mir ein UNRAID NAS bzw. DAS (direct attached storage) gebaut. Für Games only hab ich nen extra RAID Controller drin für RAID 0, für Datensicherungen dann UNRAID eigene Pools.
Verbunden habe ich das ganze per Direktverbindung über 10gbit LAN, Asus 10gbit im DAS und 10gbit onboard im PC.
Das Ding soll nur ein paar mal im Jahr kurz laufen und er macht sich Gedanken um den Luftstrom 😂
Ist schon geil was du da gebaut hast war sehr überracht mit der ghetto mod cpu kühlung habe solche mods früher bei ATI grafikkarten gemacht nachdem der werkskühler abgeraucht ist war zwar nicht schick hat aber seinen zweck erfüllt
Bisher hatte ich nicht die Notwendigkeit für einen Netzwerkspeicher. Wenn die internen Platten nicht mehr ausreichten, habe ich nachgerüstet. Am Ende dann mit einem Wechselschacht. Aber das wird sich im Zuge immer größerer NVMe-SSDs auch erledigen. Da reicht dann ein Adapter auf USB, und man kann die SSDs extern anschließen.
Sehr coole Sache. Backups sollte man nie hinsichtlich ihrer Wichtigkeit unterschätzen.
ja wobei ein Raid sowie ein NAS eigentlich nie ein wirkliches Backup ist/wäre, wenn ich ne externe Platte bespiele und die mindestens nen halbes Jahr lang nicht aktiviere um darauf zuzugreifen oder das Backup auf einen neueren Stand zu bringe, das ist dann ein Backup.
Dafür verwendet man eben in der Regel so oder so schonmal kein NAS sowie auch ebenso kein SoftwareRaid wie in diesem Falle
@@dennisgamingexperience5613 ich mache meine Backups für Win11 und MX-Linux jeweils auf einem USB-3.0-Extern-LW, die ich mir mal bei Saturn geschossen habe, als die im Angebot waren. Die für Win11 hat 5TB und die für Linux. 4TB und alles läuft, wie geschmiert.
Ich an Deiner Stelle wäre ja flugs zur LTX geflogen und hätte das Ding zusammen mit Jake Tivy gebaut. Hätte sicher 'nen schicken Overkill-Faktor gehabt... 😂
wollte zur LTX, aber war leider krank :(
@@der8auer Same. Dann nächstes Jahr? Sponsored by 60 drives? Sollte doch nen leichtes sein für Dich ;) 60 SSDs!? :)
Jetzt nur noch 'n Offsite-Backup!? ;)
Immer wieder cool, was es so alles abseits vom PC markt für heim server anwendungen gibt.
Danke, schwanke schon lange damit herum aus meinem Losen USB NAS ein richtiges NAS zu machen.
Jezuz habe ich sogar eine Lösung die ich einfach kopieren kann. Der Extra Wartungsport ist fantastisch, quasi ein MiniComputer vor dem richtigen Computer, wie ich es von den großen Server kenne. TrueNAS hätte ich mir auch als Lösung ausgesucht.
Das ist genau das, was wir bräuchten. Wenn es nicht so kostenintensiv wäre. 😩
das Mainboard ist meiner Meinung nach unpassend für dieses Gehäuse und auch für seinen Anwendungsfall. Wenn man da ein normales (egal ob nun ITX oder ATX) nimmt, kommt man weitaus günstiger hin
Mit passender Konfiguration sind solche Systeme deutlich günstiger als fertige Systeme.
Die einzige Sparte die sich schlecht mit Selbstbau bedienen lässt, wären günstige fertige 2-Bay Lösungen wie ein DS220J, wobei ich die sowieso nur sehr eingeschränkt empfehlen würde, da denen die Möglichkeit auf Scrubs fehlt und die Performance selbst für das ausreizen der Gigabit Netzwerkverbindung zu mager ist.
Um 300-500€ bekommt man allerdings seeeehr gut ausgestattete Selbstbau Systeme (ohne Festplatten natürlich), die selbst gegen fertige Systeme um 1000€ aufwärts deutlich performanter und funktionsreicher sind
Ich würde empfehlen die Platten nur in jeden zweiten slot zu platzieren.
Stichwort airflow.
Und wenn du zfs nutzt geht das problemlos.
Wenn dich interessiert was das System tatsächlich aus der Dose zieht kanns auch mit Strommesser für die Steckdose arbeiten. Ich nutze da das Voltcraft SEM6000 mit der smartphone app. Hat allerdings Manchmal Probleme das teil zu finden und braucht dann zeit auf dem smartphone. Wenn ich das hingegen mit Bluetooth und ner Linux Bash Nutze geht das immer sofort . Das habe ich noch nicht ganz verstenden. Ich Tippe, dass das System in dem Betrieb zwischen 12 und 30 Watt zieht . Ich habe selbst ein AsRock Rack Board verwendet und man merkt das es in dem Szenarium etwa 10 Watt weniger braucht als mit einem üblichen AM4 board und der selben CPU. Also ich denke ein Stromfresser ist das nicht. Und dann muss man bedenken: Macht man die Selbe konfiguration mit einer Pie wird man eventuell auf 15 Watt auch kommen wenn man da festplatten mit einbezieht und versucht eine möglichst hohe netzwerkbandbreite zu erreichen . Aber genau sagen kann ich es nun nicht
Lass es dir gesagt sein, du hast die Büchse der Pandora geöffnet
Kleine Empfehlung für die Toshibas: die solltest du regelmäßig auf funktionsfähig prüfen. Bei uns im NAS schmieren die regelmäßig ab. Hab im letzten halben Jahr 2 zur Reparatur geschickt.
Ansonsten cooles Video.
Das muss nicht immer was mit den Toshiba zu tun haben. Das kann dir genauso mit WD oder Seagate passieren. Mir ist auch eine WD abgeschmiert. Da spielen zu viele Faktoren rein, um es auf ein Modell eines bestimmen Herstellers herunterzubrechen.
@@TheBurnout96 ist nur eine Beobachtung meinerseits. Einer unserer Qnaps ist voll mit denen und bereits mein Vorgänger hat mich vor dem Problem mit den Toshibas aus eigenen Erfahrungen gewarnt. RMA läuft aber immer anstandslos. Unsere Seagates zum Beispiel machen keine faxen. Aber du hast Recht, man kann immer Mal Pech haben. Nur die Toshibas stechen dort bei uns sehr hervor.
Mein "NAS" hat letztens nen Upgrade bekommen. Allerdings nutze ich normale Desktop-Hardware mit Undervolting auf der CPU - in dem Fall ein Ryzen 5 5500. 32GB DDR4 3200 hatte ich noch rumliegen. Und den Rest hab ich auch noch da gehabt. Bei mir läuft insgesamt aber auch mehr drauf.. Unraid als Basis und dann ein paar Docker und ne VM. Nen bisschen Netzwerkkram -JDownloader, Droppy und AdGuard Home -, Plex und zwei Gameserver - Wreckfest und über die VM hab ich nen Minecraftserver mit Mods laufen. Und sollte ich mal nen bisschen mehr zum enkodieren haben, hab ich noch ne Quadro M2000 rumliegen 😅
Wie verhindert Ihr beim Backup vom Backup, dass das Backup vom Backup vom Backup Mist backupt, weil das Backup korrupt ist?
Validieren, immer und immer wieder, sonst gibt's ein böses Erwachen beim Restore !
sind wa mal ehrlich: Shiek ist die wahre Hardwareexpertin!
Hi Roman, kannst du von deinem NAS direkt auf UA-cam hochladen?
VG Terence
Witziger Zufall, habe auch vor zwei Wochen meinen DIY NAS gebaut. In erster Linie für Plex und Datengrab, aber maybe auch lokale Smarthomesteuerung und mal schauen was mir noch so in den Sinn kommt.
Bei mir ist's ein i3-12100 geworden, wegen der UHD730 für's Transcoding, ältere CPUs mit iGPU hätten's bestimmt auch getan, aber haben sich vom Preis nicht viel getan... 32GB DDR5, weil hatte ich von einem Kumpel bekommen, und bisher 16TB HDD, 8TB davon Parity und 1TB SSD für Cache.
Alles verbaut in einem Node 3 und als OS Unraid. Viel Frickelei bisher, aber Spaß macht's und das ist ja die Hauptsache 😅
Ich empfehle dir noch im Dicker Container syncthing zu nutzen. So kann man unkompliziert Order synchron halten.
Hab vor ein paar Jahren auch überlegt mir selbst ein NAS zu bauen, dann aber doch zu einem Synology gegriffen. War ne gute Entscheidung, das Ding läuft 1A als eigene Cloud, kann auch von unterwegs mit Smartphone, Schlepptop oder notfalls über Browser VPN-geschützt auf alle meine Daten zugreifen.
Synology ist halt echt teuer, wenn man vergleich was drin steckt
Ich habe bei dem Case ein Winkel blech genommen so das die Luft ohne Umwege durch den HDD Käfig muss. Bei Dauerbetrieb sollte man das machen. im hoch Sommer hatte ich ohne das blech 47grad und mit blech max 40 in der Regel habe ich 35grad bei 7 Platten dauerlast. Außerdem laufen meine lüfter "Noctua NF-A14 industrialPPC-3000 PWM, 140mm" auf max (Hochsommer)
Pass auf, wenn du das NAS nur ein paar mal im Jahr laufen lässt. Festplatten können Daten verlieren, wenn sie lange nicht eingeschalten sind. Mir sind in der Vergangenheit einige Daten dadurch zerstört worden. Genau deswegen bin ich für meine Backups auf LTO Bänder gewechselt. Die sind auf den Speicherplatz und die Lagerfähigkeit viel günstiger als HDDs. Bransicherheit ist da auch so eine Sache. Meine Daten sind dreifach gesichert. Alle Bänder sind an komplett unterschiedlichen Plätzen gelagert, dass gar nichts passieren kann.
ZFS entdeckt und repariert bei verfügbarer Redundanz Bitrot automatisch beim Lesen von Dateien. Oder man kann regelmässig manuell per "zpool scrub" einen Durchlauf anstossen.
Tapes sind kaum günstiger für ihn. Die einzig vernünftige Wahl für ein sicheres Backup wäre die Cloud
im Asrock IPMI hilft es bei CD Image die Option "Media Boost" anzukreuzen dann läd die ISO viel viel schneller.
Für den Usecase ist das vollkommen okay.
Wenn man allerdings täglich sowas nutzt und das als zentraler Punkt im Netzwerk ist, ist die Geschwindigkeit wirklich lahm. Liegt aber ziemlich sicher daran das für ZFS viel zu wenig RAM eingebaut wurde, und die CPU auch nicht ewig flott ist.
Mein ZFS-Z1 macht mit 5x WD GOLD im schreiben ca 1 GB/sec.
Allerdings ist das zuhause dann mein aktiver Server & NAS. Als Software wird bei mir allerdings Proxmox verwendet.
Liegt eher an den HDDs bzw. der Anzahl. Auch wäre RAID10 eher die Wahl für mehr Performance. RAID5/6/ZRaid und alles andere was mit Paritäten arbeitet ist halt inherent langsamer. Kommt halt drauf an, was man braucht. Mein Syno RAID10 mit 8 Platten macht locker 1800MB/s in Read und Write. Kann ich leider nur begrenzt nutzen, da der 10G Link schon bei 1250MB/s saturiert ist.
Habe noch ein Syno RAID6 mit 6 Platten, welches insbesondere im Write deutlich langsamer ist.
Mein Performance Herz blutet. Bitte bitte Roman, RAID 10 dann hast du zwar nur 40TB, aber es können unter Umständen sogar 2 Festplatten Ausfall. Was aber wichtiger ist es ist 30-40 Performanter. Du könntest auch noch mit dem cache spielen und deine SSD nutzen. Gruß ebenfalls Roman
13:16 "SoftwareRAID" ist mit so einem SATA Controller jetz aber nicht so wirklich toll
wie wäre es mit einem "LSI MegaRAID SAS 9271-8i", 1GB Modul mit bei und nem Akku für den Cache falls Stromausfall vorkommt während des anlegen des Backups ?
Wenn man schonn was aktuelleres als GigaBit-LAN wirklich durchgängig hat, dann macht genau das auf jeden Fall Sinn, ich mein gut als Backup jetzt nicht unbedingt lohnenswert aber für ein richtige Selbstbau-NAS sollte man das so dann in Erwägung ziehen falls das Mainbaord kein vernünfiges Raid an Board hat.
An genanntem LSI, kann man auch SATA-Platten nutzen, da kommen an 2 Ports, jeweils 4 Platten bei mit den entsprechenden Kabelpeitschen.
JBOD kann man machen indem man Raid-0 Arrays konfiguriert mit nur einer Platte jeweils, was in dem Sinne für Backups dann auch Sinn macht, weil die einzeln an nem SATA Controller tatsächlich ganz normal weiterlaufen, bzw wenn man da ne Platte anklemmt die bereits eine Partition hat, man die in ein solches Array "reinschmeisst" läuft die auch am LSI genau so weiter.
In nem laufendem System mit Windows ist das durchaus leider problematisch, weil man die Treiber nicht gescheit aktualisieren kann, abgesicherten Modus kann man denn halt vergessen beispielsweise, Win10 geht besser als 11, weil 11 keine SSD's an dem LSI als SSD erkennt, was echt schade ist.
Wenn man nen Rechner mit guter Gehäusebelüftung hat und sinnvoll was nachrüsten will, kann ich sowas jedenfalls nur empfehlen, 1GB Cache für Platten is schonn verdammt nice, die paar MB die so ne Platte hat im Vergleich is da nen Witz im Vergleich.
Wie habe ich darauf gewartet… 😄👍
Falls Du dich über schlechten Datendurchsatz wundern solltest: Tausch den SATA Controller gegen einen LSI HBA (9211) mit ensprechenden Adapterkabeln. Gibts gebraucht bei ebay und ist deutlich besser.
was nichts miteinander zu tun hat junge. dummes Gelaber
Ich hab für mein NAS vier WD Red Raid Festplatten von 4 verschedenen Lieferanten (ARLT, Alternate, ...). Wenn man z.B. 4 von einem bestellt kann sein das man ne Charge erwischt die bei z.B. drei identisch ist und wenn man ein Serienfehler hat verrecken dann gleich 3 ^^ (mit Pech kann man die 4 diverifiziert bestellten Platten natürlich auch vom gleichen Band / Tag sein).
hoffentlich aber keine SMR-Laufwerke, wenn die in einem Raid-Pool stecken. Denn sonst kann es ggf. böse enden, wenn man das Raid rebuilden muss.
@@syskeytechnician3509 ne hab CMR extra auf Geizhals weil man da schön filtern kann
@@klimbimbel6446WD ist ja bekannt dafür, das nicht gut anzugeben. Nur Red Plus und Red Pro sind sicher CMR
@@lukas_ls schön wärs ... Da WD nix sauber labelt ham se schon ne Klage (glaube) weil se SMR auch im Red Label haben und - wie du es bereits erwähnt hast - es steht NIRGENDS.
@@klimbimbel6446Als Reaktion auf die Klagen hat WD die Produktlinien angepasst:
Red: SMR
Red Plus: CMR
Red Pro: CMR
Wenn kein Plus oder Pro draufsteht, ist es SMR
Wasser, Feuer, Diebstahl...? Und dann? Ist ganz nett, ein NAS, was nicht automatisch für Backups zur Verfügung steht? Was bedeutet "nicht jeden Tag"?
Machst Du das dann 3-4 mal im Jahr an und ziehst die Backups manuell? Wenn ja, warum und was bringt das?
5:12 Wusste garnicht, dass ich ein LTT Video angeklickt habe :D
@der8auer Kannst du vielleicht die genaue Typenbezeichnung des Motherboards posten da es als upgrade von alten HP-Nas tauglich wäre von der Baugröße und den Anschlüssen
müsste das hier sein: EPYC3101D4I-2T
Netter Build. Der Einfachheit halber hätte es auch ein esata Enclosure oder externe Platten getan. Hyper Backup drauf und fertig. Ich sehe allerdings klar den Vorteil eines dedizierten Systems.
@der8auer kannst du einfach mal die Leistung im Idle messen? Würde mich interessieren.
Yup, das wär interessant zum Vergleich; ich betreib ja auch ZFS Filer daheim.
Der Epyc Limitiert wahrscheinlich in der Singlethreaded Performance mit SMB. Hab die Platten selbst und die rennen mit ca Minimum 200MB pro Sekunde. Mein Threadripper limitiert da leider auch weswegen nur ca 700MB pro Sekunde im RAIDZ1 möglich sind maximal leider
hab mich auch gewundert warum das so langsam ist
@@electronicstv5884 SMB ist leider mega single threaded was halt übelst nervt xD
denke auch mit der Sata Karte wird er auf ca max 600MB pro Sekunde limitiert sein selbst wenn die CPU es mitmachen würde.
Was ich halt auch etwas "anstrengend" finde, hätte gerne SSDs als "pseudo-cache" deswegen der Threadripper aufgrund der Menge an Pcie Lanes. Für Software RAID brauchst gute Multicore Performance um parity berechnen zu können und bei Truenas ist auch die Frage ob du komprimierst oder nicht. Wenn du aktiv komprimierst brauchst auch gute Multicore Performance um halt live komprimieren können.
Also so die Balance zwischen Menge an PCIe Lanes, Singlecore und Multicore zu finden ist noch so ein bisschen die Frage was ich mache xD
Noch paar Jahre warten, eventuell lohnt sich ja dann 3rd gen Threadripper oder sogar Intel W790 für die Kiste ^^
@@Mom19SMB ist allgemein nicht besonders schnell, Windows sowieso nicht. Wer ernsthaft etwas mit Netzwerk Speicher tun will, kann kein Windows nutzen, die Performance ist damit immer unterirdisch
@@lukas_ls ist mir auch bewusst, aber me wirkliche Alternative bietet sich mir nicht wirklich tbh. Mein Workflow ist komplett Windows basiert, nur auf Arbeit nutze ich Linux (ist auch cool, don't get me wrong) und 700MB pro Sekunde ist auch ganz nett, aber die Möglichkeit 10Gbit auszuschöpfen wenn man es schonmal hat wäre mal ganz nett... FTP ist halt auch nicht das Richtige für meine Zwecke.
Theoretisch könnte ich multiple Typen von Datentransferprotokollen benutzen um diverse Dinge zu erledigen, aber da überwiegt die Bequemlichkeit alles über ein Protokoll zu jagen, den nutzen von vielleicht 200MB mehr at max. Zumal ich eh momentan nur 4x16TB Toshiba Enterprise MG Platten drin habe. SSDs sind noch zu teuer damit sich das vernünftig lohnt.
Dementsprechend krieg ich so oder so nur 700MB/s peak hin sofern das Quell-Medium dementsprechend schnell genug ist. Vorerst ausreichend und eher nochmal diskutabel wenn SSDs nochmal ca die Hälfte kosten oder Threadripper 3000-5000 auch nur noch die Hälfte kostet von dem was es aktuell kostet.
Also erstmal relativ Gurke tatsächlich. Aber ist mir halt beim Testen meines Setups aufgefallen wie sich das ganze eben verhält. Für richtigen Server Kram ist Windows so oder so nicht zu gebrauchen 😄
Vielleicht noch nen Minecraft Server zum zusammen klicken, das wars aber dann auch schon wieder 😂
(Hab ich aktuell tatsächlich auf einem 8700K laufen ohne Probleme und ordentlich Leistung bzw kaum Auslastung dadrauf, war zu faul mein altes OS zu purgen und Linux zu installieren so yeaah ^^)
Deswegen war er in letzter Zeit in den Serverfarmen spionieren. 🤣
Mein selbstgebautes NAS ist natürlich kein Vergleich... Bei mir läuft ein SBC Nano Pi M4 (4+2 Kerne, 4 GB RAM, 16 GB eMMC). Über USB3 ist eine 1 TB SSD (55% belegt) angeschlossen. Alles ist schön in einem 19" Einschub im 19" Rack eingebaut. Das Steckernetzteil hat 5 Watt / 3A, was bei Volllast 15 Watt bedeutet. Läuft lautlos im 24/7 Betrieb. Da sich am System selten etwas ändert, gibt es ein wöchentliches Backup der Konfigurationsdateien und eine monatliche Sicherung des gesamten Armbian-Betriebssystems (eMMC). Zusätzlich werden bestimmte Archive nachts automatisch per SFTP auf meinen Webspace geladen. Für mich ist diese Setup vollkommen ausreichend.
Du solltest ggf. eine 64GB SSD (SATA) als Bootmedium für das OS verwenden und die M.2 SSD als Cache einrichten, dann schaffst du auch mit den HDD's die 10Gbit für den Transfer bei Kleinen bis Mittleren Datenmengen ;)
Das geht mit ZFS nicht, wäre aber auch nicht sinnvoll
@@lukas_ls Die SSD als Read Cache einzurichten wäre kein Problem, macht für die Anwendung als Backup Location aber keinerlei Sinn.
Die SSD als SLOG wäre auch ne Möglichkeit (da sollte man sich nur überlegen ob man einen Mirror braucht oder nicht) und könnte sogar massiv die Performance verbessern, wenn man das System so konfiguriert, dass alle Schreibvorgänge zwingend synchron behandelt werden. Ist in dieser Anwendung zwar nur sehr begrenzt vorteilhaft zu asynchroner Verarbeitung, könnte man sich allerdings überlegen
@@pridedoggo ich habe mich vielleicht nicht ausreichend ausführlich ausgedrückt, allerdings meinte ich natürlich Write Caching, weil das der einzig "sinnvolle" Einsatzzweck wäre. Die Transfere sind ja grundsätzlich Writes und das kann ZFS nicht cachen. Aber auch selbst wenn ZFS write Caching könnte, würde es nicht wirklich viel bringen, da die Performance des ganzen ja keine Rolle spielt und nach Ende des Transfers das NAS wieder ausgeschaltet werden soll. Es bringt dann nichts, auf einen schnellen Datenträger zu schreiben, nur um dann mit dem Shutdown wieder auf die HDDs warten zu müssen.
@@lukas_ls Richtig, Write Caching im traditionellen Sinne geht nicht. Nen SLOG ist aber kein Problem und würde, sofern man synchronous writes wollen würde, helfen.
@@pridedoggo Joa, wirklich sinnvoll wäre es hier aber trotzdem nicht.