Hallo zusammen Ich muss Daten ins Netzwerk speichern. Das Problem dabei ist die Datenmenge, es werden einige Terabyte werden, mindestens 20TB, eher mehr. Ich suche nach einem System, welches diese Datenmenge aufnimmt und mich auch vor Datenverlust schützt, sprich RAID XX. Gibt es NAS-Systeme, die dies können oder muss man da mit größerem Hardwareaufwand rechnen. Ich bin fremd auf diesem Gebiet, soll aber in 14 Tagen eine Lösung parat haben. Der Preis spielt natürlich eine Rolle, ist aber nicht ausschlaggebend. Gruß Peter PS: Es handelt sich um Videodateien, mehrere 100 Kassetten müssen digitalisiert werden.
Sowas heisst dann aber meist nicht mehr "NAS", sondern "RAID-System". die gibt es nicht nur zum Anklemmen an einen Rechner, sondern auch autark über Netz erreichbar. Beispiele z.B. bei http://www.starline.de/
PS: Auch wenn du meinst, daß RAID ausfallsicher ist, ersetzt das keine echte Datensicherung. Über die würde ich in den 14 Tagen auch noch nachdenken.
Schau bei synology und qnap....die großen systeme können > 100tb.... Das ganze dann 2x als backup. Biste bei ca 20k Richtige storage systeme ala hp 3par fallen kostentechnisch wohl raus...
Hallo Klaus, mir ist klar, ds ich den Speicher ins Netzwerk hänge, das ist auch kein Problem. Die Datensicherung habe ich eigentlich mit dem RAID-System erschlagen wollen. Wenn das nicht sinnvoll ist, wohin soll ich die Daten dann sichern, ein zweites System aufbauen?? Peter
Peter B. schrieb: > PS: Es handelt sich um Videodateien, mehrere 100 Kassetten müssen > digitalisiert werden. Geil! Sowas mache ich auch gerade, allerdings werden digitale 4:3-Videos ins 16:9-Format gewandelt (Pillarbox). Es sind nur 4000 ;) Wir benutzen dafür NAS von Synology und Netgear. Viel Spaß dabei ;)
Peter B. schrieb: > Wenn das nicht sinnvoll ist, wohin soll ich die Daten > dann sichern, ein zweites System aufbauen?? ja. Oder eine richtige Backup-Lösung (z.B. Bandstreamer).
Peter B. schrieb: > Die Datensicherung habe ich eigentlich mit dem RAID-System > erschlagen wollen. RAID macht Daten besser verfügbar. Im Fall eines Plattendefekts sind sie weiterhin direkt im Zugriff. In dieser Dimension würde ich übrigens an RAID 6 denken, wenns wichtig genug ist. RAID 5 verliert heute an Zuverlässigkeit, zumindest bei SATA Disks. RAID schützt nicht vor einem defekten Filesystem, verreckter NAS-Box, versehentlicher Löschung oder Brand. Das hilft nur ein Backup. > Wenn das nicht sinnvoll ist, wohin soll ich die Daten > dann sichern, ein zweites System aufbauen?? Hängt von Anforderung ab. Wie kritisch die Daten sind, d.h. was bei Verlust passiert. Bei dieser Überlegung wird irgendwas zwischen "dumm gelaufen, kann die Kleine sich eben nicht beim gewickelt werden zusehen wenn sie mal älter ist" und "Firma pleite, 1000 Leute arbeitslos" rauskommen.
Peter B. schrieb: > mir ist klar, ds ich den Speicher ins Netzwerk hänge, das ist auch kein > Problem. Die Datensicherung habe ich eigentlich mit dem RAID-System > erschlagen wollen. Wenn das nicht sinnvoll ist, wohin soll ich die Daten > dann sichern, ein zweites System aufbauen?? richtige Datensicherung ist Offline - Bei der Datenmenge eigentlich ein Bandlaufwerk - leider sehr teuer. Ein 2. System ist besser als nichts, und von den Kosten her überschaubar. Man sollte sich nur über den abgleich Gedanken machen, ein rsync ist zwar schnell eingerichtet, aber löscht auch gleich auf beiden System wenn man versehentlich etwas löscht. Die Frage was für eine Anbindung du brauchst, 20TB sind auch über 1gigabyte nicht mal schnell kopiert. Bei 10gigabit wird es auch sehr schnell teuer. Bei einem Raid6 sind es nur 6 x 6TB Festplatten. Mainboards mit 6 SATA Anschlüssen bekommmt man auch ohne Probleme, könnte man also auch auf Linux Basis aufbauen. Dabei muss man dann die Daten nicht übers Netzwerk kopieren.
Peter II schrieb: > rsync ist zwar schnell eingerichtet, aber löscht auch gleich auf beiden > System wenn man versehentlich etwas löscht. Ein Kompromiss ist rsync mit Versionierung. Frag mich aber nicht, ob irgendwelche der üblichen NAS-Boxen das bieten. Mit Linux-Selbstbau trivial: ganz klassisch mit "rsnapshot" (setzt auf rsync auf, Hardlinks für Versionierung), oder modern mit btrfs und Snapshots.
:
Bearbeitet durch User
Peter II schrieb: > Die Frage was für eine Anbindung du brauchst, 20TB sind auch über > 1gigabyte nicht mal schnell kopiert. Bei 10gigabit wird es auch sehr > schnell teuer. Hier würde es sich ja anbieten, gleich beim Digitalisieren die Daten auf beide Laufwerke zu kopieren.
Peter II schrieb: > richtige Datensicherung ist Offline - Bei der Datenmenge eigentlich ein > Bandlaufwerk - leider sehr teuer. Mit Grössenordnung 1500-2000€ für LTO5-6 ist man dabei, Controller inklusive, plus Medien. In der avisierten Grössenklasse sollte das drin sein. Der Transferrate zuliebe sollte das Laufwerk dann aber direkt im Speichersystem sitzen, was wohl auf Server statt fertiger NAS-Box rausläuft. Vorteil: Bänder können sich ausser Haus befinden. Eine zweite NAS mit rsync nicht.
Peter B. schrieb: > PS: Es handelt sich um Videodateien, mehrere 100 Kassetten müssen > digitalisiert werden. Wieviel ist auf einer Kassette denn im Mittel drauf? Beim verschwenderischen MPEG-2 vom Digitalfernsehen liegt die Daumenregel bei 2GB/h. 20TB reichen dann für 10000 Stunden. Um die bei 8h pro Tag 5 Tage die Woche anzusehen brauchst du 5 Jahre. Andere Verfahren brauchen wesentlich weniger als dieses olle MPEG-2.
A. K. schrieb: > Andere Verfahren brauchen wesentlich weniger als dieses olle MPEG-2. und andere viel mehr, es gibt Leute die brauchen unkomprimiertes material für die Bearbeitung. Je besser die Kompression, desto schlechter ist eine Bearbeitung möglich.
A. K. schrieb: > Vorteil: Bänder können sich ausser Haus befinden. Eine zweite NAS mit > rsync nicht. Wieso kann sich ein zweites NAS nicht außer Hause befinden? Offenbar mache ich dann schon seit etlichen Jahren etwas falsch, denn neben dem Backupserver im Firmennetz werden die wirklich wichtigen Daten (Repositories, usw.) per VPN und rsync auch auf einem NAS im Privathaus gesichert. Natürlich sichert man nicht 20TB in einem Rutsch darüber, aber es spricht nichts dagegen, den initialen Abgleich noch im LAN durchzuführen und das zweite NAS anschließend räumlich zu verlegen. Man sollte natürlich bei einer Restrukturierung von Verzeichnisses darauf aufpassen...
Peter II schrieb: > Mainboards mit 6 SATA > Anschlüssen bekommmt man auch ohne Probleme, könnte man also auch auf > Linux Basis aufbauen. Zusätzlich kann man immer noch SATA Controller auf PCI(-E) Basis nachstecken. Linux hätte hier den Vorteil, das die Hardware unspeziell und auf breiter Basis verfügbar ist. Meine Erfahrung zeigt LinuxRAID (mdraid) als recht robust und datensicher. Ich betreibe die Systemplatte an einem internen SATA wg. der Bootfähigkeit und habe die RAID Platten alle am PCI Controller. Da auf der Box sowohl samba als auch netatalk läuft, ist die Box von allen hier verfügbaren Architekturen zu erreichen.
Andreas Schweigstill schrieb: > Wieso kann sich ein zweites NAS nicht außer Hause befinden? Keep cool. Geht natürlich auch, ist aber wohl nicht der typische Fall, wenn von 20TB Daten die Rede ist.
Matthias Sch. schrieb: > Linux hätte hier den Vorteil, das die Hardware unspeziell > und auf breiter Basis verfügbar ist. Meine Erfahrung zeigt LinuxRAID > (mdraid) als recht robust und datensicher. btrfs kommt mittlerweile wohl auch schon in Frage, ersetzt in diesem Zusammenhang mdraid und lvm.
A. K. schrieb: > btrfs kommt mittlerweile wohl auch schon in Frage, ersetzt in diesem > Zusammenhang mdraid und lvm. naja, was ich darüber in der CT gelesen habe überzeugt nicht wirklich. Wenn es selbst Probleme mit Datenbanken und den Profilordner vom Firefox Performance Probleme gibt. Wenn man nur 1byte in einer Datei ändern, wird schon ein Cluster umkopiert. Dabei hat man dann schon mal 3 Fragmente. Damit ist es eigentlich unbrauchbar für jede Art von Daten wo sich teile einer Datei regelmäßig ändern. Dann ist die ganze Historie nicht mehr platzsparend wenn man wirklich mal defragmentiert. die Raid Funktionalität und die Prüfsummen auch für den Inhalt der Dateien ist nett, aber das copy-on-write schreckt mich ab.
Test schrieb: > Schau bei synology und qnap....die großen systeme können > 100tb.... Das > ganze dann 2x als backup. Biste bei ca 20k Bei solchen Größen würde ich eher bei NetApp (www.netapp.com) schauen. Deren Systeme laufen seit Jahrzehnten in den großen Rechenzentren dieser Welt. Ich denke, dass diese Leute kein Problem haben werden, Deine Anforderungen zu erfüllen, auch was Themen wie mehrfache Hardware-Redundanz, redundante Datenspeicherung etc pp angeht. Beim Preis wirst Du allerdings eher trocken schlucken. fchk
Peter II schrieb: > Wenn es selbst Probleme mit Datenbanken und den Profilordner vom Firefox > Performance Probleme gibt. Habs nicht gelesen, aber bei Datenbanken dürfte Fragmentierung gemeint sein. Da es hier um üblicherweise sequentiell bearbeitete Videodaten geht, nicht um Datenbank-Container mit random writes, ist das aber kein Problem. > Wenn man nur 1byte in einer Datei ändern, wird schon ein Cluster > umkopiert. Yep. NetApps WAFL arbeitet ähnlich. Und damit habe ich langjährige Erfahrung. Positive. Ja, eine regelmässige Defragmentierung kann notwendig werden, wenn in Files oft wild durcheinander geschrieben wird. Weshalb das in solchen Systemen online im Hintergrund möglich ist, sowohl bei NetApp als auch im btrfs. Umsonst ist der Tod. Wer will kann dieses COW im btrfs auch für die Daten abschalten. Kann bei Datenbank-Containern sinnvoll sein, je nachdem was man mit denen macht. Gegenüber klassischen Filesystemen besteht ein Vorteil von COW in implizit konsistenten Filesystemen auch ohne Logging, Meta+Data, und in effektiverem Umgang mit Snapshots.
:
Bearbeitet durch User
A. K. schrieb: > Gegenüber klassischen Filesystemen besteht ein Vorteil in implizit > konsistenten Filesystemen auch ohne Logging, Meta+Data, und in > effektiverem Umgang mit Snapshots. irgendwie bekommt MS das auch bei NTFS hin. Dort hat man auch Snapshots. (nichts das NTFS keine Nachteile hätte, aber für sein alter ist es doch sehr funktional)
Peter II schrieb: > irgendwie bekommt MS das auch bei NTFS hin. Es geht nicht darum, ob es geht, sondern wie, intern. Ohne COW wird ein Filesystem durch Snapshots deutlich langsamer beim Schreibvorgang, da die Altdaten ggf. vorher erst wegkopiert werden müssen. NB: COW dürfte Flash-Medien sehr entgegen kommen. Die arbeiten von Natur aus ohnehin so und Fragmentierung interessiert nicht sehr.
:
Bearbeitet durch User
Also professionelle 20TB NAS-Storage sind für privat schon zu teuer. Wenn es im 20k € Bereich bleiben soll würde ich persönlich einen Linux-Cluster mit z.B. 16 Mainboard Bundles vom Resteverwerter o.ä. und passenden TB Platten (verschiedene Hersteller) aufbauen und dann ZFS nehmen. Hat den Vorteil relativ kostengünstig zu sein und wenn ein Mainboard/Netzteil ausfällt sind die Daten immer noch verfügbar. Sollte die Portokasse mehr hergeben kann man auch pro Mainboard einen RAID6 Controller mit 6 oder 8 Platten vorsehen. 16*6 1TB Platten sind dann 96TB abzüglich der Paritäten das sollte ja mehr als passen ... Paranoide sehen Hotspare und RAID61 vor wobei dann der Cluster noch über's ganze Viertel verteilt ist ROFL Was soll's denn sein MPEG2 nur I-Frames in FullHD, MJPEG oder gar 4k ?
Test schrieb: > Schau bei synology und qnap....die großen systeme können > 100tb.... Das > ganze dann 2x als backup. Biste bei ca 20k Wie kommt man auf 20k€?? QNAP NAS TS-851-4G 832€ http://www.redcoon.de/B567957-QNAP-TS-851-4G-4GB-RAM_Ab-5-Sch%C3%A4chte WD40EFRX 155€ http://www.redcoon.de/B486426-WD-Red-4TB-WD40EFRX_Desktop-ab-35 8 Stück davon im RAID6 ergeben 24GB Bruttokapazität bei einem Preis von 2072€. Das gleiche nochmal als Sicherungslaufwerk und für reichlich 4k€ ist alles abgedeckt.
Icke ®. schrieb: > 24GB das ist jetzt aber etwas sparsam, das geht ja auf eine SDCard :-)
:
Bearbeitet durch User
Peter B. schrieb: > PS: Es handelt sich um Videodateien, mehrere 100 Kassetten müssen > digitalisiert werden. Dann kann man die Frage der Datensicherung entspannter sehen, die Daten sind ja nicht verloren, wenn was passiert, sondern nur die daran vorgenommene Arbeit - man kann ja die Bänder im Crash-Fall wieder einlesen. Eine ganz andere Frage ist, was passiert damit nach der Digitalisierung, wohin kommen die Daten? Oder ist das gesuchte System das Endlager? Prinzipiell ist Archivierung nochmal was anders als Datensicherung. Georg
Klaus Wachtler schrieb: > das ist jetzt aber etwas sparsam, das geht ja auf eine SDCard :-) In der Tat. 24 Terabyte natürlich.
Klaus Wachtler schrieb: > Sowas heisst dann aber meist nicht mehr "NAS", sondern "RAID-System". als ob ein NAS ohne RAID auskommt, Blödsinn. Dein EinPlatten System freilich schon ... NAS oder SAN, ist schon richtig so. Allerdings bezweifle ich das du Geld bzw. Kaufinteresse hast. Wenn eine Firma ein NAS, NDAS, SAN oder was auch immer installieren möchte, wird bestimmt keine Anfrage in solch einem Forum gestartet! Versuch es vorab mit Fachliteratur zu den unterschiedlichen Systemen. Das Teil muss zur gesamten Netzwerkarchitektur passen (ADDS, Zertifikate -> X...-Authentifizierung, Backup, Anzahl I/O, RAID 5-7, Art der Freigaben (DFS, DNS...), usw. usw.). Solltest du in einer Klitsche tätig sein, dann ist das Thema Datensicherheit und Verfügbarkeit dennoch kein Thema zum vernachlässigen! An den Beiträgen hier wird schon sehr deutlich dass Metzger und Bäcker am Start sind.
Bernd schrieb: > als ob ein NAS ohne RAID auskommt, Blödsinn. Hab grad 2 Dutzend QNap NAS ohne RAID in Betrieb genommen. ;-) Geht beim TS-112P schlecht anders.
Hallo zusammen, vielen Dank für die vielen Beiträge. Es wird ein System von Qnap werden, zur Zeit werden bereits Videos auf eine externe Platte gezogen.
Thread beobachten
Seitenaufteilung abschaltenBitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.