Gibt es irgend ein bezahlbares / möglichst billiges Speichermedium, mit dem man ~100TB oder so Speichern kann? Darf auch WORM (Write Once Read Many) sein. Und was ist eigentlich mit all den Fancy neuen Speichern passiert, von denen man vor Jahren gehört hat, dass daran geforscht würde? Optische Glaswürfel und Tesafilm speicher, 5D optical data storage, etc. wo bleibt das Zeugs? Optische Bandspeicher existieren wohl? https://de.wikipedia.org/wiki/Optisches_Band Wo kriegt man sowas?
Suchst du etwas in der Art?? https://www.vectra-shop.ch/buerobedarf/it-zubehoer/speichermedien/datensicherung-baender/19450/hp-lto-ultrium-8-12/30tb-q2078a-data-tape?sPartner=g_shopping
Sebastian schrieb: > Suchst du etwas in der Art? Mal gesehen, was die LTO8-Bandlaufwerke kosten? Wenn's bei den 100TB bleibt, ist's billiger da einen Berg Festplatten in USB-Gehäuse zu schrauben.
Jenachdem kannst du es zwischen 300€ und 1200€ bei Amazon in den Gletscher schieben. Lohnt halt nur wenn man nur im Notfall an die Daten muss, dafür hat man aber ziehmlich sicheres Backup. Gut die meisten kommen jetzt wieder mit der Amazon ist der Teufel Keule, aber man kann es ja trotzdem mal sagen :D
LTO7 geht schon mal in die richtige Richtung. Ist zwar immer noch ein ziemlicher Batzen, aber besser geht wohl nicht mehr...
Die Frage nach der Speichermenge hast du zwar beantwortet, aber da fehlen noch ein paar Faktoren: - Wie oft muss auf die Daten Zugegriffen werden? - Wie schnell muss so ein Zugriff ablaufen? - Wie schmerzhaft ist ein Totalverlust der Daten? Je nach Antwort darauf läuft es auf Cloud/Festplatten/LTO hinaus. Insbesondere bei vielen schnellen Zugriffen sind die klassischen Festplatten immernoch die Sieger. 🐧 DPA 🐧 schrieb: > Und was ist eigentlich mit all den Fancy neuen Speichern passiert, von > denen man vor Jahren gehört hat, dass daran geforscht würde? Optische > Glaswürfel und Tesafilm speicher, 5D optical data storage, etc. wo > bleibt das Zeugs? Daran wird weiter geforscht. Vieles scheitert im Langzeitversuch oder ist nicht praktikabel außerhalb eines Labors. Auch ist das alles immer eine Kostenfrage. Wenn dein Tesafilmspeicher 200€ pro TB in der Herstellung kostet, kauft den keiner.
Ein NAS mit 10 Platten? Kanns ja 10 hiervon reintun: https://www.idealo.de/preisvergleich/OffersOfProduct/200076450_-red-sata-iii-10tb-wd101efax-western-digital.html Kommt grob auf 3k.
7 Stück WD 14TB sind ~1700€. https://www.amazon.de/Elements-Festplatte-kompatibel-%C3%9Cbertragungsraten-sto%C3%9Ffest/dp/B07Y3KDVZH https://www.amazon.de/TP-LINK-inklusive-Netzadapter-Swapping-unterst%C3%BCtzt/dp/B00LI4O9EA
ist in den 100TB eigentlich ein Backup mit verplant?
🐧 DPA 🐧 schrieb: > LTO7 100 TB in 6/15 TB (51€) pro Band? Bei komprimierten Daten eher 6TB. Da kannst Du einen Disjokey einstellen der Bänder wechselt Tag und Nacht? Nach 20x Band beschreiben kommen die ersten Verschleißfehler? Da würde ich lieber einige Stapel große Platten als schnelle Lösung in verschiedene Tresore legen. Das verringert die Wiederherstellungszeit.
Ntldr -. schrieb: > Die Frage nach der Speichermenge hast du zwar beantwortet, aber da > fehlen noch ein paar Faktoren: > > - Wie oft muss auf die Daten Zugegriffen werden? Vielleicht so alle paar Tage mal, eventuell auch mal 2-3 mal an einem Tag. Das sind viele eher kleine Datensätze, von denen ich jeweils aber nur einen brauche. > - Wie schnell muss so ein Zugriff ablaufen? Das sollte schon <5min sein, so lange kann ich warten. Kleiner 5s wäre aber natürlich toll. > - Wie schmerzhaft ist ein Totalverlust der Daten? Nicht besonders. Die sind alle entweder generiert oder repliziert. Dauert aber leider sehr lange die zu regenerieren. oszi40 schrieb: > Nach 20x Band beschreiben kommen die ersten Verschleißfehler? Da würde > ich lieber einige Stapel große Platten als schnelle Lösung in > verschiedene Tresore legen. Ok, stimmt eigentlich. Und wenn man die Platten insgesamt für ~3k kriegt ist das eigentlich ja sogar noch erstaunlich preiswert. Dann läuft es wohl doch auf Festplatten hinaus.
Peter D. schrieb: > 7 Stück WD 14TB sind ~1700€. Oh, wow, das ist ja regelrecht günstig! Etwas Klobig zwar, nicht sicher, wo ich die am besten alle hinstelle.
In dem Fall würde ich auch zu HDDs raten, die gibts ja mittlerweile auch mit bis zu 18TB. Du könntest ein NAS mit ZFS aufbauen, jenachdem wie deine Datensätze aussehen kannst du mit der Deduplizierung und der live Kompression von ZFS noch einiges an Speicher einsparen.
Das macht mich jetzt neugierig: Was bitte sind 100TB Daten die man im Zugriff braucht, wenn man sie generieren kann? Rainbow Tables? Irgendeine Cryptowährung gab es auch mal, die Festplattenplatz in Coins umwandelte... Ich hätte auch gesagt ein 8-Slot NAS und da ein Sack voll dicke Platten rein. Als Sicherung ohne NAS einzeln in externen Gehäusen, oder zur Langzeitaufbewahrung in Tapes, aber dazu braucht man fast eine Library, zumal die Schreibgeschwindigkeit auch ein Problem werden könnte.
🐧 DPA 🐧 schrieb: > Optische Bandspeicher existieren wohl? Zitat "mehrere Prototypen[3][4] wurden bis heute entwickelt, aber keine dieser Technologien ist weit verbreitet. " 🐧 DPA 🐧 schrieb: > was ist eigentlich mit all den Fancy neuen Speichern passiert Die kommen auch nicht aus den Laboren heraus. Derzeit gibt es nur Festplatten und Bänder (LTO), Techniken, die schon in der Steinzeit im vorigen Jahrtausend verwendet wurden, aber immer und immer weiter entwickelt wurden. Nichts davon ist so billig wie die versprochene Rolle Tesafilm aus dem Schreibwarenladen für viele TB, bloss gibt es die halt bloss als Idee. Georg
🐧 DPA 🐧 schrieb: > Vielleicht so alle paar Tage mal, eventuell auch mal 2-3 mal an einem > Tag. Das sind viele eher kleine Datensätze, von denen ich jeweils aber > nur einen brauche. Und es gibt keine Möglichkeit, nur die benötigen Daten zu generieren? Dann könnte man das backup nach /dev/null schreiben, das ist die günstigste und wartunsgärmste Lösung für solche Daten ;) Oliver
Georg schrieb: > aber immer und immer weiter > entwickelt wurden. Zur Illustration: unsere erste Festplatte von Nixdorf hatte das Format einer Toplader-Waschmaschine und die sagenhafte Kapazität von 5 MB. Georg
Sowas geht nur mit Festplatten, für Bänder sind die doch recht häufigen Zugriffe ein Ausschlusskriterium. 100TB sind heutzutage immer noch eine ziemlich unhandliche Datenmenge. Wenn man das als ein einziges Laufwerk haben möchte, sprengt man schnell die Grenzen vieler Dateisysteme, müsste aber mit ext4 oder so gehen. Wo liegen die Daten denn im Moment, oder werden die erst noch erzeugt? Was mich interessieren würde, beinhalten die 100TB bereits den Speicher für das Backup? Sprich 50TB Nutzdaten plus 50TB Backup? Angenommen die 100TB sind alles Nutzdaten, dann würde ich das mit einem großen RAID5 oder so probieren, mit entsprechender Redundanz. Damit bekommt man eine gewisse Sicherheit gegen den Ausfall einzelner Festplatten, aber spätestens wenn eine Platte aus einer nicht mehr verfügbaren Serie ausfällt, endet das schnell mit dem Austausch aller Platten und dem Problem, wie man so eine Menge Daten umkopiert. Die LTO-Bänder sind nur als reine Sicherheitskopie zu gebrauchen, mit dem Vorteil, daß man die auch an einem anderen Ort aufbewahren kann als die aktive Kopie. Mit LTO-7/L7 sind das 6GB ohne Kompression, schlimmstenfalls also 17 Bänder. Das macht ohne Tapeloader keinen wirklichen Spaß und dauert recht lange. LTO-8 würde 12GB schaffen, sind 9 Bänder, aber wirklich schneller als LTO-7 ist es auch nicht. 100TB mit 360MB/s sind über 3 Tage 5 Stunden reine Kopierzeit, ohne Fehler und Bandwechselzeit. Ein 12TB LTO-8 dauert etwa 9 Stunden 16 Minuten. So ein Backup startet man kurz vor Feierabend und schaut am nächsten Arbeitstag obs fehlerfrei durchgelaufen ist... Edit: Gerade mal geschaut, LTO-8 Laufwerke bekäme man für 2000..2500 Euro, damit wäre LTO-7 für mich raus. LTO-7 ist nicht so viel preiswerter um den Nachteil beim Handling zu rechtfertigen.
:
Bearbeitet durch User
🐧 DPA 🐧 schrieb: > Ok, stimmt eigentlich. Und wenn man die Platten insgesamt für ~3k kriegt > ist das eigentlich ja sogar noch erstaunlich preiswert. Dann läuft es > wohl doch auf Festplatten hinaus. Brauchst du Ausfallsicherheit? Dann muss noch RAID eingeplant werden. Das kostet dich ein paar mehr Platten als nur die eigentliche Größe. Wenn du noch Backups brauchst, währen Bänder die sinnvollere Lösung. Beachte übrigens auch, dass es keine gute Idee ist mit Helium gefüllte Festplatten zu nehmen. Der Wunsch diese zu nehmen liegt nahe, da sie deutlich mehr speichern können. Z.B. 8 TB und mehr pro Platte, als bspw. nur 4 TB, aber das Helium wird irgendwann entweichen. Für langfristige Lösungen wären also Platten ohne Helium besser und wenn du da mit 4 TB Platten rechnest, sind das bei 100 TB mindestens 25 Stück. Eine kostet ca. 100 €. Macht dann also 2500 €. Dazu noch ein 19" Rackgehäuse um die 25 Platten unterzubringen, ein Xeon und eventuell noch SAS/SATA Controllerkarten und dann als Software ein NAS System wie bspw. TrueNAS. Dann kannst du die Datenmenge auch gut verwalten. Wenn du SAS anstatt SATA nimmst, wird es noch teuer, da die Platten mehr kosten. Mit einem Raid-Z2, also 2 Platten zur Sicherheit und z.b. 5 Platten für die Daten brauchst du noch 10 zusätzliche Platten, also 35 Stück. Preis dann für die Platten grob bei SATA mind. 3500 €. Wenn Performance wichtig ist, dann wäre ein Mirror sinnvoller. Also 50 Platten und gegebenenfalls zwei 19" Rackgehäuse um die alle unterzubringen. Also mindestens 5000 € + Rackgehäuse + Rackschrank + Rechner also geschätzt 10000 €. Es gibt aber auch mit Z-LOC Lösungen als Zwischencache günstigere Lösungen. Kostet dann halt entsprechend. Irgendwo zwischen 4000 bis 10000 € wirst du mit der Platten- + NAS-lösung + Rackschrank bei SATA also schon liegen. Und dann nicht die Stromversorgung vernachlässigen. Eine USV für diese Festplattenmenge dürfte auch nicht billig sein.
🐧 DPA 🐧 schrieb: > Peter D. schrieb: >> 7 Stück WD 14TB sind ~1700€. > > Oh, wow, das ist ja regelrecht günstig! Etwas Klobig zwar, nicht sicher, > wo ich die am besten alle hinstelle. Und die sind Heliumgefüllt.
Ach eines habe ich noch vergessen. Du brauchst bei ZFS sehr viel RAM. Pro 1 TB ca. 1 GB RAM. Also 128 GB RAM sollte das NAS schon haben.'
🐧 DPA 🐧 schrieb: >> 7 Stück WD 14TB sind ~1700€. > > Oh, wow, das ist ja regelrecht günstig! Etwas Klobig zwar, nicht sicher, > wo ich die am besten alle hinstelle. Ja, glücklicherweise sind die Zeiten, wo 20MB-Platten 2000€ kosteten, schon lange vorbei.
🐧 DPA 🐧 schrieb: > Gibt es irgend ein bezahlbares / möglichst billiges Speichermedium, mit > dem man ~100TB oder so Speichern kann? Darf auch WORM (Write Once Read > Many) sein. Am billigsten wäre wohl ein Stapel beschreibbarer DVDs samt zugehörigen Laufwerk. Die Speichersicherheit ist aber m.W. geringer als bei Festplatten.
Harald W. schrieb: > 🐧 DPA 🐧 schrieb: > >> Gibt es irgend ein bezahlbares / möglichst billiges Speichermedium, mit >> dem man ~100TB oder so Speichern kann? Darf auch WORM (Write Once Read >> Many) sein. > > Am billigsten wäre wohl ein Stapel beschreibbarer DVDs samt > zugehörigen Laufwerk. Die Speichersicherheit ist aber m.W. > geringer als bei Festplatten. Du solltest vor dem Kommentieren erst einmal rechnen. 100 TB sind 102400 GB. Auf eine DVD passen 4,3 GB. Du brauchst also 23814 DVD um die Datenmenge unterzubringen und da sind Verluste durch den Overhead noch gar nicht mitberücksichtigt.
Nano schrieb: > Also 50 Platten und gegebenenfalls zwei 19" Rackgehäuse um die alle > unterzubringen. > Also mindestens 5000 € + Rackgehäuse + Rackschrank + Rechner also > geschätzt 10000 €. Hast du die Anforderungen gelesen? Fünfzig Platten? Bist du Festplattenverkäufer? 100 TB sind zwar nicht nichts, aber bringt man doch locker in einem größeren NAS unter. Je nach Archivanforderung mit oder ohne Helium.
Jan H. schrieb: > Nano schrieb: >> Also 50 Platten und gegebenenfalls zwei 19" Rackgehäuse um die alle >> unterzubringen. >> Also mindestens 5000 € + Rackgehäuse + Rackschrank + Rechner also >> geschätzt 10000 €. > > Hast du die Anforderungen gelesen? Fünfzig Platten? Bist du > Festplattenverkäufer? Kannst du kein Mathe? Die Rechnung oben sollte man doch nachvollziehen können, wenn man nicht auf den Kopf gefallen ist! > 100 TB sind zwar nicht nichts, aber bringt man doch locker in einem > größeren NAS unter. Je nach Archivanforderung mit oder ohne Helium. Oben steht alles erklärt, würdest du mal richtig lesen und vor allem mitdenken hättest du dir dein Kommentar sparen können.
Datenfeuerlöscher schrieb: > 100Ω W. schrieb: >> Cloud? > > OVH Cloud ist super günstig!!!!1 Und demnächst auch mit Backup :)
1 | OVH Promises free backup of everything, forever, |
2 | because some customers assumed that's what clouds do |
https://www.theregister.com/2021/03/17/ovh_restoration_update/
Nano schrieb: > Beachte übrigens auch, dass es keine gute Idee ist > mit Helium gefüllte Festplatten zu nehmen. > Der Wunsch diese zu nehmen liegt nahe, da sie deutlich > mehr speichern können. Z.B. 8 TB und mehr pro Platte, > als bspw. nur 4 TB, aber das Helium wird irgendwann > entweichen. Lt. c't gibt es bisher keine handfesten Belege dafür, dass das noch innerhalb der (typischen) Nutzungsdauer der Platten passiert. Ansonsten: Gesamtes NAS in eine heliumgefüllte Glovebox setzen :-)
oszi40 schrieb: > 🐧 DPA 🐧 schrieb: >> LTO7 > > 100 TB in 6/15 TB (51€) pro Band? Bei komprimierten Daten eher 6TB. Da > kannst Du einen Disjokey einstellen der Bänder wechselt Tag und Nacht? Gibt automatische Wechselsysteme dafür. Dürfte natürlich dann im 5stelligen Bereich liegen :D Und für 2-3mal täglich auch nicht die Wucht sein...
ACDC (Gast) >> ~100TB >Meinst du 100GB oder vielleicht 100MB? Da er 3000€ schon als Kostenpunkt akzeptiert hat, und sogar als recht preiswert betrachtet hat, wird es wohl bei 100TB bleiben.
Nano schrieb: > Auf eine DVD passen 4,3 GB. nein 4,7 GB Single layer DVD (4,38 GiB) 8,5 GB Double layer DVD oder beidseitige mit 17 GB Eine Klasse höher wären dann BDXL mit 128GB Gibt aber in jedem Fall einen grooooßen Stapel und ohne automatisirtes, je nach Datenträgertyp bis zu raumgroßen Magazin macht das keinen Spaß. 100TB sind allerdings noch die Domäne von HDDs. Backup möglicherweise auf Bänder oder in die Cloud. Bei 100TB sind HDDs und (noch) LTO-8 Streamer preislich in einer ähnlichen Region. Nano schrieb: > 100 TB sind 102400 GB. Nein 100 TB = 100.000 GB (10^12 Byte) 100 TiB = ca. 109.952 GB (2^40 Byte) Der Unterschied könnte bei größeren Datenmengen durchaus relevant sein. 🐧 DPA 🐧 schrieb: >> - Wie schmerzhaft ist ein Totalverlust der Daten? > > Nicht besonders. Die sind alle entweder generiert oder repliziert. > Dauert aber leider sehr lange die zu regenerieren. Da du die replizieren kannst, müssen die doch bereits irgendwo gesichert sein?
Reinhard S. schrieb: >> kannst Du einen Disjokey einstellen der Bänder wechselt Tag und Nacht? > > Gibt automatische Wechselsysteme dafür. Dürfte natürlich dann im > 5stelligen Bereich liegen :D Und für 2-3mal täglich auch nicht die Wucht > sein... Das wird nicht billig. Du brauchst SW, HW und viel Zeit um in Störfall alle Bänder zurückzuspielen.
QQ schrieb: > Nano schrieb: >> Auf eine DVD passen 4,3 GB. > > nein > > 4,7 GB Single layer DVD (4,38 GiB) > 8,5 GB Double layer DVD > oder beidseitige mit 17 GB Dann such doch mal Läden, wo du solche Datenträger in großer Menge kaufen kannst. Die meisten DVD-R(W) oder RAM machen bei 4,3 GB Schluss und dass er beschreibbare DVDs will und keine gepressten, das ergibt sich ja wohl schon vom Kontext. > Eine Klasse höher wären dann BDXL mit 128GB Ja, nur das eine BD keine DVD ist. > Nano schrieb: >> 100 TB sind 102400 GB. > > Nein Wenn man die Daten speichern will, muss man den Faktor 1024 berücksichtigen. Das habe ich gemacht. Wenn man nur Pauschal von einer Einheit sprechen will, reichen sowohl TB und GB. Und 100 TB ergibt 100 TB * 1024 = 102400 GB > 100 TB = 100.000 GB (10^12 Byte) > > 100 TiB = ca. 109.952 GB (2^40 Byte) > > Der Unterschied könnte bei größeren Datenmengen durchaus relevant sein. Und deswegen habe ich den auch berücksichtigt. Das TiB und GiB verwendet in der Praxis umgangsprachlich keiner, weil jeder weiß, was gemeint ist. > 🐧 DPA 🐧 schrieb: >>> - Wie schmerzhaft ist ein Totalverlust der Daten? >> >> Nicht besonders. Die sind alle entweder generiert oder repliziert. >> Dauert aber leider sehr lange die zu regenerieren. > > Da du die replizieren kannst, müssen die doch bereits irgendwo gesichert > sein? Wenn er sie generiert, dann werden die wohl aus einem Algorithmus erstellt werden. Vielleicht will er eine große Rainbowtable Datenbank anlegen?
Nano schrieb: > Wenn er sie generiert, dann werden die wohl aus einem Algorithmus > erstellt werden. Das nächste Kunststück ist, die Daten möglichst blitzartig zu sichern, da es wenig nützt wenn er seine 100TB erst zu Weihnachten fertig gesichert hat. Da sind 50% der Daten schon wieder veraltet oder gelöscht. Im Störfall ist er dann zu Ostern mit dem Restore fertig. So lange steht dann seine Firma?
🐧 DPA 🐧 schrieb: >> - Wie schmerzhaft ist ein Totalverlust der Daten? > > Nicht besonders. Die sind alle entweder generiert oder repliziert. > Dauert aber leider sehr lange die zu regenerieren. Das sieht nach Erzeugen einer Entschlüsselungstabelle nach einem bestimmter Verfahren mit Abstandsberechnungen zu Stützstellen aus.
Hallo
Erst mal:
Als von der Frage her rein passiver Mitleser muss ich sagen ein sehr
Interessantes Thema mit durchaus erhellenden Antworten und für mich, bei
deutlich geringeren Bedarf an "billigen" Speicher der nicht besonders
schnell sein muss interessanten Links.
Wenn es nicht Geheim ist würde es mich aber interessieren:
Für was wo es auf einige 1000 Euro wohl doch ankommt braucht man 100TB`?
In Forschungsbereich wo laut diversen Fachberichten riesige Datenmengen
zusammen kommen -z.B. Astronomie - sind wohl selbst 10000 Euro relatives
Kleingeld und letztendlich sowieso zum großen Teil durch den
Steuerzahler finanziert oder es stehen finanzkräftige Firmen dahinter .
In beiden Fällen werden aber wohl kaum die Verantwortlichen hier
nachfragen müssen.
Auch was die Rainbowtabellen angeht (übrigens: Wikipedia hat da für
einen Laien und total unwissenden wie mich,abgesehen von den ersten 2
bis 3 Sätzen, überhaupt keinen Erkenntnisgewinn gebracht was das
überhaupt ist...) scheint es mir als wenn beide Interessenseiten wohl
kaum hier fragen würden was für Speicher man am besten Nutzt und wp es
auf einige Tausend Euro ankommt.
Also Karten auf den Tisch - einfach weil es interessant ist und in einen
Forum auch gegeben werden sollte und nicht nur genommen - Wofür brauchst
du ("ihr"?) 100TB Speicher deine Beschreibung wie oft und in welcher
Weise die Daten dann auch noch Gebraucht werden bzw. das diese wenn wohl
auch Rechenintensiv aber vom Prinzip einfach wiederhergestellt werden
können macht es noch interessanter.
Irgendwas abgefahrenes im Kryptowährungsbereich, wie hier es hier kurt
schon jemand angesprochen hatte?
Weil irgendwie echte Werte (Wete im Sinn von Ware als Dienstleistung die
was handfestes herstellt, das Leben einfacher machen, direkt Satt macht,
Unterhält usw.) scheinen ja bei den Kroyptominingverfahren gar nicht
hergestellt zu werden sondern irgendwelche letztendlich sinnfreien
Berechnungen (oder wohl auch Systeme die "einfach Speicher verschwenden"
?) ist aus mir absolut nicht nachvollziehbaren Gründen viel Geld wert -
"neuer" Glaube an höhere Mächte?
Aber selbst da kann ich mir nicht vorstellen das Leute die so was machen
hier nachfragen müssten und das es auf einige Tausend Euro ankommt.
Es wird immer Geheimnisvoller ;-)
Terra
Dieter D. schrieb: > 🐧 DPA 🐧 schrieb: >>> - Wie schmerzhaft ist ein Totalverlust der Daten? >> >> Nicht besonders. Die sind alle entweder generiert oder repliziert. >> Dauert aber leider sehr lange die zu regenerieren. > > Das sieht nach Erzeugen einer Entschlüsselungstabelle nach einem > bestimmter Verfahren mit Abstandsberechnungen zu Stützstellen aus. Wie kommt man aus den zwei Zeilen von DPA da drauf?
Nano schrieb: > Kannst du kein Mathe? > Die Rechnung oben sollte man doch nachvollziehen können, wenn man nicht > auf den Kopf gefallen ist! Ach nano, um die Multiplikation geht's doch nicht. Bist du Volksschüler, dass du denkst 50x4TB wäre eine mathematische Herausforderung? Wie so oft bei Leuten wie dir: nimm dir zu Herzen, was du selbst geschrieben hast, ist doch lächerlich: > Oben steht alles erklärt, würdest du mal richtig lesen und vor allem > mitdenken hättest du dir dein Kommentar sparen können.
Jan H. schrieb: > du denkst 50x4TB Zurück zum Thema. 50x4TB können durchaus sinnvoll sein, da die Platten am Ende gewöhnlich immer langsamer werden und 50x Cache auch besser wäre als einer.
8 TB für 116€ macht ... 13*116€ = 1508€ für 104 TB. Natürlich mit USB3 Gehäusen. Brauchst nur noch einen HUB/genug Ports. https://geizhals.de/seagate-expansion-desktop-steb-8tb-steb8000300-steb8000402-a1850541.html?hloc=at&hloc=de
Gustl B. schrieb: > 13*116€ = 1508€ für 104 TB. Das ist aber NUR 1 Backup-Satz. Sobald der einen Fehler hat bist Du ganz arm dran! Vorteil der USB3-Platten wäre, dass es keine exotischen Geräte sind. Ein kaputtes LTO7-Laufwerk wäre schlimmer, wenn man morgen keinen Ersatz bekommt.
Ja. Bei Festplatten muss man sowieso aufpassen wegen Bitrot und so. Wenn mir die Daten halbwegs wichtig wären, dann würde ich die Platten dauerhaft oder zumindest regelmäßig laufen lassen. ZFS drauf und ein paar Platten mehr ins RAID damit auch ein paar gleichzeitig ausfallen dürfen und dazu auch gleich ein paar auf Halde als Ersatz. Also als Beispiel 13 + 2 oder 3 für das RAID und nochmal 2 oder so als Ersatz.
oszi40 schrieb: > Gustl B. schrieb: >> 13*116€ = 1508€ für 104 TB. > > Das ist aber NUR 1 Backup-Satz. Sobald der einen Fehler hat bist Du ganz > arm dran! Vorteil der USB3-Platten wäre, dass es keine exotischen Geräte > sind. Ein kaputtes LTO7-Laufwerk wäre schlimmer, wenn man morgen keinen > Ersatz bekommt. Warum ist man dann ganz arm dran? Hat DPA irgendetwas von Backup geschrieben? Er hat sogar explizit gesagt, dass er alle Daten neu generieren kann. Wenn er seine Daten so auf die 13 Platten verteilen kann, dass keine Datenstruktur auf mehrere Platten verteilt ist, ist es trivial im Fehlerfall eine der Platten auszutauschen. Das ist bis jetzt die günstigste und einfachste Variante, die hier genannt wurde. Kein absurder Vorschlag mit XEON-CPU, mehreren SATA-Kontrollern und 50 Platten für 10k€.
Terra schrieb: > Für was wo es auf einige 1000 Euro wohl doch ankommt braucht man 100TB`? Ein Beispiel wäre eine Anwendung vergleichbar zu Endspieltabellen im Schach. Endspiele mit bis zu 7 Steinen sind vollständig ausanalysiert. Das hat 5 Monate gedauert, mit zwei Monstermaschinen vom Kaliber acht CPUs (nicht: acht Kerne) und über 1TB (ja, Terabyte) RAM. Das Ergebnis ist knappe 20TB groß. Etwas Ähnliches kann man wohl auch für andere Spiele machen.
Gustl B. schrieb: > Also als Beispiel 13 + 2 oder 3 für das RAID > und nochmal 2 oder so als Ersatz. Du hast die restlichen speziellen Teile wie RAID-Controller vergessen. Ausgelaufene Batterie-Packs machen viel Spaß in einigen Jahren.
oszi40 schrieb: > Du hast die restlichen speziellen Teile wie RAID-Controller vergessen. > Ausgelaufene Batterie-Packs machen viel Spaß in einigen Jahren. Alles egal. ZFS über mehrere USB Platten habe ich schon gemacht, funktioniert problemlos. Weil da kein Cache dabei ist braucht es auch keinen Akku.
Hörts sich mir wie ein Studenten "Problem" an. Welche Daten werden wirklich benötigt und wie sieht die wirlkiche benötigte Speicherdauer aus? .... Datenspeicherung und deren Gesetzmäßikeit mal außen vor, wer so viel Daten sammelt sollte sich im Vorfeld mal Gedanken machen wsa wirklich an Daten benötigt wird. Datenkraken lassen zu Wünschen übrig. Auch wenn hier um eine technische Machbarkeit gefragt wird, kommt es noch auf die "technische Speichermöglickeit" an. ..... Das Problem wird falsch angegangen, macht das hier zu.
:
Bearbeitet durch User
Chris K. schrieb: > Das Problem wird falsch angegangen, macht das hier zu. Nö. Der Fragesteller hat doch schon gesagt, dass ein Datenverlust OK ist. Die Daten können erneut erzeugt werden, nur dauert das. Die Platten sollen also quasi als "Cache" dienen. So wie damals bei den WLAN Rainbowtables z. B. ja, konnte man auch neu rechnen lassen, aber das Knacken ging eben schneller wenn man die vorrätig hatte.
Geld ausgeben für performance oder die Zeit abwarten. "You get what you are paying for." Entweder selber machen oder darauf hoffen das es jemand anders billigermacht.
Chris K. schrieb: > Geld ausgeben für performance oder die Zeit abwarten. Na Du bist ja ein Blitzgescheiter. Daß die Frage gerade ist, was genau man sich am besten von dem Geld kaufen soll, hättest Du dem Eingangsposting bereits entnehmen können.
Terra schrieb: > Also Karten auf den Tisch - einfach weil es interessant ist und in einen > Forum auch gegeben werden sollte und nicht nur genommen - Wofür brauchst > du ("ihr"?) 100TB Speicher deine Beschreibung wie oft und in welcher > Weise die Daten dann auch noch Gebraucht werden bzw. das diese wenn wohl > auch Rechenintensiv aber vom Prinzip einfach wiederhergestellt werden > können macht es noch interessanter. Wer sowas braucht, beauftragt eine Firma, die das kann. Und fragt nicht in einem Bastlerforum. Wo dann massenweise Bastlerantworten kommen. Zun Tesa-Film. Als es vor Jahren kam, habe ich mir die Augen zugehalten. Um mir nicht mit so einem Müll das Gehirn zu versauen.
🐧 DPA 🐧 schrieb: > Ok, stimmt eigentlich. Und wenn man die Platten insgesamt für ~3k kriegt > ist das eigentlich ja sogar noch erstaunlich preiswert. Dann läuft es > wohl doch auf Festplatten hinaus. alle Software die ich seit 1988 noch habe ist von Platte zu Platte kopiert worden, kein anderes rundes Wechselmedium incl. Geräte hat aus dieser Zeit nur annähernd überlebt.
Dieter D. schrieb: > Das sieht nach Erzeugen einer Entschlüsselungstabelle nach einem > bestimmter Verfahren mit Abstandsberechnungen zu Stützstellen aus. Klar. Eine Rainbowtabelle, bei der man 2-3mal am Tag einen Eintrag braucht und eine Zugriffszeit von 5 Minuten akzeptabel ist. Siehe diesen Beitrag: Beitrag "Re: ~100 TB Speichern"
Nano schrieb: > Du brauchst bei ZFS sehr viel RAM. > Pro 1 TB ca. 1 GB RAM. Wenn nur alle heiligen Zeit darauf zugegriffen werden muss, ist das eher unkritisch. Man kann den ARC auch auf Metadata-only stellen. Allerdings ist ZFS gegenüber ext4/NTFS schon eine Ecke aufwendiger, was das Einrichten und Verstehen der diversen Stellschrauben angeht. Sinnvoll ist es ab einer bestimmten Grösse auf jeden Fall, auf den ganzen RAID-Kram zu verzichten, so liebgewonnen er auch ist (hab mich auch schwergetan ;) ). Bei den aktuellen Storage-Grössen taugt die Abstraktion der Blockdevices durch RAID halt nicht mehr wirklich. Und dann noch die blöden HW-RAID-Controller, die viel kosten, früher immer an irgendwelche xTB-Grenzen gestossen sind, inzwischen oft langsamer als SW-RAID sind und bei Ausfall dann auch noch ein Beschaffungsproblem aufwerfen (wenn man nicht Platinum-Support hat). ZFS ist da ein noch recht bequemer Weg, FS und RAID-Funktionalität zu vereinen... Wenn halt da das "Problem" mit Oracle nicht wäre ;) BTW: CEPH(FS) ist da auch nett, aber nochmal eine Ecke komplexer.
Jan H. schrieb: > Nano schrieb: >> Kannst du kein Mathe? >> Die Rechnung oben sollte man doch nachvollziehen können, wenn man nicht >> auf den Kopf gefallen ist! > > Ach nano, um die Multiplikation geht's doch nicht. Bist du Volksschüler, > dass du denkst 50x4TB wäre eine mathematische Herausforderung? Wie so > oft bei Leuten wie dir: nimm dir zu Herzen, was du selbst geschrieben > hast, ist doch lächerlich: > >> Oben steht alles erklärt, würdest du mal richtig lesen und vor allem >> mitdenken hättest du dir dein Kommentar sparen können. Jan H, dafür, dass du nicht weißt, was ein Mirror ist und nicht erkennst, wie ich auf 50 Platten komme, reißt du ziemlich weit das Maul auf. Da du es immer noch nicht geschnallt hast, hier ein kleiner Tipp, oben habe ich geschrieben: "Wenn Performance wichtig ist, dann wäre ein Mirror sinnvoller. Also 50 Platten ..." Wer da mitdenken kann, für den wird das kein Problem sein, das zu kapieren. Oben steht nämlich alles schon dran, wie ich sagte. Aber du scheinst das selbst dann nicht zu merken, wenn man dich erneut darauf hingewiesen hat.
mh schrieb: > oszi40 schrieb: >> Gustl B. schrieb: >>> 13*116€ = 1508€ für 104 TB. >> >> Das ist aber NUR 1 Backup-Satz. Sobald der einen Fehler hat bist Du ganz >> arm dran! Vorteil der USB3-Platten wäre, dass es keine exotischen Geräte >> sind. Ein kaputtes LTO7-Laufwerk wäre schlimmer, wenn man morgen keinen >> Ersatz bekommt. > > Warum ist man dann ganz arm dran? Hat DPA irgendetwas von Backup > geschrieben? Er hat sogar explizit gesagt, dass er alle Daten neu > generieren kann. Wenn er seine Daten so auf die 13 Platten verteilen > kann, dass keine Datenstruktur auf mehrere Platten verteilt ist, ist es > trivial im Fehlerfall eine der Platten auszutauschen. Das ist bis jetzt > die günstigste und einfachste Variante, die hier genannt wurde. Kein > absurder Vorschlag mit XEON-CPU, mehreren SATA-Kontrollern und 50 > Platten für 10k€. Und noch einer der es nicht kapiert hat. Oben kann man ganz klar nachlesen, dass er bei 4 TB Platten 25 Stück braucht. Wenn er aber Ausfallsicherheit brauchen sollte, was zu dem Zeitpunkt eben nicht klar war, braucht er mehr Platten. Das geht dann mit RAID und Paritätsplatten und somit in langsam oder als Mirror und damit in schnell. Will man die schnelle Lösung, dann wird logischerweise ein Mirror die beste Variante, gesetzt den Fall, Ausfallsicherheit ist ein gewolltes Kriterium. Ist es das nicht, dann kann er meinen ersten Vorschlag nehmen. Das sind 25 Platten zu je 4 TB und damit 2500 € + das NAS dazu. Das ist nicht viel anders 8 TB Platten, aber die 4 TB kommen wenigstens ohne Helium aus. Außerdem kosten die 8 TB Platten als NAS taugliche WD RED Plus keine 100 €, sondern 200 €. Das macht dann also 13 * 200 € = 2600 € und keine 1508€. Preislich tut sich da also nicht viel. Und ja, es gibt inzwischen auch 8 TB ohne Helium, dann kann er logischerweise die nehmen, dann sind's eben 13 Platten oder mit Ausfallsicherheit und Performance 26 Platten. Das ändert nichts an meiner Grundaussage, sondern ist da schon enthalten.
Georg A. schrieb: > Sinnvoll ist es ab einer bestimmten Grösse auf jeden Fall, auf den > ganzen RAID-Kram zu verzichten, so liebgewonnen er auch ist (hab mich > auch schwergetan ;) ). Wenn du es brauchen solltest, dann brauchst du es. Bei großen Platten steigt zudem die Gefahr des Bitrotings, da wird es also wichtiger. > Bei den aktuellen Storage-Grössen taugt die > Abstraktion der Blockdevices durch RAID halt nicht mehr wirklich. Und > dann noch die blöden HW-RAID-Controller, die viel kosten, früher immer > an irgendwelche xTB-Grenzen gestossen sind, inzwischen oft langsamer als > SW-RAID sind und bei Ausfall dann auch noch ein Beschaffungsproblem > aufwerfen (wenn man nicht Platinum-Support hat). Bei ZFS darfst du keine HW Raid Controller verwenden. Bei ZFS ist eine Speicherung ohne Abstraktionsschicht dazwischen die sinnvollste Lösung und bringt sein eigenes RAID mit, das ich oben auch empfohlen habe, falls das ein Kriterium ist. Ich sprach auch nicht von RAID Controllern, sondern Controller um die Platten überhaupt anschließen zu können. Die meisten Mainboards hören nämlich bei 8 SATA Anschlüssen auf. Für mehr, brauchst du zusätzliche PCIe SAS oder SATA Controller. Bei vielen Platten wird der Controller somit notwendig, weil du es sonst nicht angeschlossen bekommst.
Mich interessiert hier erstmal nur noch eines: Ist dieser Thread für den TE noch relevant oder hat der bereits abgedankt? Cryptowährung glaube ich nicht, dafür ist der Aufwand zu hoch bzw. es ergibt sich kein Sicherheitsvorteil wenn nur wenige Instanzen diesen Aufwand betreiben können. Es gibt zwar solche Cryptowährungen, aber da sie zentral verwaltet sind und auch schnell mal abgeschaltet werden können, erschließt sich für mich der Unterschied zum Fiatgeld nicht. Rainbowtables machen nur Sinn wenn man sie deutlich schneller lesen als erzeugen kann. Aber 100TB davon? Wofür? Für ein einziges WLAN-Kennwort? Das wäre den Aufwand nicht wert, wenn man sowas angreift dann vielleicht mit recht einfach zu handhabenden 10TB, die aus guten Kandidaten-Listen erstellt sind. Wenn man's damit nicht schafft, sucht man sich ein anderes Ziel.
Terra schrieb: > Für was wo es auf einige 1000 Euro wohl doch ankommt braucht man 100TB`? Er könnte damit alle PW Hashkombinationen des Hashalgorithmus md5 ohne Salt und der PW Länge von maximal n = 7 speichern, wenn man von der Annahme ausgeht, dass für das PW alle Groß- und Kleinbuchstaben, die 10 Ziffern und noch 2 Sonderzeichen zulässig sind.
1 | md5: |
2 | c=26*2+10+2=64 |
3 | n=7 |
4 | (c^n+c^(n-1)+c^(n-2)+c^(n-3)+c^(n-4)+c^(n-5)+c^(n-6))*(n+16)=102760705783232 |
5 | ans/(1024^4)=93.46 TB |
6 | |
7 | bei sha1 wären: |
8 | (c^n+c^(n-1)+c^(n-2)+c^(n-3)+c^(n-4)+c^(n-5)+c^(n-6))*(n+20)= |
9 | 120632132875968 |
10 | ans/(1024^4)=109.71 TB |
11 | notwendig |
12 | |
13 | wenn er die beiden Sonderzeichen weglässt, käme sogar sha256 in Reichweite: |
14 | c=62 |
15 | (c^n+c^(n-1)+c^(n-2)+c^(n-3)+c^(n-4)+c^(n-5)+c^(n-6))*(n+32)=139594493734566 |
16 | ans/(1024^4)=126.96 TB |
Das ganze, wie schon gesagt, allerdings natürlich nur bis Passwortlänge 7 und einem Zeichenvorrat von 64 (md5/sha1) bzw. 62 (sha256) Zeichen. Da schon seit Jahren Passwortlängen von mind. 8 Zeichen empfohlen werden, ein Salt bei den Hashfunktionen verwendet wird und auch mehr als nur 2 Sonderzeichen bei Passwörtern verwendet werden können, sind die Möglichkeiten damit allerdings arg begrenzt. Aber so ein Smartphone oder Handy, das nur mit einer 6 stelligen Pin gesichert wurde, könnte man damit recht einfach knacken, falls man weiß, wo der Hash gespeichert wird und man auf diesen im Klartext zugreifen kann und es auch ein Hash dieser Art ist. Beim Speichern wird er natürlich noch mindestens ein Trennzeichen benötigen, z.b. LF um die Hash+PW Wertepaare zu speichern. Das habe ich oben jetzt nicht berücksichtigt. Bei 1 Byte pro LF sind das allerdings nur: (c^n+c^(n-1)+c^(n-2)+c^(n-3)+c^(n-4)+c^(n-5)+c^(n-6))=4467856773184 ans/(1024^4)=4.06 TB Wenn man den Hash zuerst, da er immer die gleiche Länge hat, gefolgt vom PW variabler Länge von n = 1..7 und dem LF in jeweils eine Zeile speichert. Die 4 TB kann man also jedem dieser obigen Speicherbedarfsergebnisse hinzufügen. Die MD5 PW Kombinationen dürfte er, ohne den Overhead des Dateisystems zu betrachten, in diese 100 TB also unterbringen können.
Ich habe da jetzt zwar keine genauen Zahlen, aber ich vermute jede moderne GPU bricht 7 Zeichen MD5 oder SHA256 mit deutlich weniger Aufwand. SHA256 wird als Bitcoin-Minig-Algorithmus verwendet und daran lässt sich gut zeigen wie schnell ASICs bei solchen Anwendungen sind. Angenommen man könnte einen halbwegs aktuellen Bitcoin-Miner mit sagen wir 50TH/s dazu verwenden, ist der mit 62^7 (~3,5 Billionen) Möglichkeiten in reichlich 0,07 Sekunden fertig. Angenommen Bitcoin-Miner lassen sich nicht dazu verwenden: Nach schnell gesuchten Zahlen im Netz erreicht cudaHashcat auf einer Maschine mit 8x GTX1080 23GH/s bei SHA256. Sowas könnte man sich privat noch bauen. Die braucht für 62^7 Möglichkeiten also gut 2 Minuten 30 Sekunden. In der Zeit kann man sich gerade so einen Kaffee holen bis man das Kennwort auf dem Monitor hat. Habe ich einen Gaming-Rechner mit nur einer GTX1080 (manche würden das heute schon als sowas von retro bezeichnen) schafft der das in 20 Minuten 25 Sekunden. Ich glaube da kann man auf rainbow tables verzichten. Für WPA2 sähe das übrigens anders aus, da erreicht die oben genannte Maschine mit 8x GTX1080 nur noch 3MH/s.
Terra schrieb: > Auch was die Rainbowtabellen angeht (übrigens: Wikipedia hat da für > einen Laien und total unwissenden wie mich,abgesehen von den ersten 2 > bis 3 Sätzen, überhaupt keinen Erkenntnisgewinn gebracht was das > überhaupt ist...) Eine Rainbowtable enthält alle Ergebnisse einer Rechnung die man nicht umdrehen kann. Passworte werden z.B. gehasht, d.h. ein Server kann den Hash speichern, aber da die Funktion nur in die Richtung PW -> Hash funktioniert, nutzt einem Hacker der Server nix, denn das PW ist nicht wieder zurückrechenbar. Der Hash ist quasizufällig, d.h. die kleinste Änderung im PW verwürfelt den Hash komplett, man kan keine Rückschlüsse ziehen. In einer RBT werden nun einfach alle möglichen Ergebnisse für das PW abgespeichert, so kann man dann den Hash "einfach" suchen und hat ein PW das für den Server passt, da dieser nur den Hash vergleicht. oszi40 schrieb: > 50x4TB können durchaus sinnvoll sein, da die Platten > am Ende gewöhnlich immer langsamer werden und 50x Cache auch besser wäre > als einer. Dafür ist die Ausfallwahrscheinlichkeit exorbitant höher. Vom Aufwand her 50 LW zu verbauen mal ganz ab. Nano schrieb: > Beim Speichern wird er natürlich noch mindestens ein Trennzeichen > benötigen, z.b. LF um die Hash+PW Wertepaare zu speichern. Das habe ich > oben jetzt nicht berücksichtigt. Echt jetzt? 4TB LFs? Wie wäre es mit "Hash und PW sind immer gleich lang, also einfach aneinanderreihen und das n'te PW/Hash lese ich mit (sizeof(Hash)+sizeof(PW))*n?
externe 12TB Western Digital WD Elements Desktop USB 3.0 180,-€ *14 Stk für 160TB = 2520,-€ braucht natürlich auch eine gute USB3 Anbindung, dazu fällt mir nichts ein ausser ein dicker PC mit reichlich PCI Karten und viele "Lanes" käme also noch obendrauf. oder ein Rack für 14 Platten intern mit JBOD JBOD steht für „Just a Bunch of Disks“ oder in manchen Fällen auch „Just a Bunch of Drives“ und beudeutet so viel wie "eine Ansammling an Festplatten. Der Begriff bezieht sich auf ein Array von Festplatten, das noch nicht nach dem RAID-Standard (Redundant Array of Independent Disks) konfiguriert wurde. 12TB Toshiba Enterprise Capacity HDD MG07ACA12TE ebenfalls 14 Stk interne SATA sind sogar teurer 213,78 x 14 Stk die müssen auch noch an entsprechende Controller. Ein NAS Gehäuse für 14 Platten fand ich noch nicht in günstig, für 12 Plattten wird man bei https://www.synology.com/de-de fündig und man braucht 2 davon die man kaskadieren kann Die FS Serie bietet 24 Einschübe, reicht also für 14 x 12 TB
Joachim B. schrieb: > braucht natürlich auch eine gute USB3 Anbindung, dazu fällt mir nichts > ein ausser ein dicker PC mit reichlich PCI Karten und viele "Lanes" käme > also noch obendrauf. Einfacher wäre es die Festplatten aus dem externen Gehäuse einfach auszubauen. Dann hat man wieder stinknormale 3.5'' Festplatten, die man in einen PC oder Server einbauen kann. Dann braucht es nur noch genügend SATA Ports und eine passende Stromversorgung, beides ist aber recht einfach umzusetzen. Alternativ kann man natürlich auch direkt ein Servergehäuse + gebrauchten SAS Controller nehmen, bei dem dann eine Backplane die Verteilung übernimmt. Ich habe so ein Setup hier stehen: Gebrauchtes Supermicro SC846 (24x3.5'' Slots) plus ein gebrauchter SAS Controller, drin sind da ausgebaute WD Elements/WD My Book Festplatten (allerdings nicht voll und jeweils per ZFS gespiegelt). Das ist dann allerdings wieder ein etwas höherer Kostenpunkt (Ich war bei ~350€ mit allem zusammen inkl. Umrüstung auf "Wohnzimmertauglich").
Ntldr -. schrieb: > Einfacher wäre es die Festplatten aus dem externen Gehäuse einfach > auszubauen. Dann hat man wieder stinknormale 3.5'' Festplatten nicht immer, wenn die Platten direkt USB3 Schnittstellen haben, nicht immer haben externe USB Platten SATA eingebaut!
Joachim B. schrieb: > braucht natürlich auch eine gute USB3 Anbindung, dazu fällt mir nichts > ein ausser ein dicker PC mit reichlich PCI Karten und viele "Lanes" käme > also noch obendrauf. vielleicht reicht es ja aus, einfach nur die benötigte Platte einzustöpseln. Das ist aber vermutlich zu einfach für die meisten. Ob das ausreicht, kann nur DPA beantworten.
mh schrieb: > vielleicht reicht es ja aus, einfach nur die benötigte Platte > einzustöpseln. und wenn auf die Daten aller Platten zugegriffen werden muss? Immer tauschen möglich? mh schrieb: > Ob > das ausreicht, kann nur DPA beantworten. eben
> vielleicht reicht es ja aus, einfach nur die benötigte Platte > einzustöpseln. Das ist aber vermutlich zu einfach für die meisten. Das ist einfach unpraktikabel. Erstens geht es nur wenn die Daten entsprechend indexiert werden können, also daß ich weiß welche Platte ich brauche und zweitens braucht man gemäß Murphys Law immer genau die Platte, die gerade nicht am Rechner hängt.
Joachim B. schrieb: > mh schrieb: >> vielleicht reicht es ja aus, einfach nur die benötigte Platte >> einzustöpseln. > > und wenn auf die Daten aller Platten zugegriffen werden muss? Immer > tauschen möglich? > > mh schrieb: >> Ob >> das ausreicht, kann nur DPA beantworten. > > eben Eben, nicht ohne Grund neue Anforderungen erfinden. Das ist bis jetzt zum Zugriff auf die Daten bekannt: 🐧 DPA 🐧 schrieb: > Darf auch WORM (Write Once Read > Many) sein. 🐧 DPA 🐧 schrieb: > Vielleicht so alle paar Tage mal, eventuell auch mal 2-3 mal an einem > Tag. Das sind viele eher kleine Datensätze, von denen ich jeweils aber > nur einen brauche. > >> - Wie schnell muss so ein Zugriff ablaufen? > > Das sollte schon <5min sein, so lange kann ich warten. Kleiner 5s wäre > aber natürlich toll. Ben B. schrieb: >> vielleicht reicht es ja aus, einfach nur die benötigte Platte >> einzustöpseln. Das ist aber vermutlich zu einfach für die meisten. > Das ist einfach unpraktikabel. Erstens geht es nur wenn die Daten > entsprechend indexiert werden können, also daß ich weiß welche Platte > ich brauche Woher weißt du, ob das unpraktikabel ist? Der Einwand ist berechtigt, aber nicht automatisch eine neue Anforderung. Ben B. schrieb: > und zweitens braucht man gemäß Murphys Law immer genau die > Platte, die gerade nicht am Rechner hängt. DPA hat schon angedeutet, dass er es nicht super eilig hat. 2-3 Mal am Tag nen USB Stecker umstöpseln, sollte sich in "<5min" unterbringen lassen.
Reinhard S. schrieb: > Gibt automatische Wechselsysteme dafür. Dürfte natürlich dann im > 5stelligen Bereich liegen :D Und für 2-3mal täglich auch nicht die Wucht > sein... Nö, wir haben eine Tapelibrary von NEC, die fasst 60 Bänder und hat etwa 6.000€ gekostet. Anbindung erfolgt mit 24 Gbit/s (dedizierte Leitung), jedoch liegt die wirklich erzielbare Datenrate bei etwa 200 GB/h. Beim Backup kommt man an LTO kaum vorbei. Für den wahlfreien Zugriff könnte auch ein großes RAID-System eingesetzt werden. Z.B. 24 x 8 TB als RAID-6, den Controller dann mit Flash-Cache. Da ist es auch kein Problem, wenn es den speziellen Festplattentyp nicht mehr gibt, solange die Ersatzplatten vom Controller unterstützt werden. Wir haben SAN-Systeme mit 16 HDD a 2 TB (das System kann keine größeren Platten). Drei davon würden also auch genügen. (und die sind 10 Jahre alt), haben jedoch damals 8.000€ pro Stück gekostet, was damals eher "günstig" war.
Joachim B. schrieb: > Ntldr -. schrieb: >> Einfacher wäre es die Festplatten aus dem externen Gehäuse einfach >> auszubauen. Dann hat man wieder stinknormale 3.5'' Festplatten > > nicht immer, wenn die Platten direkt USB3 Schnittstellen haben, nicht > immer haben externe USB Platten SATA eingebaut! Gibt es das in der Größe überhaupt? Mir war das bislang nur bei externen Festplatten im 2.5''-Format bekannt, bei dem sich die Hersteller die zusätzliche SATA<->USB Platine sparen. Bei den erwähnten großen WD Elements geht das aber auf jeden Fall, da hab ich hier 4 Stück (2x10TB, 2x14TB) ausgebaut und in den Server verfrachtet.
Ben B. schrieb: > Ich habe da jetzt zwar keine genauen Zahlen, aber ich vermute jede > moderne GPU bricht 7 Zeichen MD5 oder SHA256 mit deutlich weniger > Aufwand. Da habe ich heute Morgen mal nach Benchmarkdaten gesucht und auf die Schnelle das hier gefunden: https://www.php-einfach.de/experte/php-sicherheit/daten-sicher-speichern/wieso-man-md5sha1-nicht-fuer-das-speichern-von-passwoertern-verwenden-sollte/ Den ganzen Artikel habe ich nicht gelesen, aber da gibt er schon im zweiten Absatz an, das er für 1 Mio Hashs bei md5 0,67 s und für sha1 0,83 s braucht. Bei 4467856773184 Hashs sind das also: ((4467856773184/(1*10^6))*0,67)/(60*60*24) = 34,65 Tage Insofern nein, das brichst du offenbar nicht so schnell, wenn du dessen Algorithmus verwendest. Gut, mit GPUs wird das wahrscheinlich schneller gehen, und ob er jetzt PHP oder C verwendet, habe ich jetzt auch nicht nachgeguckt, aber Benchmarks mit GPUs habe ich nichts gefunden. Die Datenbank zu generieren braucht natürlich Zeit, aber die kalkuliert man bei solchen Rechnungen nicht ein, wenn man solche Daten öfters abfragen möchte. Aber das ist jetzt sowieso nur Spekulation und Spielerrei. Wahrscheinlich braucht er die 100 TB für was ganz anderes. Ich habe es nur erwähnt, weil es so schön in die 100 TB reinpasst. > SHA256 wird als Bitcoin-Minig-Algorithmus verwendet und daran lässt sich > gut zeigen wie schnell ASICs bei solchen Anwendungen sind. Angenommen > man könnte einen halbwegs aktuellen Bitcoin-Miner mit sagen wir 50TH/s > dazu verwenden, ist der mit 62^7 (~3,5 Billionen) Möglichkeiten in > reichlich 0,07 Sekunden fertig. Ja, wenn das sein Anwendungsfall ist, dann sollte er das Geld besser in so einen ASIC investieren. > Angenommen Bitcoin-Miner lassen sich nicht dazu verwenden: Nach schnell > gesuchten Zahlen im Netz erreicht cudaHashcat auf einer Maschine mit 8x > GTX1080 23GH/s bei SHA256. Sowas könnte man sich privat noch bauen. Die > braucht für 62^7 Möglichkeiten also gut 2 Minuten 30 Sekunden. Gut, dann hast du hier bessere Benchmarks gefunden. Bei 23 GH/s sind es (4467856773184/(23*1000^3))/(60)= 3,23 s > Ich glaube da kann man auf rainbow > tables verzichten. Rainbow Tables werden heutzutage auch kaum noch verwendet. Weil es sich wegen dem Salt nicht lohnt.
Nano schrieb: > Gut, dann hast du hier bessere Benchmarks gefunden. > Bei 23 GH/s sind es > (4467856773184/(23*1000^3))/(60)= 3,23 min Sorry, ich meinte natürlich 3,23 min
Jens M. schrieb: > In einer RBT werden nun einfach alle möglichen Ergebnisse für das PW > abgespeichert, so kann man dann den Hash "einfach" suchen und hat ein PW > das für den Server passt, da dieser nur den Hash vergleicht. Nein, in einer RBT wird nur ein Anfangspasswort und Endhash gespeichert. Und dazwischen gibt es eine Kettte von Stufen, die nicht gespeichert werden müssen, da sie zurückberechnet werden könenn. RBT sind also dazu da, um Speicherplatz auf der Festplatte zu sparen und eben nicht für alle Kombinationen alle Hashs speichern zu müssen. Die Zwischenstufen werden dann, wenn man es überprüfen möchte, erneut berechnet. Da werden also alle RBT von hinten nach vorne durchlaufen bis man den passenden Hash gefunden hat und dann macht man das gleiche mit der gefundenen RBT Kette von Vorne noch einmal um das PW zu finden. Mit 100 TB an Daten könnte er also viel mehr Kombinationen abdecken, als mit der oben beispielhaften md5 Bruteforcemethode in der einfach alle Kombinationen gespeichert werden würden. > > oszi40 schrieb: >> 50x4TB können durchaus sinnvoll sein, da die Platten >> am Ende gewöhnlich immer langsamer werden und 50x Cache auch besser wäre >> als einer. > > Dafür ist die Ausfallwahrscheinlichkeit exorbitant höher. Blödsinn. Ein Mirror bietet Ausfallsicherheit. Geht eine Platte kaputt, dann wird die ausgeworfen und man steckt ne neue rein. Der Rebuild ist dann ein einfaches kopieren von der anderen Mirrorplatte. Im Gegensatz zu Raid 5 oder 6 ist das sowohl vom Rebuild also auch von der täglichen Nutzung sehr schnell. > Nano schrieb: >> Beim Speichern wird er natürlich noch mindestens ein Trennzeichen >> benötigen, z.b. LF um die Hash+PW Wertepaare zu speichern. Das habe ich >> oben jetzt nicht berücksichtigt. > > Echt jetzt? 4TB LFs? Ja, obige Rechnung zeigt es doch. Es sind halt 4467856773184 Kombinationen. > Wie wäre es mit "Hash und PW sind immer gleich lang, also einfach > aneinanderreihen und das n'te PW/Hash lese ich mit > (sizeof(Hash)+sizeof(PW))*n? Das geht nicht, da die PW nicht alle gleich lang sind. Ich habe oben ja nicht nur n lange PW berücksichtigt, sondern auch n-m lange Passwörter bis n = m. Du hast also ne variable Länge. Also brauchst du ein Trennzeichen. Ein LF wäre hier naheliegned, da man dann jede Kombi in eine Zeile speichern und so Zeilenweise in einem Editor anzeigen kann. Wenn man das je wollte. Dein Beispiel funktioniert nur dann, wenn du als PW Leerzeichen erlaubst und somit auch Passwortsätze zulässt. Dann kannst du immer von einer festen PW Länge ausgehen und die aufgrund der Leerzeichen kürzeren PW dann mit in die Rechnung packen. Also bspw. (64+1)^n, wobei die 1 dann für das Leerzeichen steht. Ich gehe aber davon aus, dass PW Sätze nicht zugelassen sind und das PW ein Wort ergeben muss, ohne Leerzeichen. Dann muss die Kombinationen für jede Länge einzeln berechnen und die Ergebnisse addieren um die Anzahl aller Kombinationen zu errechnen.
Joachim B. schrieb: > Ein NAS Gehäuse für 14 Platten fand ich noch nicht in günstig, für 12 > Plattten wird man bei https://www.synology.com/de-de fündig und man > braucht 2 davon die man kaskadieren kann Deswegen habe ich ja gesagt, er soll ein 19" Rackgehäuse nehmen: https://geizhals.de/?cat=geh19&xf=7647_24 Da kann er dann ein Servermainboard mit XEON CPU und SATA/SAS Controller einbauen und TrueNAS darauf installieren. Dann hat er ein besseres professionelleres NAS, als dieses Synology Spielzeug. Und vor allem kriegt er die gewünschten Platten auch unter.
Nano schrieb: >> 3,23 min > > Sorry, ich meinte natürlich 3,23 min Ich meine eigentlich auch immer was ich sage und zuweilen können meine Meinungen auch schonmal auseinandergehen aber bei Dir scheint das ja nicht der Fall zu sein. :)
spiderman schrieb: > Nano schrieb: >>> 3,23 min >> >> Sorry, ich meinte natürlich 3,23 min > > Ich meine eigentlich auch immer was ich sage und zuweilen können meine > Meinungen auch schonmal auseinandergehen aber bei Dir scheint das ja > nicht der Fall zu sein. :) Tja, im Original standen fehlerhafterweise s. Ich hab's zweimal editiert. Kommt halt vor, wenn man Sätze mehrmals umbaut. Das ändert aber nichts an der Richtigkeit meiner Korrektur.
Joachim B. schrieb: > Ntldr -. schrieb: >> Einfacher wäre es die Festplatten aus dem externen Gehäuse einfach >> auszubauen. Dann hat man wieder stinknormale 3.5'' Festplatten > > nicht immer, wenn die Platten direkt USB3 Schnittstellen haben, nicht > immer haben externe USB Platten SATA eingebaut! 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;)
Jupp schrieb: > 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;) Sowas gibt es tatsächlich. Da ist direkt auf der Festplatte schon das USB-Interface drauf (braucht ja im Wesentlichen nur eine andere Firmware und vielleicht einen anderen Transceiver), so dass man sich die zusätzliche Adapterplatine einsparen kann.
Es fehlt noch eine Loesung. Jene mit dem USB-Array fuer bis zu 127 verschiefene Geraete. Mit 100 Speichersticks 1TB waere das auch moeglich. Kostet aktuell 160Euro x 100Stck.
Eigentlich ein sehr schöner fred..vor allem auch wegen der Analogie zum Kopf und Körper. Das wäre sowas wie Übung durch Lernen Üben, Üben, Üben Übung macht den Meister Ich bin selbst ein wenig Datenträger-Messi, und auf vielen Datenträgern steht gar nicht drauf, was drin ist. War früher (Zugriffszeittechnisch) natürlich bei Disketten nicht so ein großes Problem.. Die Bandtechnik hat sich eigentlich auch bewährt, und ist wenn auch nicht optimal auf Zugriff getrimmt, doch wenigstens nicht so stromhungrig? Wir haben ja im Moment moderne HPC-Zeiten, eventuell kann man hier und da ein paar gute Teile gebraucht bekommen? Die Buzzword-Seiten reden u.a. von "hot" und "cold" hinsichtlich der Zugriffszeiten. Eventuell kann man da noch unterscheiden? Aber früher gab es doch auch diese Supercomputer (für Wetterberechnungen) selbstgebaut Geschichte. So ähnlich könnte man das hier auch halten: Man baut sich ein großes System aus verschiedenen Strategien und kostengünstig zusammen, welches man über die Jahre schön updaten bzw. verbessern/stabilisieren könnte. Auch Ersatz, und Langzeit-Stabilität/Verlässlichkeit spielen eine Rolle (?), weswegen wohl aus dem Tesafilm nichts wird. Früher lief das doch auch so ähnlich: bewährte Technik exploitet - oder so: ADAT Bänder.. https://de.wikipedia.org/wiki/Alesis_Digital_Audio_Tape ;)
Jupp schrieb: > 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;) such selber! faule Socke! Rolf M. schrieb: > Jupp schrieb: >> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;) > > Sowas gibt es tatsächlich. Da ist direkt auf der Festplatte schon das > USB-Interface drauf (braucht ja im Wesentlichen nur eine andere Firmware > und vielleicht einen anderen Transceiver), so dass man sich die > zusätzliche Adapterplatine einsparen kann. eben, ratetet mal warum 12 TB USB billiger sind als SATA. Adapterplatte billiger, SATA eingespart usw.
rbx schrieb: > Die Bandtechnik hat sich eigentlich auch bewährt, und ist wenn auch > nicht optimal auf Zugriff getrimmt, doch wenigstens nicht so > stromhungrig? Die Bänder selbst sind so wenig stromhungrig wie ausgesteckte HDDs. Aktiv ist das andersrum: Die LTO-Laufwerke im Bandroboter pusten ziemlich heftig.
:
Bearbeitet durch User
(prx) A. K. schrieb: > Aktiv ist das andersrum: Die LTO-Laufwerke im Bandroboter pusten > ziemlich heftig. Schon, aber mit der Verwendung von 50 Bändern ändert sich der Stromverbrauch nicht, bei 50 Festplatten schon. Und um für ein Backup das Doppelte vorzusehen braucht man "nur" zusätzliche Bänder, kein Laufwerk. Magnetband gab es schon im vorigen Jahrtausend, aber dass eine Technik uralt ist ist ja kein Argument wenn sie die Anforderungen immer noch erfüllt. Natürlich muss man Band-Bibliotheken pflegen, da kann man die NASA fragen. Die Entwicklung optischer Medien ging leider nur bis Blue Ray, das reicht heute für viele Zwecke nicht mehr. Georg
Joachim B. schrieb: > Jupp schrieb: >> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;) > > such selber! faule Socke! Nö. Du behauptest, du zeigst. > Rolf M. schrieb: >> Jupp schrieb: >>> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;) >> >> Sowas gibt es tatsächlich. Ja, natürlich, in 2,5" massenweise. Aber nicht in 3,5". > eben, ratetet mal warum 12 TB USB billiger sind als SATA. Adapterplatte > billiger, SATA eingespart usw. Nein. Das sind normale SATA mit Adapter. Deswegen nochmal: Zeig mal 3,5" mit USB onboard.
Georg schrieb: > Schon, aber mit der Verwendung von 50 Bändern ändert sich der > Stromverbrauch nicht, bei 50 Festplatten schon. Nicht, wenn man die HDDs auch wie Bänder behandelt. ;-)
(prx) A. K. schrieb: > Georg schrieb: >> Schon, aber mit der Verwendung von 50 Bändern ändert sich der >> Stromverbrauch nicht, bei 50 Festplatten schon. > > Nicht, wenn man die HDDs auch wie Bänder behandelt. ;-) Festplatten zurückspulen? Hmm. ;) SCNR.
Jupp schrieb: > Nö. Du behauptest, du zeigst. das war DEINE Behauptung ist Fakt, zum Nachlesen: Jupp schrieb: > 3,5" mit USB ohne abnehmbare Adapterplatine? ja wurde auch schon bestätigt! Rolf M. schrieb: > Sowas gibt es tatsächlich. Da ist direkt auf der Festplatte schon das > USB-Interface drauf da muss ich nichts mehr beweisen!
Joachim B. schrieb: > da muss ich nichts mehr beweisen! Doch, natürlich. Sowas ist nur bei 2,5" häufig vertreten, du hingegen hast behauptet: Joachim B. schrieb: > eben, ratetet mal warum 12 TB USB billiger sind als SATA. Adapterplatte > billiger, SATA eingespart usw. Und jetzt warte ich geduldig auf ein einziges Beispiel, wo eine 3,5"- HDD den USB onboard hat. Und nur weil Rolf den gleichen Quatsch wie du erzählt, ist noch lange nichts bewiesen.
BTW: Halbwegs aktuelle 2,5" WDs sind auch "normale" SATA, die den USB-Controller einfach mit auf dem Board haben. SATA ist über Pads zugänglich, mit einem Schwung Needle-Probes kommt man dran. Habe von div. Platten dieser Bauart schon Daten gerettet, wo nur USB defekt war.
Joachim B. schrieb: > Rolf M. schrieb: >> Jupp schrieb: >>> 3,5" mit USB ohne abnehmbare Adapterplatine? Zeig mal ;) >> >> Sowas gibt es tatsächlich. Da ist direkt auf der Festplatte schon das >> USB-Interface drauf (braucht ja im Wesentlichen nur eine andere Firmware >> und vielleicht einen anderen Transceiver), so dass man sich die >> zusätzliche Adapterplatine einsparen kann. > > eben, ratetet mal warum 12 TB USB billiger sind als SATA. Weil in externen Plattengehäusen gerne die Billigheimer verbaut werden, ähnlich wie bei USB-Sticks. Ich würde jetzt nicht erwarten, dass ein USB-Interface die Platte großartig billiger macht als ein SATA-Interface. Aber so externe Sachen haben oft ein merkwürdiges Preiskonzept. Es gab früher mal die Microdrives - Festplatten mit 1". Da gab es mp3-Player, wo die verbaut waren, die deutlich billiger waren als die Platte einzeln. Deshalb wurden die Player häufig gekauft, die Platten ausgebaut und der Rest weggeworfen. Bis der Hersteller davon Wind bekam und dann eine Sperre in die Firmware eingebaut hat, damit die Platten nur noch in den Playern funktioniert haben. Georg schrieb: > (prx) A. K. schrieb: >> Aktiv ist das andersrum: Die LTO-Laufwerke im Bandroboter pusten >> ziemlich heftig. > > Schon, aber mit der Verwendung von 50 Bändern ändert sich der > Stromverbrauch nicht, bei 50 Festplatten schon. Warum? Wenn man 50 Bänder gleichzeitig verarbeiten will, braucht man auch 50 Laufwerke und damit 50 mal so viel Strom, genau wie bei den Festplatten. Wenn man sie wechselweise nutzt, natürlich nicht. Aber auch das ist genau wie bei den Festplatten.
Rolf M. schrieb: > Weil in externen Plattengehäusen gerne die Billigheimer verbaut werden, Was speziell WD angeht: Jain. In den Elements sind EMAZ, EZAZ, EDAZ u.ä. verbaut, allesamt White Label. Da kommt rein, was gerade "über" ist. Gegenbeispiel sind die MyBook Duo, dort sind explizit Reds verbaut und der Plastikschnubsel zum Ausbauen liegt im Karton.
Dieter schrieb: > LTO Laufwerk: ca. 20W Wenn man hinter der Tape-Library steht, kriegt man dank der Gebläse einen gänzlich anderen Eindruck. Allerdings hat die LTO3 an Fibre-Channel drin. Das Datasheet der Library sagt: 200W für die Lib plus 65W pro Laufwerk.
:
Bearbeitet durch User
(prx) A. K. schrieb: > 200W für die Lib plus 65W pro Laufwerk. Wenn er seine 100TB zeitnah sichern möchte, so braucht er auch viele Laufwerke und möglichst nicht NUR einen Roboter, da öfter auch mal ein Band klemmt.
oszi40 schrieb: > da öfter auch mal ein Band klemmt. Ich habe da andere Erfahrungen, obwohl das Gerät mittlerweile mindestens 15 Jahre alt ist und auch viele Bänder uralt sind. Aber es könnte gute und schlechte Bandroboter geben.
(prx) A. K. schrieb: > habe da andere Erfahrungen Es ist ein Unterschied ob man NUR die Kassetten optisch sieht oder auch zusätzlich die Fehlermeldungen aller ausgeleierten Kassetten sieht. Gewöhnlicherweise werden kranke Kassetten durch weitere automatisch ersetzt sofern noch vorhanden. Manchmal klemmte es auch. Das führt natürlich schnell zu Datenstau wie heute im Suezkanal das Containerschiff.
oszi40 schrieb: > Es ist ein Unterschied ob man NUR die Kassetten optisch sieht oder auch > zusätzlich die Fehlermeldungen aller ausgeleierten Kassetten sieht. Keine Sorge, ich sehe ja was da abgeht. Klar, ab und zu wird von der Software ein Band mit Schreib- oder Lesefehler ausgebucht. Hauptsächlich bei relativ frischen Bändern, weniger bei alten. Ich hatte auch mal den Metallstift bei ein paar Bändern wieder reingefummelt. Ist aber schon seit vielen Jahren nicht mehr nötig gewesen. Die Mechanik der Library ist sehr zuverlässig, da klemmt nichts. Beim Vorgänger war das noch anders, aber dessen Mechanik positionierte "auf Verdacht", nicht auf Basis von Sensorinformation. Leicht dejustiert traf sie folglich daneben.
:
Bearbeitet durch User
Georg schrieb: > Die Entwicklung optischer Medien ging leider nur bis Blue Ray, das > reicht heute für viele Zwecke nicht mehr. Ultraviolette Laser sollen keine so hohe Lebensdauer haben. Und Röntgenstrahlung ist nicht mehr optisch und in der Handhabung wohl auch problematisch. Ein Versuch aus dem Dilemma herauszukommen waren so Versuche wie die Holodisc, aber außer Ankündigungen hat man da auch nichts mehr gehört. Ich glaube die kommen nicht aus dem Prototypenstadium heraus und haben ja auch billige USB Flashspeicher als starke Konkurrenz, das macht den Markteinstieg schwierig. Für Contenthersteller sind BluRays gut genug und alle anderen setzen ohnehin auf Streaming und Pay per Download. Was man also bräuchte wären (wieder-) beschreibbare Holodisc die auch für Backups geeignet wären und eine hohe Datensicherheit und Zuverlässigkeit aufweisen. Nur das hätte eine Chance und daran wird's wohl scheitern. Siehe dazu auch: https://de.wikipedia.org/wiki/Holographic_Versatile_Disc und: https://de.wikipedia.org/wiki/Elektromagnetisches_Spektrum
Dazu auch noch interessant sind folgende Antworten: https://www.quora.com/Why-havent-CDs-come-out-with-the-use-of-ultraviolet-or-X-rays-to-store-more-data
Viele kleine Dateien, die innerhalb von 5 Minuten ausgelesen sein sollen. Mal so ein Gedanke: Crypto-Keys für verschlüsselte Festplatten. Sobald das Geld eingegangen ist, sollen die innerhalb von 5 Minuten verschickt werden. Dieser Service ist wichtig, damit das Geld auch fließt. Nicht jeder bezahlt einen hohen Betrag, ohne Garantie zu haben, seine verschlüsselten Daten wieder zu entschlüsseln.
Mach Dich mal schlau wie solche Trojaner funktionieren... Da wird keine einzige Datei übertragen, sondern nur Schlüssel bzw. evtl. Schlüsselpaare.
Alter, 100TB Kryptokeys für Festplatten... Wenn jeder Key 10kB Platz verbraucht (und es ist eher ein zehntel dessen) sind das 10 Milliarden Festplatten. Mehr als eine Pro Mensch auf dieser Scheibe. Wurden überhaupt insgesamt jemals so viele gebaut?
Jens M. schrieb: > Wenn jeder Key 10kB Platz verbraucht (und es ist eher ein zehntel > dessen) sind das 10 Milliarden Festplatten. und jeder Key ist potentiell 50 Mio USD Wert (https://heise.de/-5993795) d.H. er speichert da Werte von bis zu 500,000,000,000,000,000.00 USD. da versteh ich die Anforderung 🐧 DPA 🐧 schrieb: > bezahlbares / möglichst billiges Speichermedium nicht wirklich...
Εrnst B. schrieb: > nicht wirklich... Der Geiz regiert die Welt, oder nicht? Es kann aber auch sein, das er die Daten von den Überwachungskameras einer Siedlung sammelt. Oder er setzt einen Torrentservice für viele Linux-Distros auf. Die häufig benötigten Distros passen auf eine 2TB Platte, der Rest würde nur ab und zu benötigt und käme auf kleine Zugriffszahlen. Ggf. sind das auch nur virtuelle Maschinen mit den Distros.
Solche Datenmengen hast Du schnell wenn Du Trainingdaten für deep learning sammelst. Ein paar Millionen Straßenkilometer als Video und Radar plus Telemetriedaten, da hast Du Deine hundert TB schnell zusammen. Die Kollegen lagern sowas in kühlschrankgroßen NAS von EMC Storage.
Soul E. schrieb: > Die Kollegen lagern sowas in kühlschrankgroßen NAS von EMC > Storage. Das ist ja nur ein Teil der Wirklichkeit. Der Rest sind grosse Industriehallen mit dem Stromverbrauch einer Kleinstadt. Georg
Ich kenne so bekloppte Filmfans die haben > 200TB an Plattenspeicher im Keller stehen wo die ganzen Blurays + DVD draufkopiert sind mit denen sie zimmerdeckenhohe Regale gefüllt haben, zwecks bequemeren zugriffs. 100TB? Das ist doch heute nix mehr, das sind gerade mal 10 Platten bzw. noch weniger wenn die neuesten 18TB sein sollen. Andere Bekloppte haben uraltbackupserien bis zu 20 Jahre zurück auf ihren Plattenarrays, der andere Endspieldatenbanken, nen Zoo an VMs, Dockerimages,... Oder Fotoknipser die jedes beschissene Bild in RAW aufheben,....
Rohdaten sollte man immer aufheben solange man den Speicherplatz dafür bezahlen kann. Man weiß nie wozu man die nochmal brauchen kann.
Buddy haut den Lukas schrieb: > Ich kenne so bekloppte Filmfans die haben > 200TB an > Plattenspeicher im > Keller stehen wo die ganzen Blurays + DVD draufkopiert sind mit denen > sie zimmerdeckenhohe Regale gefüllt haben, zwecks bequemeren zugriffs. 200 TB? Das wäre Platz für 200 TB * 1024/25 GB = 8192 Filme die man von BluRays gezogen hat. Das wären: 8192 Filme * 120 min / (60*12*365) = 3,74 Jahre, die man mit Film gucken beschäftigt wäre, wenn man pro Tag 12 h am Stück guckt. Wer macht so etwas, außer jetzt vielleicht Personen die nicht anders können weil sie ans Bett gebunden sind?
>Wer macht so etwas, außer jetzt vielleicht Personen die nicht anders
Der eine sammelt Briefmarken, der andere Filme ;-)
Und wenn man die komprimiert, kommt ma mit 10TB aus. :-) Filme schaut man sich doch auch nicht zweimal an. Vielleicht Vor....nos.
michael_ schrieb: > Filme schaut man sich doch auch nicht zweimal an. och sehr gute Filme schon, die brauchen auch kein BR zu sein oder 4K bzw. UHD Gute Filme sind halt zeitlos gut, zu oft wurde ich von neusten Machwerken enttäuscht die mit Geruckel und wahnsinns Kamerafahrten auch nicht in fullHD besser wurden. Etliche Filmstudios streiken ja schon bei 4K und 8K wird noch teurer. Mal ehrlich bringt es das? z.B. Mehrkanalton 11.2 nur Marketing. Immer wird ne neue "Sau" durchs dorf getrieben, man kommt mit dem Verkabeln ja kaum nach und der WAF ist auch sehr minimal. In meinem Kinozimmer seit 2017 habe ich genau 2 Filme geschaut, mehr lohnten nicht.
:
Bearbeitet durch User
Nano schrieb: > Das wären: > 8192 Filme * 120 min / (60*12*365) = 3,74 Jahre, die man mit Film gucken > beschäftigt wäre, wenn man pro Tag 12 h am Stück guckt. > Wer macht so etwas, außer jetzt vielleicht Personen die nicht anders > können weil sie ans Bett gebunden sind? Das gab es auch schon in der analogen Welt: Ich kannte ein Ehepaar, die hatten 20.000 VHS-Videokassetten zu jeweils 4 Stunden. Die haben mit mehreren Videorekordern parallel aufgenommen, ganze Serien komplett. Und um die lagern zu können, hatten sie extra noch eine Garage angemietet, in der nur die Kassetten lagerten. 100 TB sind nur dann wenig, wenn es sich um privaten Datenmüll handelt. Den kann man auf USB-Platten billigster Bauart lagern. Wenn es sich um wertvolle Daten handelt, dann müssen die als Backup vorliegen und im RAID-Verbund laufen. Und es gibt auch keine allgemeingültige Formel, welches System am besten ist, denn es kommt auf die Struktur der Daten und die Art der Zugriffe an. Und natürlich auch auf den Geldbeutel.
Festplatten sind immer metrisch angegeben, und nicht im Dualsystem. D.h. für 1TB benötigt man 1,1TB Festplatte. 100 TB netto bekommt man in 3 HE nur mit Kompromissen unter, man müsste RAID-6 benutzen. Das macht aber bei diesen Datenmengen keinen Sinn. Also besser 4 HE und ein Pool aus Mirrors, und natürlich mit Hot-Spares. Das ganze baut man mindestens 2 mal auf, Live und Backup. Besser ist 3 mal, Live, Standby und Backup. Insgesamt wären das für ein System aus 2 * 7 + 2 Platten á 16TB Materialkosten in Höhe von etwa 4800,- für die Platten plus etwa 2200,- für Gehäuse, Board, SAS-Controller, CPU, RAM etc.
Experte schrieb: > 100 TB netto bekommt man in 3 HE nur mit Kompromissen unter, man müsste > RAID-6 benutzen. Warum müsste man RAID-6 benutzen? Experte schrieb: > Also besser 4 HE und ein Pool aus Mirrors, und natürlich mit Hot-Spares. > Das ganze baut man mindestens 2 mal auf, Live und Backup. Besser ist 3 > mal, Live, Standby und Backup. Mit welcher der genannten Anforderung rechtfertigst du diesen Aufwand?
Experte schrieb: > Festplatten sind immer metrisch angegeben, und nicht im Dualsystem. D.h. > für 1TB benötigt man 1,1TB Festplatte. Für genau solche Formulierungen ist das "i" sinnvoll: für 1 TiB benötigt man 1,1 TB Festplatte.
Wozu der ganze Stress? Bekommt man auch auf eine einzige 3,5" Platte: Nimbus Data ExaDrive SSD mit 100TB. Kostet allerdings 40.000 USD. www.computerbase.de/2020-07/exadrive-dc100-100-tb-ssd-preis Oder bei Youtube schauen, LinusTechTipps hat mal eine zerlegt ;)
Die ist aber noch größer - und noch teuer, und noch nutzloser .... ;-) https://www.ebay.de/itm/283414313921?chn=ps&norover=1&mkevt=1&mkrid=707-134425-41852-0&mkcid=2&itemid=283414313921&targetid=1111968864707&device=c&mktype=pla&googleloc=1004911&poi=&campaignid=10203814536&mkgroupid=101937407917&rlsatarget=aud-507143380923:pla-1111968864707&abcId=1145990&merchantid=7364532&gclid=Cj0KCQjwjPaCBhDkARIsAISZN7TjyPMh_1ejiVFIew9JVVDhrm3x-it6pXCOh9opwt1TyAXWaMO89XgaAjf8EALw_wcB
:
Bearbeitet durch User
Hallo Jens G. schrieb: > Die ist aber noch größer - und noch teuer, und noch nutzloser .... ;-) > > E bay-Artikel Nr. 283414313921 Die Frage ist ernst gemeint und hat so gesehen mit E-Technik wenig zu tun: Wer und vor allem warum stellt irgendjemand so ein Angebot in E Bay ein? Zeigen das man im Besitz solch einer Platte ist? Muss man als E Bay Verkäufer Aktivität zeigen um sein Verkäuferstatus nicht zu verlieren? Steht da tatsächlich ein dermaßen hoher Sammlerwert hinter der Platte? Kann ich mir bei den diversen Videos von wesentlich älteren Platten die im Netz existieren und den recht handfesten und nicht sehr besorgten Umgang damit eigentlich kaum Vorstellen. Auch dürfte der Sammlermarkt und oder die Anzahl der Interessierten die sich solch eine Platte gegen (viel) Geld ansehen würden sehr klein sein. Hat der Verkäufer einfach eine falsche Vorstellung vom Markt? Auf "Antworten" wie :"Er ist einfach blöd" oder "Er sucht einen Blöden" darf gerne Verzichtet werden. Auch "Betrüger" (Gegenüber wen überhaupt - welchen Vorteil soll so ein "Angebot" ihn überhaupt bringen?) kann ohne erklärende Begründung keine vernünftige Antwort sein. Mich würde wirklich Interessieren was hinter solch einen "Angebot" steht, vor allem weil es solche vom Prinzip (Maßlos übertriebene)Preisvorstellungen für Produkte die kaum einen Markt haben - schon gar nicht im privaten Bereich-immer wieder gibt. Es wurden ja schon echte Lokomotiven und zwar nicht "nur" die 60 Jahre alte Feldbahn- oder Kirmeslok (Kinderbespaßungsgerätschaft) - zwar juristisch nicht ("Tüv" - "Frist") Betriebsbereit aber doch Vollständig und technisch funktionsunfähig zu Preisen zu den man in so manchen Gegenden auch heute noch ein gebrauchte Haus bekommt bei E Bay angeboten. Jemand
Jemand (Gast) >Jens G. schrieb: >> Die ist aber noch größer - und noch teuer, und noch nutzloser .... ;-) >> <> E bay-Artikel Nr. 283414313921 >Die Frage ist ernst gemeint und hat so gesehen mit E-Technik wenig zu >tun: > und viel mehr ... > Bist Du plötzlich krank geworden, oder warum schreibst Du so viel Mist zu meinem Späßchen? Die 100TB SSD war ja sicherlich bei dem Preis auch nicht ganz ernst gemeint, wenn auch eine Option bei sehr offenem Geldbeutel ...
> Die 100TB SSD Ein Brand oder ein "kleines" Überspannungsproblem und diese 100TB WAREN mal da? Ein Restore könnte "etwas" mehr Zeit benötigen, FALLS es ein gesundes Backup gibt? https://www.datacenter-insider.de/die-folgen-des-ovhcloud-dramas-a-1009064/
Eure SSD mit 100 Terabyte braucht bei 460 MB/s Schreibleistung "nur" knapp 63 Stunden um die einmal voll zu schreiben.
oszi40 schrieb: > "kleines" Überspannungsproblem Ob der TO daran gedacht hat, das der Plattenverband mindestens über ein Leitungsstück LWL von seiner kommunizierenden Umwelt galvanisch getrennt sein sollte, damit er nicht durch Blitzschlag in der nahen Umgebung seinen Plattenspeicher einbüßen wird.
mh schrieb: > Mit welcher der genannten Anforderung rechtfertigst du diesen Aufwand? Verfügbarkeit? Schon mal mit solchen Datenmengen zu tun gehabt oder alternativ mal nachgedacht oder ein wenig nachgerechnet? Z.b. dauert die Übertragung von 100TB über Gigabit-Netzwerk 10 Tage. Und: 🐧 DPA 🐧 schrieb: > Dauert aber leider sehr lange die zu regenerieren. Wenn Du keine Redundanz hast, und eine Platte oder der Controller, oder ein Netzteil hat mal kurz Schluckauf, sind Deine über lange Zeit (Tage? Wochen?) generierten Daten alle futsch. Musst Du die Daten neu erzeugen, funktionieren in dieser Zeit alle Systeme, die von diesen Daten direkt oder indirekt abhängig sind, nicht.
Dieter D. (Firma: Hobbytheoretiker) (dieter_1234) >Ob der TO daran gedacht hat, das der Plattenverband mindestens über ein >Leitungsstück LWL von seiner kommunizierenden Umwelt galvanisch getrennt >sein sollte, damit er nicht durch Blitzschlag in der nahen Umgebung >seinen Plattenspeicher einbüßen wird. Mensch, seid ihr kompliziert. Und wenn es nur 1TB sind, glaubst Du wirklich, daß sich darüber jemand bei diesem Lottospiel Gedanken macht?
Hallo michael_ schrieb: > Filme schaut man sich doch auch nicht zweimal an. > Vielleicht Vor....nos. Dann hast du noch keine guten Filme oder Serien geschaut. Eigentlich ist alles was man nicht schon beim ersten mal vorzeitig abschaltet (außer man wird gezwungen sich den ganzen Kram anzusehen - und das gibt es leider) es Wert zweimal oder auch öfter angeschaut zu werden. Oft genug entdeckt man Details die man beim ersten mal nicht gesehen hat. Das alles hängt aber wohl auch davon ab wie und welche Filme / Serien man schaut. Und ja 200TB ist schon eine Ansage und die muss man erst mal voll kriegen, aber es gibt eben Sammler und Leute die verschiedene Versionen des selben Films (Serie) haben wollen, die aus Prinzip "alles" lokal auf HD sichern (TV, Stream, Mediathek, YT - alles ist irgendwie möglich). Jeder jeck ist halt anders. Praktiker
Experte schrieb: > mh schrieb: >> Mit welcher der genannten Anforderung rechtfertigst du diesen Aufwand? > > Verfügbarkeit? > > Schon mal mit solchen Datenmengen zu tun gehabt oder alternativ mal > nachgedacht oder ein wenig nachgerechnet? Jepp, ich habe jeden Tag mit solchen Datenmengen zu tun. Und die werden entsprechend der Anforderungen gespeichert. > Z.b. dauert die Übertragung von 100TB über Gigabit-Netzwerk 10 Tage. Und was genau folgt jetzt daraus? Weißt du, ob die Daten über ein Gigabit-Netztwerk übertragen werden müssen? > 🐧 DPA 🐧 schrieb: >> Dauert aber leider sehr lange die zu regenerieren. > Wenn Du keine Redundanz hast, und eine Platte oder der Controller, oder > ein Netzteil hat mal kurz Schluckauf, sind Deine über lange Zeit (Tage? > Wochen?) generierten Daten alle futsch. > Musst Du die Daten neu erzeugen, funktionieren in dieser Zeit alle > Systeme, die von diesen Daten direkt oder indirekt abhängig sind, nicht. Und welche Systeme kennst du, die von den Daten abhängig sind? Und für welches System ist es ein Problem, wenn es ne Weile nicht läuft? Du formulierst Lösungen, wie einige andere hier im Thread, für Anforderungen, die der TO bis jetzt nicht gestellt hat. Dabei wird das "bezahlbar / möglichst billig" aus dem ersten Satz im ersten Beitrag des TO komplett ignoriert.
Experte schrieb: > Also besser 4 HE und ein Pool aus Mirrors, und natürlich mit Hot-Spares. > Das ganze baut man mindestens 2 mal auf, Live und Backup. Besser ist 3 > mal, Live, Standby und Backup. Dann kannst du gleich CEPH nehmen.
Wurde doch schon genannt, 7x 16TB zusammenschließen, mit 2x 5 bay RAID und UPS sowie transientengeschutzte Steckdose und usb3 Steckkarte 2000€. Dafür bekommt man 100TiB als big disk oder 87TiB als RAID 5.
Chris schrieb: > Wurde doch schon genannt, 7x 16TB zusammenschließen, mit 2x 5 bay RAID > und UPS sowie transientengeschutzte Steckdose und usb3 Steckkarte 2000€. > Dafür bekommt man 100TiB als big disk oder 87TiB als RAID 5. Wenn man davon ausgeht, dass der ganze restliche Krempel einfach so "vom Laster fällt", sind RAID-taugliche 16TB-Festplatten für 2000€/7=286€ pro Stück schon ein Schnäppchen. Bei Alternate kosten die "Seagate Exos X16" (bis Montag) gerade 299€. Und das Raid, die UPS usw. braucht er garnicht. In den geforderten 5 Minuten Zugriffszeit kann man auch den Schrank aufmachen, die USB-Platte mit der Aufschrift "Filme X" rausnehmen, Anstöpseln, und den Film "xXx⁴² - Tötet den Osterhasen" starten. Und nachdem das nur alle paar Tage mal vorkommt, er also wohl nicht jeden Tag einen Film aus dem Archiv gucken will, was soll er dann mit einer 24/7-Dauerläufer-Server-Lösung, mit Stromverbrauch und Geräuschentwicklung wie ein Staubsauger?
Jens G. schrieb: > Ebay-Artikel Nr. 283414313921 "Das Lineal habe ich wegen der Grössenverhältnisse angelegt. Es hat eine Gesamtlänge von 50 Zentimetern." Das heißt, das Lineal wird nicht mitgeliefert? Das ist ärgerlich. Sonst hätte ich das Ding glatt gekauft…
Rolf M. schrieb: > Das heißt, das Lineal wird nicht mitgeliefert? Das ist ärgerlich. Sonst > hätte ich das Ding glatt gekauft… Mich würde eher der vorletzte Satz in der Artikelbeschreibung zweifeln lassen, ob es lohnt, da zuzugreifen: "Dass die Platte nicht mehr funktionsfähig ist, versteht sich von selbst."
Wolfgang schrieb: > Mich würde eher der vorletzte Satz in der Artikelbeschreibung zweifeln > lassen, ob es lohnt, da zuzugreifen: > "Dass die Platte nicht mehr funktionsfähig ist, versteht sich von > selbst." Da irgendjemand auf die dumme Idee gekommen ist die zu öffnen, mutwillig zu beschädigen und somit keinerlei Chance besteht die irgedwie zu retten und mit einem gegebenenfalls selbst gebauten Controller als Demonstrationsobjekt zu nutzen, hat die meiner Meinung nach Schrottwert aber Aufgrund ihres historischen Wertes ihren Platz als Exponat in einem Museum. Ich jedenfalls kann mich nicht daran erfreuen.
Wenn Du es kompakt haben willst: Exadrive DC100 Wenn es etwas weniger kosten soll: FreeNAS und entsprechend viele Platten.
Interessant wird in einem Plattenstapel herauszufinden, welche Daten auf der einen defekten Platte waren...
Jemand schrieb: > Wer und vor allem warum stellt irgendjemand so ein Angebot in E Bay > ein? > > Zeigen das man im Besitz solch einer Platte ist? Nein - um zu zeigen, wie urgewaltig man einen an der Waffel hat, zu glauben, man könnte dieses Stück Elektronik-Schrott allen Ernstes für diese exorbitant unverschämte Summe an den Mann respektive die Frau bringen...
● Des I. schrieb: > Interessant wird in einem Plattenstapel > herauszufinden, welche Daten > auf der einen defekten Platte waren... Hätte nur jemand vor der Festplatte die Schrift erfunden ...
Ja, die ExaDrive 100TB war kein Trollbeitrag, die gibts wirklich. Ich denke mal, das auch hier der Preis sinken wird. Wenn man überlegt, ich habe 2003 für eine 256*MB* Speicherkarte 89.- Euro bezahlt. Die Rechnung hab ich noch. Natürlich sind die RAID und NAS Vorschläge besser und günstiger. Grüße, Serge
Wie waere es mit einer KI, mit 1 Mio Identitaeten, die 100MB in Emailpostfaechern verteilt haelt, die als Botnetz eine virtuelle 100TB HD emuliert?
🐧 DPA 🐧 schrieb: > Gibt es irgend ein bezahlbares / möglichst billiges > Speichermedium, mit > dem man ~100TB oder so Speichern kann? Darf auch WORM (Write Once Read > Many) sein. > .. > > Wo kriegt man sowas? Ich kram den Thread nochmal raus, da ich ne Frage an den TS habe. Brauchst du diesen 100 TB Speicher eigentlich für die Kryptowährung Chia? https://www.heise.de/news/Kryptowaehrung-Chia-2-Exabyte-ueberschritten-und-erstmalig-handelbar-6037645.html
Nano schrieb: > Brauchst du diesen 100 TB Speicher eigentlich für die Kryptowährung > Chia? Nein, Kryptowährungen lohnen sich schon lange nicht mehr.
Daniel A. schrieb: > Nein, Kryptowährungen lohnen sich schon lange nicht mehr. Du hast überhaupt keine Ahnung, wieso die Frage in diesem Zusammenhang relevant ist, wolltest aber was posten.
Nop schrieb: > Daniel A. schrieb: >> Nein, Kryptowährungen lohnen sich schon lange nicht mehr. > > Du hast überhaupt keine Ahnung, wieso die Frage in diesem Zusammenhang > relevant ist, wolltest aber was posten. Nein, ich bin der TO (DPA = Daniel Patrick Abrecht), die Frage war an mich gerichtet. Ich habe nur vergessen, mich vorher abzumelden...
🐧 DPA 🐧 schrieb: > Nop schrieb: >> Daniel A. schrieb: >>> Nein, Kryptowährungen lohnen sich schon lange nicht mehr. >> >> Du hast überhaupt keine Ahnung, wieso die Frage in diesem Zusammenhang >> relevant ist, wolltest aber was posten. > > Nein, ich bin der TO (DPA = Daniel Patrick Abrecht), die Frage war an > mich gerichtet. Ich habe nur vergessen, mich vorher abzumelden... Okay, dann war das deine Antwort. Danke für das beantworten meiner Frage.
Thread beobachten
Seitenaufteilung abschaltenBitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.