Hallo zusammen,
ich führe einigermaßen regelmäßig eine Datensicherung durch. Mit der
Zeit habe ich so einige Datenträger voll bekommen, die alle an einem
ausreichend sicheren, aber tlw. unterschiedlichen Ort lagern.
Anfangs war mir noch klar, auf welchem Datenträger welche Daten
schlummern müssten. Inzwischen habe ich aber so viele zusammen, dass ich
langsam den Überblick verliere.
Gibt es ein Verwaltungsprogramm, dass mir hilft, den Durchblick zu
behalten? Toll wäre es, wenn es die Daten von meinen Datenträgern
einlesen würde und dann in einer Datenbank deren Inhalt (Dateinamen,
Änderungsdatum, Prüfsumme, ...) mit dem Datenträger (Hersteller, Modell,
Aufbewahrungsort, letzte Überprüfung, ...) verknüpft.
Ich möchte dann später nachschauen können, auf welchem Datenträger sich
die Datei XY in welcher Version mit welchem Änderungsdatum befindet.
Beispiel:
1
Dateiname Datum Prüfsumme Datenträger Aufbewahrungsort
Das hört sich für mich wie eine schöne Fingerübung für eine eigene
Datenbank an.
Über die Jahre habe ich auch mit Backup Programmen und deren Verwaltung
experimentiert. Meist haben die aber ihre Daten in irgendwelchen
Formaten abgelegt, die dann von nichts anderem lesbar waren.
SQL sollte auch in vielen Programm Generationen noch lesbar sein.
Z.B. bei https://www.postgresql.org/ würdest Du wohl die Grenzen der
Datenbank nicht so schnell erreichen.
Sind eigentlich nur 3 Tabellen:
Datenträger
Aufbewahrungsort
Datei(Pfad/Eigenschaften)
Kost auch nix. Dafür kannst Du alle Möglichkeiten einer erwachsenen
Datenbank nutzen.
Bin leider nicht (mehr) so fit in dieser Art Programmierung, sollte aber
nicht allzu kompliziert sein.
Frag doch mal, ob jemand Lust dazu hat. Dann passt das bestimmt mit dem
Preis.
Und eben durch SQL bist Du flexibel und nicht abhängig von einem
bestimmten Programm.
pegel schrieb:> Und eben durch SQL bist Du flexibel und nicht abhängig von einem> bestimmten Programm.
Das ist ein Irrtum. Nicht SQL speichert die Daten, sondern eine
Datenbank und das ist eben ein bestimmtes Programm. SQL ist nur die
Abfragesprache, die vom Datenbankprogramm interpretiert wird, um Daten
aus der DB heraus zu fischen.
Vielleicht könnte Recoll (https://www.lesbonscomptes.com/recoll/) da
helfen, damit wäre sogar Volltext suche möglich.
Ich weiß aber nicht genau wie es sich verhält, wenn die Datenträger
nicht eingehängt/angeschlossen sind (Vermutlich ist das aber egal, da
die Suche ja auf der lokalen Datenbank und nicht auf die Dateien selbst
ausgeführt werden sollte).
Ja genau: für sich kaum ändernde und schon gar nicht in ändernden
Beziehung Textbrosamen muss gleich eine richtige DB-Engine ran. Mit
Kanonen auf Mücken.
Pro Datenträger 1 Inventurtextdatei generieren (gem. Bsp. TO gern in 1er
Normalform);
zur Konsultation ggfs. in 1 einzige Textdatei zusammenhaengen und mit
den klassischen Shell-Werkzeuge filtern/abfragen.
Nach Jahrzehnte nun endlich auch unter Windows mit WSL. (früher dank
Cygwin).
Bash, find, cat, grep (f. "Turnfälle" die PCRE Erweiterung nutzen),
sort, cut
NB: mit so kurzen Prüfsummen wird man eher nicht durchkommen, siehe MD5
Jan B. schrieb:> Vielleicht könnte Recoll (https://www.lesbonscomptes.com/recoll/) da> helfen, damit wäre sogar Volltext suche möglich.
Danke, ich werde es mir gleich anschauen.
pegel schrieb:> Das hört sich für mich wie eine schöne Fingerübung für eine eigene> Datenbank an.
Ich kenne mich leider mit Datenbanken nicht aus. Mag sein, dass die
Aufgabe für einen (Semi-)Profi gar kein Thema ist, aber ich möchte kein
neues Projekt starten. Gibt es denn keine Kaufsoftware?
pegel schrieb:> Frag doch mal, ob jemand Lust dazu hat. Dann passt das bestimmt mit dem> Preis.
Am liebsten wäre mir etwas Etabliertes. Bei dem die gröbsten Fehler
schon raus sind. Auf das ich mich verlassen kann.
pegel schrieb:> Eine Excel/Calc Tabelle tut es natürlich auch.
Mit Excel hatte ich tatsächlich schon rumgespielt. Von der Idee her
klappte es richtig gut! Aber leider wurde die Tabelle riesengroß und
Excel extrem langsam. Ich vermute, es braucht hier wirklich eine
Datenbank.
Wie findet ihr euch denn in Eurem Archiv zurecht? Wie machen das kleine
und große Firmen? Da muss es doch eine Verwaltungssoftware für geben?
Oder schreiben die sich das tatsächlich selbst?
Die erste Frage, die sich da stellt:
Wofür braucht man steinalte backups mit Vor-Vor-Vor-Vorversionen
irgendwelcher Dateien?
Für die paar Dateien, für die du das sinnvoll beantworten kannst,
braucht es dann keine Datenbank.
Oliver
Für CD-Rs pp hilft möglicherweise CatDisk; gibt es wohl noch bei
archive.org oder so ...
Für die externen Festplatten ginge
"DIR *.* /s > Dateiliste.txt"
HTH
Steffen H. schrieb:> Wie findet ihr euch denn in Eurem Archiv zurecht? Wie machen das kleine> und große Firmen? Da muss es doch eine Verwaltungssoftware für geben?> Oder schreiben die sich das tatsächlich selbst?
Heutzutage spielt man nichtmehr mit DVDs herum. Als Privatmann nimmt man
zwei Festplatten die genug sind um alles zu fassen, dann muss man auch
nicht großartig verwalten. Als kleines Unternehmen ein entsprechend
großes Storage. Bei Großunternehmen dann professionelle Lösungen - aber
auch so, dass man nicht erstmal Datenträger suchen muss. Die Zeit der
Bänder ist auch schon ausgelaufen.
Oliver S. schrieb:> Wofür braucht man steinalte backups mit Vor-Vor-Vor-Vorversionen> irgendwelcher Dateien?
Diese Frage habe ich mir gestellt und auch für mich beantwortet. Positiv
beantwortet.
Jan H. schrieb:> Als Privatmann nimmt man> zwei Festplatten die genug sind um alles zu fassen, dann muss man auch> nicht großartig verwalten.
Die Idee hatte ich auch schon. Funktioniert aber nicht (oder nicht
effizient).
Nehmen wir mal an, mein Datenträger hält die Daten sicher für 8 Jahre.
Das bedeutet, wenn ich mir diesen Datenträger heute kaufe, sollte er so
groß sein, dass dort die Daten von heute plus die neu anfallenden Daten
der nächsten 8 Jahre drauf passen.
Andernfalls müsste ich entweder den Datenträger vorzeitig entsorgen
(weil er voll ist) und mir einen neuen, größeren kaufen. Oder ich
behalte ihn und kaufe einen weiteren dazu. Wenn der voll ist noch einen
weiteren. Und so weiter. Und voila - genau da bin ich gerade! Ich habe
mehrere Datenträger. Um jetzt nicht die Übersicht zu verlieren, suche
ich ein Verwaltungsprogramm.
Percy N. schrieb:> Für die externen Festplatten ginge>> "DIR *.* /s > Dateiliste.txt"
Das ist schon mal ein guter Schritt! Fehlt noch die Prüfsumme. Hast Du
eine Idee?
Steffen H. schrieb:> Nehmen wir mal an, mein Datenträger hält die Daten sicher für 8 Jahre.> Das bedeutet, wenn ich mir diesen Datenträger heute kaufe, sollte er so> groß sein, dass dort die Daten von heute plus die neu anfallenden Daten> der nächsten 8 Jahre drauf passen.
So ist es.
> Andernfalls
Fängt die Murkserei an. Deshalb macht "man" das heutzutage eher nicht
so, dass man sich nach und nach DVDs dazukauft und unverwaltet Dateien
archiviert. Du hast ja danach gefragt wie es andere machen.
Steffen H. schrieb:> Jan H. schrieb:>> Als Privatmann nimmt man>> zwei Festplatten die genug sind um alles zu fassen, dann muss man auch>> nicht großartig verwalten.>> Die Idee hatte ich auch schon. Funktioniert aber nicht (oder nicht> effizient).>>> Nehmen wir mal an, mein Datenträger hält die Daten sicher für 8 Jahre.> Das bedeutet, wenn ich mir diesen Datenträger heute kaufe, sollte er so> groß sein, dass dort die Daten von heute plus die neu anfallenden Daten> der nächsten 8 Jahre drauf passen.>
Nö. Die Daten die Du als erste drauf schreibst, fangen schon an zu
schimmeln, wenn Du die letzten anlieferst, die weitere acht Jahre
durchhalten sollen.
>>> Percy N. schrieb:>> Für die externen Festplatten ginge>>>> "DIR *.* /s > Dateiliste.txt">> Das ist schon mal ein guter Schritt! Fehlt noch die Prüfsumme. Hast Du> eine Idee?
Nein, leider nicht. Bist Du sicher, dass Du die brauchst? Falls ja: Wie
viel Zeit hast Du denn so eingeplant?
pegel schrieb:> Eine Excel/Calc Tabelle tut es natürlich auch.>> Mit dem Anzeige Filter ist alles schnell gefunden.
+1
Die nötige Inhaltsaddressierung muss man vorher machen bzw. das Format
(Liste, Datenbank, Regalort, Vorab oder Endgültig usw.) auswählen !
Die nötige Verwaltungsarbeit kann einem ein Programm nicht hinterher
abnehmen. Woher soll das Programm z wissen, dass datei xy im Keller
liegt?
Was weiter oben angezweifelt wird, ist der relativ hohe Aufwand für die
gewünschte hohe Abrufgeschwindigkeit/Ordnung für unklassifizierte (?)
Daten.
D.h. aber auch, dass die anzupeilende Ordnung Vergessen/Entropie
erlaubt.
Wenn man nicht so vergesslich wäre. :(
Ich hatte damals eine OO bzw. LibreOffice Datenbank für Bauteile, sogar
mit Verknüpfung zu KiCAD.
Habe mich eben mal wieder etwas in LibreOffice Base versucht, aber wie
gesagt.
Das könnte ein Kompromiss sein, zwischen einer Super-Datenbank und einem
sortierbaren Text.
Der erste Schritt wäre die Erstellung einer (csv)Datei mit:
Datei, md5, Pfad, Lagerort, Datenträger ....
für jeden Datenträger. Evtl. durch ein Bash Script?
Diese in LibreOffice Base einfügen.
Wenn die Beziehungen der Felder richtig gesetzt sind, kann ich den
Datenträger auch hin und her tragen und finde die Datei trotzdem.
Hätte mal wieder richtig Lust so etwas zu erstellen.
Dann noch eine schöne Abfrage und ein Formular dazu ...
Ich würde aber zu lange für eine Ernsthafte Lösung brauchen.
Vielleicht mag das jemand machen, der aktuell in der Materie steckt?
Oder jemand kann es schnell lernen. ;)
Jan H. schrieb:> Fängt die Murkserei an. Deshalb macht "man" das heutzutage eher nicht> so, dass man sich nach und nach DVDs dazukauft und unverwaltet Dateien> archiviert. Du hast ja danach gefragt wie es andere machen.
Meine Situation ist momentan so:
- 3 TByte aus 2016 (im Keller)
- 4 TByte aus 2018 (im Keller)
- 6 TByte aus 2020 (im Keller)
- 4 TByte aus 2016-2019 (bei meinen Eltern)
Ich mache viel Videoaufnahme, seit Januar teilweise in 6k RAW
(ernsthaft). Ich schätze, in den nächsten 8 Jahren werde ich 40 TByte an
Daten generieren. (Falls es bis dahin noch kein Bedarf an 8k gibt - was
ich kaum glaube, da selbst Smartphones inzwischen damit anfangen).
Also müsste ich mir jetzt einen Datenträger von 40+3+4+6=53 TByte Größe
kaufen. Und die jetzigen Datenträger... ja, keine Ahnung - was soll ich
damit anfangen? Obwohl sie fast neu sind und selten benutzt (nur fürs
Archivieren angeworfen) für nen Appel und Ei verkaufen.
Spätestens den Datenträger bei meinen Eltern müsste ich irgendwie
verwalten. Damit ich weiß, was schon archiviert ist und was nicht. Na
gut, das bekomme ich eventuell noch händisch hin.
Also. Dann ist hier jetzt wirklich Konsenz, dass ich mir einen >50 TByte
Datenträger kaufen sollte?
Jan H. schrieb:> Deshalb macht "man" das heutzutage eher nicht> so, dass man sich nach und nach DVDs dazukauft und unverwaltet Dateien> archiviert.
Ich lese jetzt schon zum zweiten Mal was von DVDs. Wo kommt das her? Ich
schreibe bewusst immer von Datenträgern. (Nur im [abstrakten] Beispiel
oben habe ich einmal "DVD" erwähnt...). Und wieso im selben Satz auch
noch "unverwaltet" steht, verstehe ich erst recht nicht. Denn genau
darum dreht sich ja meine Frage. Mit dem Hinweis aus dem Forum, dass man
nicht verwaltet, sondern größere Datenträger nimmt.
Percy N. schrieb:> Nö. Die Daten die Du als erste drauf schreibst, fangen schon an zu> schimmeln, wenn Du die letzten anlieferst, die weitere acht Jahre> durchhalten sollen.
Verstehe Deinen Einwand nicht. Dann also doch mehrere Datenträger? Oder
wie soll ich das lösen? Irgendwann sind die Daten nunmal acht Jahre
gespeichert. Was ja auch das Ziel ist, wenn ich die Lebensdauer des
Datenträgers zu acht Jahre ansetze.
Percy N. schrieb:> Nein, leider nicht. Bist Du sicher, dass Du die brauchst? Falls ja: Wie> viel Zeit hast Du denn so eingeplant?
Irgendwie muss ich die Daten auf Integrität prüfen. Zeit ist mir relativ
egal. Alle acht Jahre darf da gerne mal eine alte Möhre die Prüfsumme
berechnen. Heute schafft sie das in einem Tag. Aber da sie eh im Keller
steht, darf sie auch gerne länger brauchen.
pegel schrieb:> Hätte mal wieder richtig Lust so etwas zu erstellen.> Dann noch eine schöne Abfrage und ein Formular dazu ...
:-)
Steffen H. schrieb:> Also müsste ich mir jetzt einen Datenträger von 40+3+4+6=53 TByte Größe> kaufen. Und die jetzigen Datenträger... ja, keine Ahnung - was soll ich> damit anfangen? Obwohl sie fast neu sind und selten benutzt (nur fürs> Archivieren angeworfen) für nen Appel und Ei verkaufen.>> Spätestens den Datenträger bei meinen Eltern müsste ich irgendwie> verwalten. Damit ich weiß, was schon archiviert ist und was nicht. Na> gut, das bekomme ich eventuell noch händisch hin.>> Also. Dann ist hier jetzt wirklich Konsenz, dass ich mir einen >50 TByte> Datenträger kaufen sollte
Was du tun solltest möchte ich dir nicht vorgeben. Was ich tun würde,
und auch als gängige Praxis sehe, ist mir ein entsprechendes NAS
hinzustellen. Da kann man später auch noch Platten nachschieben, wobei
die Preise ja nicht mehr großartig nachgeben werden. Bei über 100 TB
anstehender Investition (ich nehme an es soll ein Backup geben) würde
ich mich schweren Herzens von den wenigen kleinen Platten trennen um
nicht mehr Discjockey zu spielen. Ein NAS in den elterlichen Keller,
welches sich regelmäßig den aktuellen Stand holt (bzw. im deutschen
Neuland die bestehenden Platten als Deltasynctransporter verwenden) und
die gesparte Zeit in den Videoschnitt investieren.
Oliver S. schrieb:> Wofür braucht man steinalte backups mit Vor-Vor-Vor-Vorversionen> irgendwelcher Dateien?
ein Backup ist KEIN Backup, sind schon etliche kaputt gegangen beim
Rücklesen merkt man das wenn man sie braucht.
Besser ist ein rotierendes Verfahren nach Großvater(vorvorletztes
Backup) Vater(vorletztes Backup) Sohn(letztes Backup)
Dann muss man nicht alles neu machen kann immer noch eine Version zurück
bei Bedarf.
Zur Titelfrage winXP sucht auch in ZIP, manchmal nervig aber manchmal
nützlich.
Hallo
Ein Interessantes Thema bzw. Frage die auch mir als Mitleser so einiges
bringt.
Jan du hast ja einiges, gerne aber auch mehr ;-) an hilfreicher
Information herüber gebracht - Danke!
Aber dieser Satz ist doch sehr kryptisch:
Jan H. schrieb:> (bzw. im deutschen> Neuland die bestehenden Platten als Deltasynctransporter verwenden)
Nicht wohl nur ich verstehe erst mal gar nichts.
Jemand
Jemand schrieb:> Aber dieser Satz ist doch sehr kryptisch:>> Jan H. schrieb:>> (bzw. im deutschen>> Neuland die bestehenden Platten als Deltasynctransporter verwenden)>> Nicht wohl nur ich verstehe erst mal gar nichts.
Hat man ein NAS bei sich und eines an einem anderen Ort, dann möchte man
das Zweite ja auch aktuell halten. Entweder übers Internet (Deltasync =
die Änderungen werden repliziert), oder wenn das zu langsam ist kann man
ja die existierenden Platten zum Transport der Differenzdaten verwenden.
Das geht natürlich durch einfaches kopieren oder rsync. Moderne
Dateisysteme (u.a. BTRFS, ZFS) können das aber noch besser, die
unterstützen Snapshots. Das NAS kann also den derzeitigen Stand
einfrieren/archivieren, ohne erst einmal zusätzlichen Speicherplatz zu
brauchen. Und dann nur die Änderungen zwischen den Snapshots zwischen
den Systemen übertragen. Besonders bei großen Dateien, in denen es nur
kleine Änderungen gibt (VM-Images, Datenbanken,...) ist das bezüglich
Speicherplatz und Übertragungsvolumen sehr vorteilhaft.
Wenn sich das zweite NAS nur die aktuellen Snapshots abholt, dann kann
auf NAS 1 auch der Versclüsselungstrojaner wüten und herumlöschen, ohne
dass man die Daten verliert.
Steffen H. schrieb:> Ich lese jetzt schon zum zweiten Mal was von DVDs. Wo kommt das her?Steffen H. schrieb:> Brief.doc 31.01.2014 02468ACE Verbatim DVD Dachboden
Oliver
TR.OLL schrieb:> Verschlüssel die Daten und sichere diese bei einem der> Online-Backup-Dienste.Steffen H. schrieb:> Meine Situation ist momentan so:>> - 3 TByte aus 2016 (im Keller)> - 4 TByte aus 2018 (im Keller)> - 6 TByte aus 2020 (im Keller)> - 4 TByte aus 2016-2019 (bei meinen Eltern)>> Ich mache viel Videoaufnahme, seit Januar teilweise in 6k RAW> (ernsthaft). Ich schätze, in den nächsten 8 Jahren werde ich 40 TByte an> Daten generieren.
Da ist der Name wohl Programm.
Schon nur 1 Terrabyte bei den üblichen Uploadgeschwindigkeiten die man
als privater Endkunde bezahlen bzw. technisch überhaupt am jeweiligen
Standort machbar sind ist schon eine "unendliche" Geschichte die wenig
Spaß macht, und auch schnell, rein vom Online Speicherpaltz ins Geld
geht.
Auch das eventuelle Rückspielen macht keinen Spaß.
Selbst mit der Festplatte vor Ort (lokalen Netzwerk)dauert es schon
lange genug, aber was besseres gibt es halt nicht.
So und jetzt aktuell schon 17TB (!) an Daten der in Zukunft noch
deutlich anwachsen und das auch zusätzlich immer schnell(er) wird...
Das ist nicht für einen Online Backup Dienst.
Neben den schon genannten Punkten sind wenige Jahre in Software und
Onlinebereich eine Ewigkeit und schon so mancher Dienst (Firma) die mal
groß war und auf "immer" bestehen bleiben sollten sind verschwunden und
nur noch eine Erinnerung.
Wenn jetzt 2023 der hypothetisch vom TO gewählte Online Backup Dienst
verschwindet (das warum ist im Falle eines Falles für den TO vollkommen
unwichtig) und bei ihn vor Ort die "Katastrophe" eintrifft, tja dann ist
die Katastrophe tatsächlich eine den die gesicherten Daten sind
futsch...
Aber da du TR.OOL sowieso in den letzten tagen auffällig oft in "jeden"
geeigneten Tread entsprechend "wertvolle" Beiträge liefert, ist der Name
halt Programm...
Trotzdem denke ich mal das meine (eigentlich allgemein bekannte und
schon oft diskutierte) Hinweise anderen noch mal eine "Warnung" sind
nicht blind auf Online Back Updienste zu setzen.
Auch bei einigen 100MB kann so etwas zur bösen Falle werden.
Jemand
Jan H. schrieb:> Hat man ein NAS bei sich und eines an einem anderen Ort, dann möchte man> das Zweite ja auch aktuell halten. Entw...
Danke - sehr verständlich Erklärung.
Deltasync usw. gehört halt nicht unbedingt zum Wortschatz mit den jeder
(Jemand...) was anfangen kann ;-)
Wohl technisch nicht relevant, aber was soll das "deutsche Neuland"
sein?
Sicherlich irgendwie ironisch oder doppeldeutig, aber so ganz klar ist
mir die Anspielung trotzdem nicht?!
Jemand
Jemand schrieb:> Wohl technisch nicht relevant, aber was soll das "deutsche Neuland"> sein?
Als Neuland wurde vor einigen Jahren das Internet von Angela Merkel
bezeichnet.
Thread beobachten
Seitenaufteilung abschalten