Hallo zusammen,

aus aktuellem Anlaß bin ich neugierig: Wie archiviert ihr Websites? 
Früher™ kannte Opera ein schönes Seiten-Archivier-Format namens "MHT", 
in dem sich Seite und Bilder speichern ließen. Aktuelle Versionen können 
das noch lesen, aber nicht mehr speichern. Die HTML-Datei mit Bildern 
speichern, wie es jeder Browser kann, müllt die Festplatte mit kleinen 
Dateien zu. Als PDF drucken ist oft schwierig, weil viele Websites 
mittlerweile Templates benutzen, die für den Ausdruck völlig ungeeignet 
sind. In vielen Browsern kann ich einen Screenshot speichern, der über 
den sichtbaren Bereich hinausgeht. Nach Text suchen kann ich darin aber 
nicht.

Deshalb die Frage: Wie archiviert ihr Websites, die für euch nützliche 
Notizen enthalten?

Walter T. schrieb:
> Die HTML-Datei mit Bildern speichern, wie es jeder Browser kann, müllt
> die Festplatte mit kleinen Dateien zu.

Ich habe eigentlich eher Probleme mit Programmen, die die Festplatte mit 
großen Dateien zumüllen. ;-) Insofern würde ich mir über ein paar 
Dateien zu viel für abgespeicherte Webseiten keine große Rübe machen.

Hallo Walter T.,

Walter T. schrieb:
> aus aktuellem Anlaß bin ich neugierig: Wie archiviert ihr Websites?

Webseiten oder ganze Domänen?!

Einzelne Webseiten speichere ich, wenn der Ausdruck in eine PDF-Datei 
scheitert, im MAFF-Format ab.

Walter T. schrieb:
> Deshalb die Frage: Wie archiviert ihr Websites, die für euch nützliche
> Notizen enthalten?

http://web.archive.org/ ;-)

Jörg W. schrieb:
> Ich habe eigentlich eher Probleme mit Programmen, die die Festplatte mit
> großen Dateien zumüllen. ;-) Insofern würde ich mir über ein paar
> Dateien zu viel für abgespeicherte Webseiten keine große Rübe machen.

Hallo Jörg und Peter,

das Problem ist: Es läppert sich. Etliche Websites bestehen aus 
tausenden von winzigen Dateien. Irgendwann habe ich mal festgestellt, 
daß solche Ansammlungen ungefähr die Hälfte der Zeit, die mich ein 
Backup kosteten, dominierte. Als ich jene Ordner als ZIP komprimierte, 
ging die Zeit von sechs auf drei Stunden herunter. Seitdem achte ich auf 
dieses Kleinvieh.

Peter M. schrieb:
> Webseiten oder ganze Domänen?!

Einzelne Seiten. Ganze Domänen, die so interessant wären, daß ich sie 
dauerhaft aufbewahren wollte, habe ich schon lange nicht mehr gesehen.

Peter M. schrieb:
> MAFF-Format

Da das Format alles andere als zukunftsfähig aussieht, gehe ich davon 
aus, daß Du jetzt auch einen Nachfolger suchst?

Walter T. schrieb:
> Da das Format alles andere als zukunftsfähig aussieht, gehe ich davon
> aus, daß Du jetzt auch einen Nachfolger suchst?

Bisher funktioniert alles und daher suche ich gerade nicht, aber 
profitiere natürlich gerne von Deinen Erfahrungen! :)

Walter T. schrieb:
> Etliche Websites bestehen aus tausenden von winzigen Dateien.

Gut; so viele habe ich nun auch nicht für archivierungswürdig befunden 
bislang.

> Irgendwann
> habe ich mal festgestellt, daß solche Ansammlungen ungefähr die Hälfte
> der Zeit, die mich ein Backup kosteten, dominierte.

Ich benutze Bacula fürs Backup. Ich vermute, das hat auch Kosten pro 
Datei, insbesondere hinsichtlich der Datenbankeinträge, während es beim 
Streamen aufs Tape wohl keine Rolle spielen düfte (da habe ich aber 
mittlerweile auch eine kleine SSD als Pufferspeicher reingehängt).

Einzelne Seiten: in PDF drucken oder den Text und die paar Bilder mit 
Strg+C in ein Text-Dokument reinkopieren.
Ganze Domänen: Mit WinHTTrack oder wget abgrasen.

Walter T. schrieb:
> Ganze Domänen, die so interessant wären, daß ich sie
> dauerhaft aufbewahren wollte, habe ich schon lange nicht mehr gesehen.

Schon mal da vorbeigeschaut? 
https://www.americanradiohistory.com/index.htm

Habe im Firefox, das Plugin "Save Page WE", das speichert eine HTML, mit 
externen Inhalten, als Base-64 eingebettet. Dieses Format kann auch 
Chromium lesen.
Hat gegenüber dem Ausdruck als PDF den Vorteil, das auch Links noch 
funktionieren.
Früher hatte ich mal ein Plugin für MHT, das wurde aber eingestellt.
Die MHT-Dateien kann ich aber mit Chromium auch noch lesen.
Alternativ habe ich auch schon interessante Teile der Website über die 
Zwischenablage in LibreOfficeWriter eingefügt, dann als PDF exportiert, 
dann bleiben die Links auch erhalten und man erhält ein Vernünftiges 
Inhaltsverzeichnis.

Völlig richtig schrieb im Beitrag #5917931:
> Weiß jeder, nur nicht Jörg.

Das weiß auch Jörg. Nur ist das Problem unter Linux oft weniger schlimm, 
weil dort viele Dateisysteme das Backup-Programm besser unterstützen, 
als nur mit einem lausigen Archiv-Bit. Da muß das Backup-Programm nicht 
bei jedem Durchlauf wieder jede Datei vergleichen.

Janek G. schrieb:
> http://web.archive.org/ ;-)

Wie wirst Du diesen Thread wiederfinden, wenn darin einmal die perfekte 
Lösung steht? Achive.org ist nicht unvergeßlich, und manches kommt erst 
gar nicht hinein.

Auch ich möchte mir oft gute Webseiten speichern, zumal bestimmte 
Rechner bei mir zuhause ausschliesslich offline sind. (Und bleiben!)

Früher habe ich immer den InternetExplorer -> speichern unter MHT Format 
genutzt. Das gibt eine kompakte Datei, wo alles nötige drin ist.
Ich glaube, die aktuellen Versionen können das nicht mehr :-(

1. Ich speichere als html, nutze 7zip, um die HTML-Datei und den 
gleichnamigen Ordner in eine Datei zu komprimieren und aktiviere 
gleichzeitig das Löschen der Quelldateien. Das 7zip kann ich dann in 
mein Archiv schieben. Es wird dort in einem speziellen Ordner 
"entpackt", der nicht "gebackupt" wird. I.e. alles was da drin ist, kann 
jederzeit gelöscht werden.

2. WinHTTrack ist nicht nur für ganze Domänen gut, sonder auch für 
Unterseiten, wie "Tutorials" o.ä.

3. Microsoft OneNote kann noch Webseiten als MHT speichern. Ich weiss 
aber nicht wie das geht, habe bisher nur von Nutzern dieser App welche 
erhalten.

Marek N. schrieb:
> Einzelne Seiten: in PDF drucken oder den Text und die paar Bilder mit
> Strg+C in ein Text-Dokument reinkopieren.
> Ganze Domänen: Mit WinHTTrack oder wget abgrasen.

Genau so mache ich das bei Bedarf auch.

Bei dynamisch generierten Inhalten ist das aber auch nur begrenzt 
hilfreich... :-/

Matthias L. schrieb:
> Marek N. schrieb:
>> Einzelne Seiten: in PDF drucken oder den Text und die paar Bilder mit
>> Strg+C in ein Text-Dokument reinkopieren.
>> Ganze Domänen: Mit WinHTTrack oder wget abgrasen.
>
> Genau so mache ich das bei Bedarf auch.
>
> Bei dynamisch generierten Inhalten ist das aber auch nur begrenzt
> hilfreich... :-/

Dafür nehme ich eine per selenium ferngesteuerte firefox instanz - man 
sagt dem Browser "lade diese url", der browser macht das und führt auch 
entsprechende js scripte aus (anders als curl oder wget), und zum 
schluss kann man sich den gesamten gerenderten quelltext zurückgeben 
lassen.