Forum: PC Hard- und Software Wie archiviert ihr Websites?


von Walter T. (nicolas)


Lesenswert?

Hallo zusammen,

aus aktuellem Anlaß bin ich neugierig: Wie archiviert ihr Websites? 
Früher™ kannte Opera ein schönes Seiten-Archivier-Format namens "MHT", 
in dem sich Seite und Bilder speichern ließen. Aktuelle Versionen können 
das noch lesen, aber nicht mehr speichern. Die HTML-Datei mit Bildern 
speichern, wie es jeder Browser kann, müllt die Festplatte mit kleinen 
Dateien zu. Als PDF drucken ist oft schwierig, weil viele Websites 
mittlerweile Templates benutzen, die für den Ausdruck völlig ungeeignet 
sind. In vielen Browsern kann ich einen Screenshot speichern, der über 
den sichtbaren Bereich hinausgeht. Nach Text suchen kann ich darin aber 
nicht.

Deshalb die Frage: Wie archiviert ihr Websites, die für euch nützliche 
Notizen enthalten?

:
von Jörg W. (dl8dtl) (Moderator) Benutzerseite


Lesenswert?

Walter T. schrieb:
> Die HTML-Datei mit Bildern speichern, wie es jeder Browser kann, müllt
> die Festplatte mit kleinen Dateien zu.

Ich habe eigentlich eher Probleme mit Programmen, die die Festplatte mit 
großen Dateien zumüllen. ;-) Insofern würde ich mir über ein paar 
Dateien zu viel für abgespeicherte Webseiten keine große Rübe machen.

von Peter M. (r2d3)


Lesenswert?

Hallo Walter T.,

Walter T. schrieb:
> aus aktuellem Anlaß bin ich neugierig: Wie archiviert ihr Websites?

Webseiten oder ganze Domänen?!

Einzelne Webseiten speichere ich, wenn der Ausdruck in eine PDF-Datei 
scheitert, im MAFF-Format ab.

von Janek G. (dm3jan)


Lesenswert?

Walter T. schrieb:
> Deshalb die Frage: Wie archiviert ihr Websites, die für euch nützliche
> Notizen enthalten?

http://web.archive.org/ ;-)

von Walter T. (nicolas)


Lesenswert?

Jörg W. schrieb:
> Ich habe eigentlich eher Probleme mit Programmen, die die Festplatte mit
> großen Dateien zumüllen. ;-) Insofern würde ich mir über ein paar
> Dateien zu viel für abgespeicherte Webseiten keine große Rübe machen.

Hallo Jörg und Peter,

das Problem ist: Es läppert sich. Etliche Websites bestehen aus 
tausenden von winzigen Dateien. Irgendwann habe ich mal festgestellt, 
daß solche Ansammlungen ungefähr die Hälfte der Zeit, die mich ein 
Backup kosteten, dominierte. Als ich jene Ordner als ZIP komprimierte, 
ging die Zeit von sechs auf drei Stunden herunter. Seitdem achte ich auf 
dieses Kleinvieh.

Peter M. schrieb:
> Webseiten oder ganze Domänen?!

Einzelne Seiten. Ganze Domänen, die so interessant wären, daß ich sie 
dauerhaft aufbewahren wollte, habe ich schon lange nicht mehr gesehen.

Peter M. schrieb:
> MAFF-Format

Da das Format alles andere als zukunftsfähig aussieht, gehe ich davon 
aus, daß Du jetzt auch einen Nachfolger suchst?

von Peter M. (r2d3)


Lesenswert?

Walter T. schrieb:
> Da das Format alles andere als zukunftsfähig aussieht, gehe ich davon
> aus, daß Du jetzt auch einen Nachfolger suchst?

Bisher funktioniert alles und daher suche ich gerade nicht, aber 
profitiere natürlich gerne von Deinen Erfahrungen! :)

von Jörg W. (dl8dtl) (Moderator) Benutzerseite


Lesenswert?

Walter T. schrieb:
> Etliche Websites bestehen aus tausenden von winzigen Dateien.

Gut; so viele habe ich nun auch nicht für archivierungswürdig befunden 
bislang.

> Irgendwann
> habe ich mal festgestellt, daß solche Ansammlungen ungefähr die Hälfte
> der Zeit, die mich ein Backup kosteten, dominierte.

Ich benutze Bacula fürs Backup. Ich vermute, das hat auch Kosten pro 
Datei, insbesondere hinsichtlich der Datenbankeinträge, während es beim 
Streamen aufs Tape wohl keine Rolle spielen düfte (da habe ich aber 
mittlerweile auch eine kleine SSD als Pufferspeicher reingehängt).

von Marek N. (Gast)


Lesenswert?

Einzelne Seiten: in PDF drucken oder den Text und die paar Bilder mit 
Strg+C in ein Text-Dokument reinkopieren.
Ganze Domänen: Mit WinHTTrack oder wget abgrasen.

Walter T. schrieb:
> Ganze Domänen, die so interessant wären, daß ich sie
> dauerhaft aufbewahren wollte, habe ich schon lange nicht mehr gesehen.

Schon mal da vorbeigeschaut? 
https://www.americanradiohistory.com/index.htm

von JJ (Gast)


Lesenswert?

Ich habe einen kleinen Wallabag Server für so etwas laufen:
https://wallabag.org/en

Alternativ kannst du auch Mozilla Pocket nutzen.

Beides sind Dienste die eine (einzelne) Seite downloaden, archivieren 
und kategorisieren.

Beitrag #5917931 wurde von einem Moderator gelöscht.
von Ingo W. (uebrig) Benutzerseite



Lesenswert?

Habe im Firefox, das Plugin "Save Page WE", das speichert eine HTML, mit 
externen Inhalten, als Base-64 eingebettet. Dieses Format kann auch 
Chromium lesen.
Hat gegenüber dem Ausdruck als PDF den Vorteil, das auch Links noch 
funktionieren.
Früher hatte ich mal ein Plugin für MHT, das wurde aber eingestellt.
Die MHT-Dateien kann ich aber mit Chromium auch noch lesen.
Alternativ habe ich auch schon interessante Teile der Website über die 
Zwischenablage in LibreOfficeWriter eingefügt, dann als PDF exportiert, 
dann bleiben die Links auch erhalten und man erhält ein Vernünftiges 
Inhaltsverzeichnis.

von Walter T. (nicolas)


Lesenswert?

Völlig richtig schrieb im Beitrag #5917931:
> Weiß jeder, nur nicht Jörg.

Das weiß auch Jörg. Nur ist das Problem unter Linux oft weniger schlimm, 
weil dort viele Dateisysteme das Backup-Programm besser unterstützen, 
als nur mit einem lausigen Archiv-Bit. Da muß das Backup-Programm nicht 
bei jedem Durchlauf wieder jede Datei vergleichen.

Janek G. schrieb:
> http://web.archive.org/ ;-)

Wie wirst Du diesen Thread wiederfinden, wenn darin einmal die perfekte 
Lösung steht? Achive.org ist nicht unvergeßlich, und manches kommt erst 
gar nicht hinein.

von Gunnar F. (gufi36)


Lesenswert?

Auch ich möchte mir oft gute Webseiten speichern, zumal bestimmte 
Rechner bei mir zuhause ausschliesslich offline sind. (Und bleiben!)

Früher habe ich immer den InternetExplorer -> speichern unter MHT Format 
genutzt. Das gibt eine kompakte Datei, wo alles nötige drin ist.
Ich glaube, die aktuellen Versionen können das nicht mehr :-(

1. Ich speichere als html, nutze 7zip, um die HTML-Datei und den 
gleichnamigen Ordner in eine Datei zu komprimieren und aktiviere 
gleichzeitig das Löschen der Quelldateien. Das 7zip kann ich dann in 
mein Archiv schieben. Es wird dort in einem speziellen Ordner 
"entpackt", der nicht "gebackupt" wird. I.e. alles was da drin ist, kann 
jederzeit gelöscht werden.

2. WinHTTrack ist nicht nur für ganze Domänen gut, sonder auch für 
Unterseiten, wie "Tutorials" o.ä.

3. Microsoft OneNote kann noch Webseiten als MHT speichern. Ich weiss 
aber nicht wie das geht, habe bisher nur von Nutzern dieser App welche 
erhalten.

: Bearbeitet durch User
von Matthias L. (limbachnet)


Lesenswert?

Marek N. schrieb:
> Einzelne Seiten: in PDF drucken oder den Text und die paar Bilder mit
> Strg+C in ein Text-Dokument reinkopieren.
> Ganze Domänen: Mit WinHTTrack oder wget abgrasen.

Genau so mache ich das bei Bedarf auch.

Bei dynamisch generierten Inhalten ist das aber auch nur begrenzt 
hilfreich... :-/

von Christobal M. (c_m_1)


Lesenswert?

Matthias L. schrieb:
> Marek N. schrieb:
>> Einzelne Seiten: in PDF drucken oder den Text und die paar Bilder mit
>> Strg+C in ein Text-Dokument reinkopieren.
>> Ganze Domänen: Mit WinHTTrack oder wget abgrasen.
>
> Genau so mache ich das bei Bedarf auch.
>
> Bei dynamisch generierten Inhalten ist das aber auch nur begrenzt
> hilfreich... :-/

Dafür nehme ich eine per selenium ferngesteuerte firefox instanz - man 
sagt dem Browser "lade diese url", der browser macht das und führt auch 
entsprechende js scripte aus (anders als curl oder wget), und zum 
schluss kann man sich den gesamten gerenderten quelltext zurückgeben 
lassen.

von Teo D. (teoderix)



Lesenswert?

Ingo W. schrieb:
> Habe im Firefox, das Plugin "Save Page WE", das speichert eine HTML, mit
> externen Inhalten, als Base-64 eingebettet. Dieses Format kann auch
> Chromium lesen.

Gunnar F. schrieb:
> Microsoft OneNote kann noch Webseiten als MHT speichern.

Mozilla kennt HTM ?!
Einfach als Speicherformat unter Datei/Seite speichern... "Webseite 
komplett" auswählen.

: Bearbeitet durch User
von Rufus Τ. F. (rufus) Benutzerseite


Lesenswert?

Sofern es um dynamisch erzeugte Inhalte geht, kann ein Screenshot 
weiterhelfen. Der ist natürlich nicht nach Text durchsuchbar, aber 
zeigt, wie die Webseite ausgesehen hat.

Seit einiger Zeit kann Firefox von Hause aus Screenshots selbst 
anfertigen, auch von Webseiten, die deutlich größer als der verwendete 
Monitor sind.

Dazu auf die drei Punkte am rechten Ende der Adresszeile klicken und 
"Bildschirmfoto aufnehmen" aufrufen.
Oben rechts wird "Gesamte Seite speichern" angeboten ...

von Gunnar F. (gufi36)


Lesenswert?

Teo D. schrieb:
> Mozilla kennt HTM ?!
> Einfach als Speicherformat unter Datei/Seite speichern... "Webseite
> komplett" auswählen.

Nein ich meinte schon MHT:
https://de.wikipedia.org/wiki/MIME_Encapsulation_of_Aggregate_HTML_Documents

Oben wurde das Problem der HTM-Speicherung beschrieben:
Es entsteht ein Unterordner mit oft sehr vielen Dateien. Diese 
verursachen beim Laufwerke Synchronisieren oder Backup Erstellen lange 
Wartezeiten (Wenn in Mengen vorhanden!)

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.