Sorry, dieser Thread ist nichts zur gleichnamigen Kampagne, sondern eine
Empfehlung meinerseits. Sorry für den Klickbait Titel (sind die Dinger
Ansteckend?).
Also, meine Empfehlung ist: Speichert/Macht eine Kopie von allem im
Internet, was ihr nicht vermissen wollt. Ich hab 2 6TB raid 1 gemirrorte
Platten an meinem Linux Homeserver, und kann das nur weiterempfehlen.
Ich Mirrore für mich privat jede nacht automatisiert alle Packete meiner
Lieblingsdistro (apt-mirror), alle RFCs der IETF (rsync), alle
beobachteten und eigenen Github Repos (eigenes Script + git), und alle
Videos aller Youtube Channels und Playlists (shell script + youtube-dl),
die mich interessieren (Dann hat man auch keine nervende Werbung, und
beim ersten mal waren alle 17303 Videos waren in nur 1-2 Tagen kopiert
und brauchten nur 1.2TB.). Von ein paar anderen Sachen hab ich nur mal
ne Kopie gemacht, die ich nicht jeden Tag nochmal aktualisiere.
Ich finde das wirklich extrem Praktisch. Meine Internetbackups haben mir
schon einige verschwundene Seiten gerettet. Mit den gemirrorten Videos
hab ich zwar einen Tag Delay vor dem Schauen, aber dafür keine Werbung
und keine Verbindungsprobleme. Und wenn der Internetprovider mal wieder
einen Ausfall hat, merke ich davon schon fast nichts mehr!!!
Also wozu der Thread? Einerseits um Läute auf die Möglichkeit aufmerksam
zu machen, andererseits, damit wir unsere Backup & Mirror Skripts und
Methoden teilen können!
Hier ist mein Youtube mirroring script:
1
#!/bin/sh
2
3
export PATH=/usr/local/bin:/usr/bin:/bin
4
5
cd /mnt/media/video/mirror/youtube/
6
7
for channel in*/*/url
8
do
9
(
10
set-x
11
cd"$(dirname"$channel")"
12
url="$(cat url)"
13
youtube-dl --download-archive downloaded.txt --no-post-overwrites-f best -ciw-o"%(title)s.%(ext)s"-q"$url"
14
)
15
done
Das starte ich jede Nacht mit einem cronjob. /mnt/media/ ist meine 6TB
Festplatte, und /mnt/media/video/mirror/youtube/ enthält die Koppier der
Youtube Videos. Ich habe darin einen Unterordner channel uns playlist,
mit je einem Unterordner pro Channel/Playliste, und darin jeweils eine
Datei "url" mit dem Youtube link zum Channel/der Playliste für
youtube-dl.
Mein IETF mirroring script:
1
#!/bin/bash
2
3
s=(
4
rfc
5
concluded-wg-ietf-mail-archive
6
conflict-reviews
7
everything-ftp
8
iana
9
iana-timezone
10
id-archive
11
iesg-minutes
12
internet-drafts
13
legacy-files
14
mailman-archive
15
proceedings
16
slides
17
status-changes
18
xml2rfc.bibxml
19
)
20
21
for x in"${s[@]}"
22
do rsync -az--delete rsync.ietf.org::"$x" /var/www/mirror.dpa.li/ietf/"$x"/
23
done
(Da das offizielle öffentliche Ressourcen sind, hab ich das auch hier:
http://mirror.dpa.li/ietf/)
Und noch mein Github mirror script (eigene repos):
Einach dest Anpassen und einen Github Token in /etc/github_token
speichern.
Für die starred repos hab ich noch mal das selbe Skript, nur mit einer
minimalen Änderungen. Hier der Patch:
Das skript sollte ich eventuell mal in python oder so neu schreiben, es
hat ein paar Dinge drin, die ich heute anders machen würde.
Wikipedia mirrore ich noch nicht, ich glaub das hätte gar nicht platz.
Ohne die Bilder vielleicht, aber die würde ich nicht missen wollen.
Was rettet ihr so?
Nun, ich habe kuerzlich ein "Offline" Internet gekauft, eine weisse
Buechse zum Anschliessen an den Strom. Da ist das gesammte Internet
drauf, und benoetigt keinen Anschluss.
Daniel A. schrieb:> Was rettet ihr so?
Die Welt natürlich. Erst muß man sie mirroren, dann resetten und dann
builden. Buildung ist ganz wichtig!
Zum Schluß kommt noch ein Drop dazu, der so richtig viel Strom feuert -
Amper und so.
Ich verstehe nicht wirklich, was daran so abwegig sein soll. Nach dem
ersten download ist der Mehrverbrauch praktisch vernachlässigbar,
sowieso in der Nacht, und kostet mich auch nicht mehr. Ansonsten hab ich
nur Vorteile.
Ausserdem würde ich es begrüssen, wenn wir das hier nicht ins absurde
ziehen würden.
Daniel A. schrieb:> Also, meine Empfehlung ist: Speichert/Macht eine Kopie von allem im> Internet, was ihr nicht vermissen wollt. Ich hab 2 6TB raid 1 gemirrorte> Platten an meinem Linux Homeserver,
Dann weiß ich ja an wen ich mich wenden kann...sollte ich das Internet
versehentlich mal löschen;-)
Daniel A. schrieb:> Ausserdem würde ich es begrüssen, wenn wir das hier nicht ins absurde> ziehen würden.
Dir ist hoffentlich klar dass genau dies passiert.
Also gute Musikvideos sichere ich schon seit Jahren lokal.
Sowas lokal abspielen zu können ist wesentlich besser (keine
Unterbrechungen) - und es spart sogar Bandbreite weil es nicht jedesmal
neu gestreamt werden muss :-P
In wenigen Jahren könnte es schwerer werden manche Musikvideos noch
online zu finden, gerade ältere wo die Rechte bei irgendeiner
Plattenfirma und nicht bei den Künstlern selbst liegen (heutzutage
veröffentlichen viele Bands selbst Videos auf Youtube, das SOLLTE
eigentlich auch mit Upload Filtern möglich bleiben).
SummSumm schrieb:> Also gute Musikvideos sichere ich schon seit Jahren lokal.
Ich habe einen Online-Videorecorder. Anfangs habe ich alles auf HD
gespeichert, um dann doch nur einen Teil davon anzuschauen. Als dann
mehrere TB erreicht waren habe ich den Quatsch abgebrochen. Nun schaue
ich was ich schauen will aus der Wolke. Was ich nicht anschaue wird
automatisch nach einem Jahr gelöscht. Dann ist es halt weg.
> Sowas lokal abspielen zu können ist wesentlich besser (keine> Unterbrechungen) - und es spart sogar Bandbreite weil es nicht jedesmal> neu gestreamt werden muss :-P
Ok, damit habe ich aber kein Problem.
> In wenigen Jahren könnte es schwerer werden manche Musikvideos noch> online zu finden, gerade ältere wo die Rechte bei irgendeiner> Plattenfirma und nicht bei den Künstlern selbst liegen (heutzutage> veröffentlichen viele Bands selbst Videos auf Youtube, das SOLLTE> eigentlich auch mit Upload Filtern möglich bleiben).
Dann ist das halt so. Und wenn ich gute Musikvideos bzw. Konzerte sehen
möchte kaufe ich die Blu Ray bzw. DVD. Wenn Qualität..dann auch richtig.
Jörg R. schrieb:> Und wenn ich gute Musikvideos bzw. Konzerte sehen> möchte kaufe ich die Blu Ray bzw. DVD. Wenn Qualität
OK, aber das Problem daran ist: oft interessieren mich von einer Band
nur einzelne Videos/Songs und nicht komplette Konzerte. Wäre dann etwas
übertrieben teuer.
So eine 1970/80/90/00er Jahre Zufalls-Playlist wie zu Zeiten von MTV
laufen zu lassen hat schon was. Aber nur mit Videos die einem gefallen
ohne den Müll/Werbung der sonst so dazwischen lief...
SummSumm schrieb:> So eine 1970/80/90/00er Jahre Zufalls-Playlist wie zu Zeiten von MTV> laufen zu lassen hat schon was. Aber nur mit Videos die einem gefallen> ohne den Müll/Werbung der sonst so dazwischen lief...
An den alten Sachen stört mich die Qualität. Sowohl Bild- wie auch
Tonqualität sind oftmals so schlecht das ich lieber verzichte. Das eas
ich an Blu Ray bzw. DVD kaufe hält sich auch in Grenzen. Und wenn man
bei Amazon die Augen offen hält gibt es so einiges oft günstig.
Mein persönlicher Anspruch ist halt guter Klang, noch vor einem guten
Bild.
Daniel A. schrieb:> Hier ist mein Youtube mirroring script:
Wichtige Regeln - erst lesen, dann posten!
Längeren Sourcecode nicht im Text einfügen, sondern als Dateianhang
Das solltest Du wissen, als langjähriges Forenmitglied;-)
Daniel A. schrieb:> Was rettet ihr so?
Momentan nichts.
Aber wenn ich das machen würde, dann folgendes:
1. den Quellcode der Debiandistri
2. den Quellcode von Minix
3. den Quellcode eines schlanken kleinen freien C Compilers
4. die englischsprachige und deutsche Wikipedia
5. den Inhalt auf www.halbleiter.org
6. eventuell noch geografische Kartendaten
7. frei verfügbare Belichtungsmasken für eine gängige oder freie CPU mit
möglichst wenig Transistoren. Eventuell RISC-V in 32 Bit.
Als Medium würde ich dann aber keine Festplatten nehmen, sondern
optische Datenträger mit einer großen Lebensdauer der Daten. Der Grund
kommt gleich.
Das was in 2, 3 und 5 steht würde ich sogar auf Papier ausdrucken.
7 auf Folie.
Und das ganze dann an einen sehr sicheren Ort verwahren.
Tja und der Grund wäre einfach, nämlich ein Atomkrieg
Sollte ich den Krieg dann überleben, dann such ich mir ein paar fähige
Leute zusammen mit denen ich dann mithilfe der ausgedruckten Papiere
von 5 und der Belichtungsmaske von 7 neue CPUs und weitere
Halbleiterbauteile bauen kann.
Daraus werden dann Rechner, ein optisches Laufwerk und notwendige
Peripheriegeräte gebaut. Die Einfachheit hat hierbei Vorrang, also bspw.
CRTs anstatt TFT Displays.
Wenn der Rechner dann fertig ist, kommt im nächsten Schritt Stufe zwei.
Bei dem dann erst einmal eine Bootstrapsoftware in Maschinensprache
geschrieben werden muss, um einen Assembler zu bauen.
Mit dem Assembler wird dann ein einfacher C Compiler gebaut und mit dem
dann dann der Compiler aus 3 compiliert.
Im nächsten Schritt wird aus dem Compiler dann mithilfe von 2 Minix für
den Rechner compiliert. Die Wahl für Minix geschieht hier deswegen, weil
das deutlich kleiner ist als ein Linux Kernel und somit auch leichter
portiert werden kann.
Ab dem Punkt sollte dann der Rechner ein brauchbares Betriebssystem
haben.
Mit dem kann man dann die Software aus 1 compilieren und wenn das alles
getan ist, erlangt man Zugang zu einem großen Wissen der Menschheit,
welches wiederum in der Wikipedia steht.
Die Kartendaten könnten für die Navigation nützlich sein.
Mit dem Wissen und den Computern kann man dann das dann harte Leben dann
wieder einfacher machen und auch wieder etwas Kultur in die Gesellschaft
bringen, sowie eine gute Kommunikation zwischen verschiedenen Orten
ermöglichen.
Sprich die Zivilisation wieder schnell aufbauen.
So und jetzt dürfte auch klar sein, warum es ein optischer Datenträger
wäre. Die Daten auf diesem gehen nämlich bei einem EMP nicht kaputt.
Bezüglich einem Zeitraum um das alles zu realisieren würde ich mit der
Hilfe eines kleinen Teams mit etwa 10-20 Jahre rechnen. Mit wesentlich
mehr Hilfe kann es natürlich auch schneller gehen.
Das schwerste dürften sicherlich der Bau der Halbleiter und der CPU
sein, der Vorteil ist hier, dass man auf das Wissen der Vergangenheit
aufbauen kann, weswegen das sicher ein bisschen schneller geht als die
Jahrzehnte, die die Menschheit benötigt hat.
Der Faktor Mensch dürfte da das größte Problem sein, denn manche werden
keine Lust haben oder keinen Sinn mehr darin sehen, manche werden sich
das Wissen nicht aneignen wollen oder nicht können.
Falls es nach dem Atomkrieg noch funktionstüchtige Computer geben
sollte, wird das natürlich alles etwas einfacher, aber eine
Halbleiterindustrie aufzubauen um wieder neue Halbleiter zu bauen, um
diesen Schritt wird man trotzdem nicht herumkommen und dann ist es doch
gut, wenn man irgendwo noch den Sourcode der gesamten Debiandistri zur
Verfügung hat.
Ein Bedürfnis das derzeitige Internet für unsere heutige Zeit zu
sichern, wie es der Threadstarter macht, habe ich allerdings nicht.
Dafür gibt es andere Institutionen die das schon machen.
Ach noch etwas vergessen:
8. Ein umfangreiches Chemiebuch
Das muss auch noch gesichert werden, damit man die Rohstoffe gewinnen
kann.
Gerne auch noch weiteres Wissen in den jeweiligen Fachdisziplinen.
Allerdings kenne ich keine Webseite, in der man das frei downloaden
kann.
Da müssen also klassische Bücher verwendet werden.
Nano schrieb:> 1. den Quellcode der Debiandistri> 2. den Quellcode von Minix> 3. den Quellcode eines schlanken kleinen freien C Compilers> 4. die englischsprachige und deutsche Wikipedia> 5. den Inhalt auf www.halbleiter.org> 6. eventuell noch geografische Kartendaten> 7. frei verfügbare Belichtungsmasken für eine gängige oder freie CPU mit> möglichst wenig Transistoren. Eventuell RISC-V in 32 Bit.> 8. Ein umfangreiches Chemiebuch
Coole Idee. :)
> Tja und der Grund wäre einfach, nämlich ein Atomkrieg
Fuer den Fall wuerde ich vielleicht noch ein oder mehrere Handbuecher
ueber "Ueberleben in der Wildnis" ausdrucken und sichern. Auch wenn man
es vielleicht selber nicht braucht (weil man regelmaessig
Campen/Bushcraften/etc. geht), dann wenigstens fuer andere.
Ganz ehrlich, ich weiss nicht welche Kraeuter man im Wald gefahrlos
futtern kann...was nach einem Atomkrieg vielleicht auch das kleinste
Problem sein koennte. :-|
Daniel A. schrieb:> Sorry, dieser Thread ist nichts zur gleichnamigen Kampagne, sondern eine> Empfehlung meinerseits. Sorry für den Klickbait Titel (sind die Dinger> Ansteckend?).>> Also, meine Empfehlung ist: Speichert/Macht eine Kopie von allem im> Internet, was ihr nicht vermissen wollt. Ich hab 2 6TB raid 1 gemirrorte> Platten an meinem Linux Homeserver, und kann das nur weiterempfehlen.> Ich Mirrore für mich privat jede nacht automatisiert alle Packete meiner
Soso, du "Mirrorst" also. Früher hat man kopiert bzw. gespiegelt.
Grundsätzlich gute Idee.
Ich hätt aber zuviel Angst dass "die da" mir meinen Homeserver hacken
und alles wieder löschen.
Deshalb drucke ich alles aus und lagere die Ordner in meinem
klimatisierten Bunker.
Sorry muss jetzt weg, Papier nachlegen.
Christian M. schrieb:> Wie wär's denn mit einer Bibel?! Die sichert das Leben auf ewig!
Paulus sah das schon ausgesprochen politisch: Die Hoffnung reicht. ;-)
"..., damit wir, durch dessen Gnade gerecht geworden, Erben seien nach
der Hoffnung auf ewiges Leben." (Luther)
Le X. schrieb:> Deshalb drucke ich alles aus und lagere die Ordner in meinem> klimatisierten Bunker.> Sorry muss jetzt weg, Papier nachlegen.
Am Schlimmsten mit dem Papier sind diese Youtube-Videos.
Ok, das lief nicht ganz so wie erhofft. Immerhin war es ziemlich
amüsant.
Aber bei Internetseiten ist es wie mit allen anderen nicht gebackupten
Daten auch: Man merkt erst, dass man ein Backup gebraucht hätte, wenn
sie mal weg sind. Ihr könnt euch dann an diesen Thread zurückerinnern.
Daniel A. schrieb:> Aber bei Internetseiten ist es wie mit allen anderen nicht gebackupten> Daten auch: Man merkt erst, dass man ein Backup gebraucht hätte, wenn> sie mal weg sind. Ihr könnt euch dann an diesen Thread zurückerinnern.
Tatsächlich bin ich mittlerweile dazu übergegangen, mir Artikel oder
Tutorials als pdf abzulegen, teilweise auch youtube-Videos zu speichern.
Das hat aber eher mit Bequemlichkeit zu tun, ich habe gern alle
Informationen die ich für ein Projekt brauche zentral abgelegt.
Wenn ich z.B. meinen ioBroker auf dem Pi mal neu aufsetzen muss will ich
nicht erst nach der Anleitung googeln müssen an der ich mich irgendwann
mal orientiert habe.
Dein apt-Mirror kommt mir etwas übertrieben vor.
Gegen welches Szenario sicherst du dich damit ab? Wenn deine
Lieblingsdistro von heute auf morgen dicht macht?
Le X. schrieb:> Dein apt-Mirror kommt mir etwas übertrieben vor. Gegen welches Szenario> sicherst du dich damit ab?
Momentan dient es mir hauptsächlich, um Packete schneller installieren
zu können, selbst wenn das Internet mal ausfällt. Ich habe >15 LXC
Container, die ich jeden Tag automatisch vom lokalen Mirror updaten
lasse. Zudem bootstrappe ich ständig frische Systeme, unter anderem im
Rahmen der Entwicklung meiner librem5 devkit images:
https://github.com/Daniel-Abrecht/librem5-image-builder> Wenn deine Lieblingsdistro von heute auf morgen dicht macht?
Das ist natürlich ein guter Einwand. Ich Spiegle zwar auch die Source
Packages, aber die dazugehörigen Devuan spezifischen git Repos noch
nicht. Eventuell sollte ich alle Devuan Git Repos ebenfalls spiegeln,
und eine Amprolla Build Infrastruktur aufsetzen, um im Notfall das
Projekt übernehmen zu können. Aber das bräuchte viel Zeit, also mache
ich das eher nicht in absehbarer Zeit, ich hab zu viele andere Dinge
offen. Vielleicht im Rahmen meines nächsten
Infrastrukturarchitekturredesigns, wann auch immer das sein wird.
Jetzt spiegle ich noch die Devuan kritischen git Repos. Das script ist
wie immer im Anhang.
Noch eine Ergänzung zum Youtube Spiegelungsskript. Wenn man die
Thumbnails auch noch will, muss man die "--write-thumbnail" option noch
zum youtube-dl Kommando hinzufügen. Für die bereits heruntergeladenen
Videos kann man es einmal "--download-archive downloaded.txt" option,
und mit den "--write-thumbnail --skip-download" Optionen aufrufen.
Eventuell sollte man das Skript auch 2 mal laufen lassen, und von zeit
zu zeit die .part Dateien löschen. "find -iname '*.part' -delete". Es
gibt manchmal Vereinzelte Videos, die sich nicht gerne downloaden
lassen.
Zum youtube spiegel Script hab ich noch ein kleines python Program
geschrieben, welches die Videos in eine Datenbank packt. Es ist aber
auch für anderes erweiterbar. Ich will mir damit später ein kleines
Homevideoportal bauen, um auf die Videos noch etwas Bequemer zugreifen
zu können.
Wer ist denn dein Internetprovider, wenn du dich gegen den Ausfall in
diesem Masse schützen musst?
Grundsätzlich bin ich mit der Idee einverstanden, die Umsetzung
erschliesst sich mir aber nicht. Wenn du diese Packages mirrorst,
bietest du dem Internet keinen (kaum) einen Mehrnutzen. Hättest du die
fertigen Installer als torrent bereit wäre dies was anderes, da du dann
aktiv mithilfst diese erreichbar zu halten.
Das Youtube Mirror Skript ist noch das interessanteste daran. Ich hab
zwar nur 1-2 Channels die ich verfolge und das nur extrem unregelmässig,
aber ich hasse nichts mehr, als Werbung.
Dieses Skript werde ich sicher einmal ausprobiere, auf die Idee bin ich
noch nicht gekommen, die Videos automatisiert runterzuladen und dann
lokal auf die Glotze zu streamen.
Angeregt durch diesen Thread habe ich mir das Internet ausgedruckt,
statt es auf Datenträger mit zweifelhafter Zukunft zu speichern.
Außerdem hätte ich sowieso nix abspeichern können, weil ich die dazu
offensichtlich notwendigen Anglizismen nicht beherrsche.
Achim B. schrieb:> Außerdem hätte ich sowieso nix abspeichern können, weil ich die dazu> offensichtlich notwendigen Anglizismen nicht beherrsche.
Seehofer: Safe the Internet!
Ich hab noch ein paar Verbesserungen am Videoportal vorgenommen. Hier
mal noch ein Video vom Videoportal in Aktion:
https://dpa.li/temp/videoportal.mp4
Das hat mir auch schon die ersten YouTube Videos gerettet. Gestern hab
ich dieses Video bemerkt, wo über ein paar von Nintendo entfernte Videos
gesprochen wurde: https://youtu.be/AKtaFU2ky9E
Ratet mal wer die Videos noch hat, und diese jetzt vermutlich als
einziger noch ansehen kann. Muhahahaha!!!
Daniel A. schrieb:> Also wozu der Thread? Einerseits um Läute auf die Möglichkeit aufmerksam> zu machen, andererseits, damit wir unsere Backup & Mirror Skripts und> Methoden teilen können!>> Was rettet ihr so?
Keine AHNUNG, wie Du drauf bist, aber ich gehe lieber in den Wald
und höre bei den Vögeln zu, wie sie zwitschern...
Und ich rette fast immer Tiere, die in Tümpeln ertrinken könnten,
vor allem rette ich meinen Geist, der in so manchen Beiträgen ersticken
könnte...
Good Luck!