Rsync vs sftp

[Totomitharry (Gast)]

Moin,

Ich hatte mich gewundert wieso mein lokales  1TB rsync Backup mehrere 
Tage dauerte (1Gb Netzwerk)..

Da musste ich feststellen das bei einem 1GB File über rsync gerade 
maximal 50MB/s erreicht werden, eher weniger.

Mit Sftp schaffe ich mit einem normalem Put und Get 100MB/s welches mir 
optimal erscheint.

Kann man da noch optimieren? Sonst ist mir das auch Wurst, benutze rsync 
zuverlässig seit Jahren.. für lokale copys erschien mir das einfach zu 
langsam.

Andere Idee wäre mit sftp kopieren und mit rsync die permissions und 
Owner übernehmen.

[Εrnst B. (ernst)]

Hast du "rsync" auch richtig angewendet, d.H. mit rsync-Prozess auf 
Quell- und Zielseite, und Übertragung nur von Änderungen?
Damit sind ~1GB/sec auch über eine dünne Internet-Verbindung möglich.
(Wenn sich wenig geändert hat, und beide Rechner schnelle SSDs haben...)

rsync auf Netzwerk-Mounts hingegen ist stark "suboptimal" und garnicht 
im Sinne des Erfinders...

[Totomitharry (Gast)]

Ich synche schon seit 15 Jahren mit rsync serverseitige Backups.. ich 
weiß schon wie es funktioniert.

Wenn ich eine 1Gigabyte Datei mit  "rsync avh ./1GB.img 
root@192.168.0.101:/media/3TBnvme/"

Ca. 40-50MB/s

Dann ist es doch egal wie ich es mache.


sftp root@192.168.0.101:/media/3TBnvme/
>put 1GB.img

über 100MB/s

Also die Daten brauchen auch online zum Backupserver mit rsync einige 
Stunden bei 10MB/s.. das ist dann aber normal.

[Ein T. (ein_typ)]

Totomitharry schrieb:
> Ich synche schon seit 15 Jahren mit rsync serverseitige Backups.. ich
> weiß schon wie es funktioniert.

Wirklich?

[it doesn't matter (Gast)]

Wenn ich eine 1Gigabyte Datei mit  "rsync avh ./1GB.img
root@192.168.0.101:/media/3TBnvme/"

Ca. 40-50MB/s

bei einer Datei probiere mal

-W, --whole-file            copy files whole (w/o delta-xfer algorithm)

---


rsync hatte o. hat ein Problem mit wirklich großen Dateien. (2007)
 https://www.mail-archive.com/[e-mail]/msg17812.html

[Totomitharry (Gast)]

Ein T. schrieb:
> Wirklich?

Naja, ich synche halt einfach..

it doesn't matter schrieb:
> rsync hatte o. hat ein Problem mit wirklich großen Dateien.

Okay, danke.

Ich dachte halt nur das es lokal richtig abgeht bei 1/2,5gbit Uplink 
zwischen SSD und nvme.. scheint beim erstsync halt doch länger zu 
dauern. Das sind locker 500gb an Dateien kleiner 1mb. Vielleicht ist das 
nur der Overhead.

Ich schiebe die Dateien eigentlich nur unter storage und 
Produktivservern.. wollte jetzt aber eine lokale Kopie und eine externe 
Datenträger Kopie.

Danke für die Antworten.

[San Miguel de Joker (Gast)]

Totomitharry schrieb:
> Vielleicht ist das nur der Overhead.

Das hängt von vielen Faktoren ab wie dem Dateisystem oder auch welche 
Parameter du angegeben hast. Mit rsync bildet man meist Prüfsummen und 
überträgt dann auch noch alle Timestamps, das braucht einfach etwas.

Und dann ist es natürlich auch noch die Frage ob man wirklich rsync 
selbst benutzt oder irgendwo ein ssh:// drinnen hat.

Gerade bei kleinen Dateien kannst du natürlich versuchen diese als 
tar/Stream zu packen und am Stück zu übertragen. Mache ich z.B. bei KODi 
Backups, zuerst werden die Dateien einfach gepackt und dann das Archiv 
übertragen. Geht schneller als scp/rsync ohne diesen Zwischenschritt.

[Ein T. (ein_typ)]

Totomitharry schrieb:
> Ein T. schrieb:
>> Wirklich?
>
> Naja, ich synche halt einfach..

Ja, genau. Und jetzt denken wir dann bitte mal intensiv darüber nach, 
was sync von copy unterscheidet... ;-)

[TotoMitHarry (Gast)]

Ein T. schrieb:
> was sync von copy unterscheidet... ;-)

Jetzt denken wir mal drüber nach das andere auch mal mehr wissen als man 
selbst.

[Professioneller Regeditor (Gast)]

Benutzt du denn auch rsync über ssh?
Siehe Option --rsh

[🐧 DPA 🐧 (Gast)]

Versuche es mal mit der -z option

       --compress, -z           compress file data during the transfer
       --compress-choice=STR    choose the compression algorithm (aka --zc)
       --compress-level=NUM     explicitly set compression level (aka --zl)
       --skip-compress=LIST     skip compressing files with suffix in LIST

[Eric (Gast)]

Professioneller Regeditor schrieb:
> Benutzt du denn auch rsync über ssh?
> Siehe Option --rsh

Rsync nutzt schon seit vielen Jahren SSH als Standard. remote Shell 
schon lange nicht mehr.

🐧 DPA 🐧 schrieb:
> Versuche es mal mit der -z option

Warum? Liegt ja scheinbar nicht an der langsamen Netzwerkverbindung. 
Warum also die CPU noch weiter ausbremsen wollen? Dann lieber mit 
--inplace probieren (um die temporäre Datei zu vermeiden)

(Wobei bei mir läuft es auch ohne die Option mit der maximalen 
Geschwindigkeit die Netzwerk/NAS hergibt)