BASH -> MySQLDump -> Nur x Dateien aufbehalten

[SSHod (Gast)]

Hallo Leute,

Leider funktioniert mein Bash Script (Aus einem Forum GEKLAUT) nicht so 
wie es soll.
Es sollte ja die XXX gegeben Versionen behalten und die älteren löschen.
ABER, es sind nun schon einige hunderte (grösser die angegebenen) 
Sicherungen vorhanden, ohne das die Älteren gelöscht werden.

Noch zu erwähnen ist, das ich Linuxtechnisch ein DAO bin und das Ding 
"out of the box" auf einem NAS funktionieren soll.

Wo liegt hier der Fehler begraben?

#!/bin/bash
#
# dieses Skript kann man beliebig oft ausführen
#
# Anzahl der Sicherungen die aufgehoben werden sollen
KEEP=270
BACKUPS=`find /volume1/Backups/ -name "MariaDBDump-*.gz" | wc -l | sed 's/\ //g'`
while [ $BACKUPS -ge $KEEP ]
do
ls -tr1 /volume1/Backups/MariaDBDump-*.gz | head -n 1 | xargs rm -f 
BACKUPS=`expr $BACKUPS - 1` 
done
DATE=`date +%Y_%m_%d__%H_%M`
rm -f /volume1/Backups/.MariaDBDump_${DATE}.gz_INPROGRESS
docker exec mariadb mysqldump --opt -uhoden -p08150815 --all-databases | gzip -c -9 > /volume1/Backups/.MariaDBDump_${DATE}.gz_INPROGRESS
mv -f /volume1/Backups/.MariaDBDump_${DATE}.gz_INPROGRESS /volume1/Backups/MariaDBDump_${DATE}.gz
exit 0

[Jim M. (turboj)]

Den "docker exec" Aufruf da drin hattest Du gesehen? Das funzt 
logischerweise nur in einer Docker Umgebung.

[SSHod (Gast)]

Was hat das mit dem Docker am Hut?
Wird doch eigens abgearbeitet und schaufelt die Daten in ein .inProgress 
Datei, welche anschliessend komprimiert wird.
Leider verstehe ich das vorderbei nicht.
Das "behalte XXX Dateien und lösche den Rest"

[quotendepp (Gast)]

hast du logrotate zur verfügung? das kann das problem "nur x dateien 
aufbewahren" von haus aus, einen sql-dump kann man in einem der hooks 
(weiß leider nicht mehr welcher das war) machen.

[Internatszögling (Gast)]

user hoden
Auch nicht schlecht

Du musst innerhalb der Schleife auch löschen, deshalb wird das nie 
weniger.

[Internatszögling (Gast)]

.. habe das

xargs rm -f

übersehen.

[Internatszögling (Gast)]

Also ohne Docker funktioniert es einwandfrei.

Testfiles generieren: generateFiles.sh

!/bin/bash
if [ ! -d ./volume1 ];
then
 mkdir -p ./volume1/Backups
fi

for i in {1..20}
do
 touch ./volume1/Backups/MariaDBDump-2021-09-${i}__01_00.gz
done

Testscript ohne docker KeepNfiles.sh:

#!/bin/bash

KEEP=10
BACKUPS=`find ./volume1/Backups/ -name "MariaDBDump-*.gz" | wc -l | sed 's/\ //g'`

while [ $BACKUPS -ge $KEEP ]
do
 ls -tr1 ./volume1/Backups/MariaDBDump-*.gz | head -n 1 | xargs rm -f
 BACKUPS=`expr $BACKUPS - 1` 
done
DATE=`date +%Y_%m_%d__%H_%M`
rm -f ./volume1/Backups/.MariaDBDump_${DATE}.gz_INPROGRESS

 echo "blaaaaaaaaaaaaaaaaaaaaa" | gzip -c -9 > ./volume1/Backups/.MariaDBDump_${DATE}.gz_INPROGRESS

mv -f ./volume1/Backups/.MariaDBDump_${DATE}.gz_INPROGRESS ./volume1/Backups/MariaDBDump_${DATE}.gz

exit 0

[Internatszögling (Gast)]

Mit

docker exec mariadb mysqldump --opt -uhoden -p08150815 --all-databases | gzip -c -9 > /volume1/Backups/.MariaDBDump_${DATE}.gz_INPROGRESS

Greifst du ab dem "> /volume1" von docker aus auf was zu was ausserhalb 
der dockerumgebung liegt zu das geht so nicht.

Entweder das volume1 innerhalb docker bereitstellen (dir via 
smb-share,... ) oder innerhalb der Dockerumgebung die backups ablegen.

[Ant Wort (Gast)]

Na gut, dass das nicht maximal kompliziert ist...

Das Löschen der Dateien bis auf die Letzten X würde ich so machen:
ls -1 ./volume1/Backups/MariaDBDump-*.gz | head -n -20 | xargs echo "rm 
-f "
(Ggf muss es ls -t1 heißen)

[Jens G. (jensig)]

Der Backupdateiname ist mal so, mal so. Will heißen, mal mit 
Bindestrich, mal mit Unterstrich ...

[Internatszögling (Gast)]

Jens G. schrieb:
> Der Backupdateiname ist mal so, mal so. Will heißen, mal mit
> Bindestrich, mal mit Unterstrich ...

Da sieht man wie man selbst mit (m)einem Testscript auf die Schnauze 
fallen kann.

[Philipp K. (philipp_k59)]

ohne Gewähr, löscht alles älter 30 Tage..

find ./volume1/Backups/ -type f -regex 'mariaDBDump[_\-].*\.gz'  -mtime 
+30 -exec rm {} \;

[MaWin (Gast)]

Aber der TO ist eine Null, darum fragt es hier

[Ich (Gast)]

Auch im Originalscript des TO sind Bindestrich und Unterstrich gemischt!

Das Backup erzeugt

MariaDBDump_${DATE}.gz

Der "ältere löschen" Teil sucht aber nach

find /volume1/Backups/ -name "MariaDBDump-*.gz"

 ...

Der müsste korrekt heißen:

BACKUPS=`find /volume1/Backups/ -name "MariaDBDump_*.gz" | wc -l | sed 's/\ //g'`

while [ $BACKUPS -ge $KEEP ]

do

ls -tr1 /volume1/Backups/MariaDBDump_*.gz | head -n 1 | xargs rm -f 

BACKUPS=`expr $BACKUPS - 1` 

done

[Daniel A. (daniel-a)]

Ant Wort schrieb:
> Na gut, dass das nicht maximal kompliziert ist...
>
> Das Löschen der Dateien bis auf die Letzten X würde ich so machen:
> ls -1 ./volume1/Backups/MariaDBDump-*.gz | head -n -20 | xargs echo "rm
> -f "
> (Ggf muss es ls -t1 heißen)

So ähnlich würde ich auch so machen. (Bei -1 müsste es alphanumerisch 
sortiert sein, sollte bei einem ISO Datum im Namen gehen. Ich würde also 
eher auf -1t setzen.)

Zu den den find Varianten ist noch zu beachten, dass die Rekursiv sind. 
Auf die Reihenfolge würde ich mich dort auch nicht verlassen. Und vieles 
von diesen "wc -l" Geschichten usw. könnte man sich sparen, wenn man 
einfach bash Arrays nehmen würde.

Wie wäre es mit noch einer Variante?

#!/bin/bash

keep=270
backups=( /volume1/Backups/MariaDBDump-*.gz )

if [ ${#backups[@]} -gt $keep ]
  then rm "${backups[@]:0:${#backups[@]}-$keep-1}"
fi

Edit: hatte einen off-by-one fehler drinn...

[bashooka (Gast)]

Wenn das dir leer ist hat man manchemal auch hässliche Effekte ohne
gesetztes shopts -s extglob