Sauvegarde Docker vers Google Drive avec rclone

rclone size gdrive:/daily

googleapi: Error 403: Quota exceeded for quota metric 'Queries' and limit 'Queries per minute' of service 'drive.googleapis.com'

find /home/USER/docker -type f | wc -l

#!/bin/bash

# ═══════════════════════════════════════════════════════════════
# backup-docker.sh — Sauvegarde Docker vers Google Drive
# v5 - archive unique compressée (fin du problème de quota API)
#      export automatique des YAML depuis l'API Portainer
# ═══════════════════════════════════════════════════════════════

# -- Configuration ────────────────────────────────────────────────
SOURCE="/home/USER/docker"
REMOTE="gdrive:"
LOG="/home/USER/rclone-logs/backup-docker.log"
RCLONE_CONF="/home/USER/.config/rclone/rclone.conf"
PORTAINER_URL="https://192.168.1.100:9443"
PORTAINER_TOKEN=$(cat /home/USER/docker/scripts/.portainer-token)
DATE=$(date +%Y-%m-%d)
DAY=$(date +%u)     # 1=lundi ... 7=dimanche
DOM=$(date +%d)     # jour du mois (01-31)
MONTH=$(date +%m)   # mois (01-12)

ARCHIVE_NAME="docker-$DATE.tar.gz"
TMP_ARCHIVE="/tmp/$ARCHIVE_NAME"

# -- Création du dossier de log si nécessaire ─────────────────────
mkdir -p /home/USER/rclone-logs

# -- Fonction de log ──────────────────────────────────────────────
log() {
    echo "[$(date '+%Y-%m-%d %H:%M:%S')] $1" >> "$LOG"
}

# -- Commande rclone de base ──────────────────────────────────────
# Important : plus de sudo ici. rclone tourne toujours en tant que
# l'utilisateur normal, son fichier de config n'est donc plus
# jamais réécrit par root. Seul tar (plus bas) a besoin de sudo
# pour lire les fichiers appartenant à root dans les volumes
# Docker.
RCLONE="rclone --config $RCLONE_CONF --log-file=$LOG"

log "=== Début sauvegarde ==="

# -- Export automatique des YAML (format de fichier de configuration
# lisible, utilisé par Docker Compose) depuis l'API Portainer ─────
log "Export des YAML depuis Portainer..."

STACKS_JSON=$(curl -sk \
    -H "X-API-Key: $PORTAINER_TOKEN" \
    "$PORTAINER_URL/api/stacks")

if [ -z "$STACKS_JSON" ] || [ "$STACKS_JSON" = "null" ]; then
    log "ERREUR : impossible de contacter l'API Portainer - les YAML ne seront pas mis à jour."
else
    STACK_COUNT=$(echo "$STACKS_JSON" | python3 -c "
import sys, json
stacks = json.load(sys.stdin)
print(len(stacks))
" 2>/dev/null)

    log "$STACK_COUNT stack(s) trouvée(s) dans Portainer."

    echo "$STACKS_JSON" | python3 -c "
import sys, json
stacks = json.load(sys.stdin)
for s in stacks:
    print(s['Id'], s['Name'])
" 2>/dev/null | while read stack_id stack_name; do

        YAML_CONTENT=$(curl -sk \
            -H "X-API-Key: $PORTAINER_TOKEN" \
            "$PORTAINER_URL/api/stacks/$stack_id/file" \
            | python3 -c "
import sys, json
data = json.load(sys.stdin)
print(data.get('StackFileContent', ''))
" 2>/dev/null)

        if [ -n "$YAML_CONTENT" ]; then
            DEST="$SOURCE/$stack_name/docker-compose.yml"
            mkdir -p "$SOURCE/$stack_name"
            echo "$YAML_CONTENT" > "$DEST"
            log "YAML exporté : $stack_name/docker-compose.yml"
        else
            log "ATTENTION : YAML vide ou inaccessible pour la stack $stack_name"
        fi
    done
fi

# -- Vérification des docker-compose.yml manquants ────────────────
# Seuls les containers gérés comme des stacks Portainer ont un
# docker-compose.yml généré automatiquement ci-dessus. Certains
# dossiers ne sont pas des containers et doivent être exclus de
# cette vérification.
log "Vérification des docker-compose.yml..."
for dir in "$SOURCE"/*/; do
    logiciel=$(basename "$dir")
    # "scripts" : pas un container Docker
    # à adapter : tout dossier qui n'est pas une stack Portainer
    # (par exemple un environnement virtuel Python) doit être
    # ajouté ici pour éviter une fausse alerte à chaque exécution
    if [ "$logiciel" = "scripts" ]; then
        continue
    fi
    compose="$dir/docker-compose.yml"
    if [ ! -f "$compose" ]; then
        log "ATTENTION : docker-compose.yml manquant dans $logiciel - à créer manuellement !"
    fi
done

# -- Création de l'archive compressée ─────────────────────────────
# sudo est nécessaire ici car certains fichiers dans les volumes
# Docker appartiennent à root. tar n'a aucun rapport avec la config
# rclone, donc rclone.conf n'est jamais impacté par ce sudo.
log "Création de l'archive $ARCHIVE_NAME..."
sudo tar --exclude="*.db-shm" --exclude="*.db-wal" -czf "$TMP_ARCHIVE" -C "$SOURCE" .
sudo chown USER:USER "$TMP_ARCHIVE"
log "Archive créée : $(du -h "$TMP_ARCHIVE" | cut -f1)"

# -- Envoi de l'archive vers Google Drive (sauvegarde quotidienne) ─
log "Copie vers daily/..."
$RCLONE copy "$TMP_ARCHIVE" "$REMOTE/daily/"

# -- Copie hebdomadaire (chaque dimanche) ──────────────────────────
# Copie côté serveur, aucun ré-upload depuis le poste local
if [ "$DAY" -eq 7 ]; then
    log "Dimanche : copie hebdomadaire"
    $RCLONE copyto "$REMOTE/daily/$ARCHIVE_NAME" "$REMOTE/weekly/$ARCHIVE_NAME"
fi

# -- Copie mensuelle (le 1er de chaque mois) ───────────────────────
if [ "$DOM" -eq 01 ]; then
    log "1er du mois : copie mensuelle"
    $RCLONE copyto "$REMOTE/daily/$ARCHIVE_NAME" "$REMOTE/monthly/$ARCHIVE_NAME"
fi

# -- Copie annuelle (le 1er janvier) ───────────────────────────────
if [ "$DOM" -eq 01 ] && [ "$MONTH" -eq 01 ]; then
    log "1er janvier : copie annuelle"
    $RCLONE copyto "$REMOTE/daily/$ARCHIVE_NAME" "$REMOTE/yearly/$ARCHIVE_NAME"
fi

# -- Nettoyage du fichier temporaire local ─────────────────────────
rm -f "$TMP_ARCHIVE"

# -- Nettoyage des anciennes sauvegardes sur Drive ─────────────────
# Suppression de fichiers uniques, plus de parcours fichier par fichier
log "Nettoyage daily > 7 jours..."
$RCLONE delete "$REMOTE/daily" --min-age 7d --include "*.tar.gz"

log "Nettoyage weekly > 28 jours..."
$RCLONE delete "$REMOTE/weekly" --min-age 28d --include "*.tar.gz"

log "Nettoyage monthly > 365 jours..."
$RCLONE delete "$REMOTE/monthly" --min-age 365d --include "*.tar.gz"

# Annuelles : conservées indéfiniment, pas de nettoyage automatique

log "=== Sauvegarde terminée ==="

sudo visudo -f /etc/sudoers.d/backup-docker

USER ALL=(root) NOPASSWD: /usr/bin/tar --exclude=*.db-shm --exclude=*.db-wal -czf /tmp/docker-*.tar.gz -C /home/USER/docker .

- /home/USER/rclone-logs:/rclone-logs:ro

command_line:
  - sensor:
      name: "Sauvegarde Docker Anomalies"
      unique_id: sauvegarde_docker_anomalies
      command: >
        awk '/=== Début sauvegarde ===/{buf=""} {buf=buf $0 ORS} END{printf "%s", buf}' /rclone-logs/backup-docker.log > /tmp/dernier-run.log;
        if grep -q "=== Sauvegarde terminée ===" /tmp/dernier-run.log; then
          COUNT=$(grep -E "ATTENTION|ERROR" /tmp/dernier-run.log | grep -vc "directory not found");
          echo "$COUNT";
        else
          echo "99";
        fi
      scan_interval: 3600

automation:
  - alias: "Alerte anomalie sauvegarde Docker"
    id: alerte_anomalie_sauvegarde_docker
    trigger:
      - platform: time
        at: "03:30:00"
    condition:
      - condition: numeric_state
        entity_id: sensor.sauvegarde_docker_anomalies
        above: 0
    action:
      - service: notify.email_alertes
        data:
          title: "[home ALD] Anomalie sauvegarde Docker"
          message: >
            Une anomalie a été détectée dans la sauvegarde Docker de cette nuit (code {{ states('sensor.sauvegarde_docker_anomalies') }}).
            Automatisation déclenchante : automation.alerte_anomalie_sauvegarde_docker
            Consulter le log complet sur le Mini PC : /home/USER/rclone-logs/backup-docker.log