Syncronisation von virtuellen Maschinen zwischen 2 Proxmox Clustern via pve-zsync
Installation pve-zsync
apt-get install pve-zsync
Syncronisation
source = IP des PVE Node + die ID der VM
pve-zsync create --source 192.168.1.1:100 --dest zfsstoragepoolname --verbose --maxsnap 2 --name test1
VM Config Datei kopieren und anpassen
cp /var/lib/pve-zsync/<VMID>.conf.rep_<JOB_NAME><VMID>_<TIMESTAMP> /etc/pve/qemu-server/<VMID>.conf
in der Config muss noch der Name des Storage korrigiert werden.
Sync Job löschen
pve-zsync destroy --source 192.168.1.1:100 --name test1
Gesamt-Script
#!/bin/bash
# Script zur Synchronisation von VMs über ZFS Snapshots und Entfernen alter Snapshots.
# ACHTUNG: Der Ziel-Pool wird komplett geleert! Dieser darf nur für die Synchronisation genutzt werden.
set -euo pipefail # Strict error handling
# --- Einstellungen ---
# Primary Proxmox Node zur Stammdatenabfrage
primary_pve_node="pve01"
# IP zu Hostname Zuordnung des Source Proxmox Clusters
declare -A IP_TO_HOST=(
["pve01"]="10.2.1.1"
["pve02"]="10.2.1.2"
["pve03"]="10.2.1.3"
)
# Einstellungen für den Sync
# Der Pool, dessen VMs synchronisiert werden sollen
pool_name_to_sync="Test-Vms"
# Name des Sync Jobs (wird auch beim ZFS Snapshot verwendet)
sync_job_name="RemoteZFSSync"
source_storage_name="Storage01"
# Achtung dieser Storage wird immer komplett geleert!
destination_storage_name="Storage"
# Achtung alle VMs in diesem Pool werden gelöscht!
destination_pool_name="RemoteSyncedVMs"
lookup_ip_for_hostname() {
local ip="$1"
# Prüfen, ob IP angegeben ist
if [[ -z "$ip" ]]; then
echo "Fehler: keine IP-Adresse angegeben!" >&2
return 1
fi
# Lookup durchführen
local hostname="${IP_TO_HOST[$ip]}"
# Ausgabe oder Fehlermeldung
if [[ -n "$hostname" ]]; then
echo "$hostname"
else
echo "Unbekannte IP-Adresse: $ip" >&2
return 2
fi
}
remove_all_disks_from_storage() {
local search_term="$1"
# --- Prüfung der Eingabe ---
if [[ -z "$search_term" ]]; then
echo "Verwendung: $0 <teil-des-snapshot-namens>"
echo "Beispiel: $0 autobackup"
exit 1
fi
# --- Snapshots finden ---
local snapshots
snapshots=$(zfs list -t snapshot -o name -H | grep -i "$search_term")
if [[ -z "$snapshots" ]]; then
echo "Keine Snapshots gefunden, die '${search_term}' enthalten."
exit 0
fi
# --- Snapshots löschen ---
while IFS= read -r snap; do
zfs destroy -r "$snap"
done <<< "$snapshots"
}
remove_synced_vms() {
local pool="$1"
if [[ -z "$pool" ]]; then
echo "Fehler: Kein Poolname angegeben."
echo "Verwendung: delete_vms_in_pool <poolname>"
return 1
fi
echo "Hole VM-IDs aus Pool: $pool"
local vms
vms=$(pvesh get /pools/$pool --output-format json | jq -r '.members[].vmid' 2>/dev/null)
if [[ -z "$vms" ]]; then
echo "Keine VMs im Pool '$pool' gefunden oder Pool existiert nicht."
return 0
fi
echo "Stoppe alle VMs/LXCs im Pool '$pool'..."
for vmid in $vms; do
if qm status "$vmid" &>/dev/null; then
echo "Stoppe VM $vmid..."
qm stop "$vmid" --skiplock --timeout 30 2>/dev/null
fi
done
echo "Warte 5 Sekunden, um sicherzustellen, dass alle Maschinen gestoppt sind..."
sleep 5
echo "Lösche folgende VMs/LXCs aus Pool '$pool': $vms"
for vmid in $vms; do
if qm config "$vmid" &>/dev/null; then
echo "Lösche VM $vmid..."
qm destroy "$vmid" --purge --skiplock 2>/dev/null
fi
done
echo "Alle VMs aus Pool '$pool' wurden gestoppt und gelöscht."
echo "Lösche alle Disks im Ziel Storage: $destination_storage_name"
remove_all_disks_from_storage "$destination_storage_name"
}
rename_storage_names_in_config() {
if [[ $# -ne 3 ]]; then
echo "Verwendung: $0 <datei> <alter_storage_name> <neuer_storage_name>"
echo "Beispiel: $0 vm-101.conf Storage01 Storage"
exit 1
fi
local datei="$1"
local alt="$2"
local neu="$3"
if [[ ! -f "$datei" ]]; then
echo "Fehler: Datei '$datei' nicht gefunden."
exit 1
fi
cp "$datei" "${datei}.bak"
sed -i "s/\b${alt}\b:/${neu}:/g" "$datei"
}
get_latest_replica_file() {
local dir="$1"
local vmid="$2"
if [[ -z "$dir" || -z "$vmid" ]]; then
echo "Verwendung: get_latest_replica_file <verzeichnis> <vmid>"
return 1
fi
# Dateien suchen, die mit "<vmid>.conf.qemu.rep_RemoteZFSSync_" beginnen
local pattern="${vmid}.conf.qemu.rep_RemoteZFSSync_"
local latest_file
latest_file=$(find "$dir" -type f -name "${pattern}*" -printf '%T@ %p\n' 2>/dev/null \
| sort -nr | head -n 1 | awk '{print $2}')
if [[ -n "$latest_file" ]]; then
echo "$latest_file"
cp "$latest_file" "/etc/pve/qemu-server/9${vmid}.conf"
rename_storage_names_in_config "/etc/pve/qemu-server/9${vmid}.conf" "Storage01" "Storage"
# VM zu einem Pool Hinzufügen
pvesh set /pools/$destination_pool_name -vms "9${vmid}"
else
echo "Keine Datei gefunden, die mit '${pattern}' beginnt." >&2
return 1
fi
}
remove_synced_vms "$destination_pool_name"
mapfile -t vms < <(
ssh "$(lookup_ip_for_hostname $primary_pve_node)" pvesh get /cluster/resources --type vm --output json |
jq -r '.[] | "\(.vmid) \(.name) \(.node) \(.pool)"'
)
for vm in "${vms[@]}"; do
# Remove Remote Snapshots:
read -r vmid name node pool <<< "$vm"
ssh "$(lookup_ip_for_hostname "$node")" 'bash -s' -- < ./removeSourceSnapshots.sh "$sync_job_name"
echo "VMID: $vmid | Name: $name | Node: $node | Pool: $pool"
if [[ "$pool" == "$pool_name_to_sync" ]]; then
pve-zsync create --source "$(lookup_ip_for_hostname "$node"):$vmid" --dest "$destination_storage_name" --verbose --name "$sync_job_name"
pve-zsync destroy --source "$(lookup_ip_for_hostname "$node"):$vmid" --name "$sync_job_name"
get_latest_replica_file "/var/lib/pve-zsync" "$vmid"
else
echo "Überspringe VMID $vmid (Pool: $pool passt nicht zu $pool_name_to_sync)"
fi
done
