Moin,
wir haben neben einem älteren Setup mit PVE v5 und Ceph Luminous nun ein neues Setup mit PVE v6 und Ceph Nautilus.
Unser Problem ist, dass wir mit dem neuen Ceph Cluster und PVE v6 massive Geschwindigkeitsprobleme mit vzdump haben. Auf reiner NVMe Basis sind wir bei ca. 120MB/s, mit "normalen" Festplatten sind wir bei ca 8-15MB/s...
Mit dem alten Cluster, das ähnlich konfiguriert war, kamen wir immerhin auf 60MB/s bei reinen HDDs. Ich frage mich, wo der Unterschied ist?
PVE Cluster: 27 Nodes, 145 VMs running
Netzwerk: 4x 10G (1x Frontend, 2x Ceph Frontend, 1x Corosync)
Ceph Cluster Nautilus:
180TB Pool HDDs mit NVMe Cache (wenn vom Cache gelesen wird, sind wir mit zvdump bei ca. 800MB/s)
6TB Pool NVMe
Netzwerk: 40G Infiniband für Backend, 10G eth für Frontend
Die Problematik der Blockgröße von qemu mit 64k ist mir bewusst, allerdings habe ich noch keinen Patch gefunden, um die Größe in qemu für vzdump zu ändern. Das wäre wohl das, was wir bräuchten... ?
Oder eine adäquate Möglichkeit, an vzdump vorbei ordentliche Backups zu fahren. Wie sind da die Erfahrungen?
Wir sind für jede Hilfe sehr dankbar!
wir haben neben einem älteren Setup mit PVE v5 und Ceph Luminous nun ein neues Setup mit PVE v6 und Ceph Nautilus.
Unser Problem ist, dass wir mit dem neuen Ceph Cluster und PVE v6 massive Geschwindigkeitsprobleme mit vzdump haben. Auf reiner NVMe Basis sind wir bei ca. 120MB/s, mit "normalen" Festplatten sind wir bei ca 8-15MB/s...
Mit dem alten Cluster, das ähnlich konfiguriert war, kamen wir immerhin auf 60MB/s bei reinen HDDs. Ich frage mich, wo der Unterschied ist?
PVE Cluster: 27 Nodes, 145 VMs running
Netzwerk: 4x 10G (1x Frontend, 2x Ceph Frontend, 1x Corosync)
Ceph Cluster Nautilus:
180TB Pool HDDs mit NVMe Cache (wenn vom Cache gelesen wird, sind wir mit zvdump bei ca. 800MB/s)
6TB Pool NVMe
Netzwerk: 40G Infiniband für Backend, 10G eth für Frontend
Die Problematik der Blockgröße von qemu mit 64k ist mir bewusst, allerdings habe ich noch keinen Patch gefunden, um die Größe in qemu für vzdump zu ändern. Das wäre wohl das, was wir bräuchten... ?
Oder eine adäquate Möglichkeit, an vzdump vorbei ordentliche Backups zu fahren. Wie sind da die Erfahrungen?
Wir sind für jede Hilfe sehr dankbar!
