PVE v6 and Ceph Nautilus - vzdump sehr langsam

studiofunk

Member
Jun 5, 2020
11
1
8
43
Moin,

wir haben neben einem älteren Setup mit PVE v5 und Ceph Luminous nun ein neues Setup mit PVE v6 und Ceph Nautilus.

Unser Problem ist, dass wir mit dem neuen Ceph Cluster und PVE v6 massive Geschwindigkeitsprobleme mit vzdump haben. Auf reiner NVMe Basis sind wir bei ca. 120MB/s, mit "normalen" Festplatten sind wir bei ca 8-15MB/s...

Mit dem alten Cluster, das ähnlich konfiguriert war, kamen wir immerhin auf 60MB/s bei reinen HDDs. Ich frage mich, wo der Unterschied ist?

PVE Cluster: 27 Nodes, 145 VMs running
Netzwerk: 4x 10G (1x Frontend, 2x Ceph Frontend, 1x Corosync)

Ceph Cluster Nautilus:
180TB Pool HDDs mit NVMe Cache (wenn vom Cache gelesen wird, sind wir mit zvdump bei ca. 800MB/s)
6TB Pool NVMe
Netzwerk: 40G Infiniband für Backend, 10G eth für Frontend


Die Problematik der Blockgröße von qemu mit 64k ist mir bewusst, allerdings habe ich noch keinen Patch gefunden, um die Größe in qemu für vzdump zu ändern. Das wäre wohl das, was wir bräuchten... ?
Oder eine adäquate Möglichkeit, an vzdump vorbei ordentliche Backups zu fahren. Wie sind da die Erfahrungen?

Wir sind für jede Hilfe sehr dankbar!
 
Hat sich die Situation in der Zwischenzeit geklärt?
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!