Neulich habe ich über eine günstige HCI Variante für Vmware nachgedacht und dabei ist mir aufgefallen, dass man die gleiche Lösung ja für alle Hypervisor Lösungen einsetzen kann.
Wer also
GlusterFS mit Deduplizierung in Proxmox haben möchte, der kann natürlich - so wie es viele kommerzielle Storagelösungen anbieten - einfach eine VM mit durchgereichtem HBA auf den lokalen Storage jedes Knotens eines 3er Clusters installieren. Das Storage Netz verbindest du halt mit dieser VM. Damit du VDO nutzen kannst, solltest du wie oben geschrieben Rocky Linux nehmen.
Allerdings bin ich mir nicht so sicher, ob GlusterFS die Perfomance bringt. Laut
diesem Test ist die IOPS ziemlich gering im Vergleich zu Ceph. Das könnte man natürlich mit SSDs kompensieren.
Wer die Inline-Dedplication als Bottleneck sieht, kann natürlich Offline-Deduplication von XFS nutzen. So übernimmt VDO die Komprimierung und XFS die Deduplizierung.
Nachteil einer Storage VM:
Man hat natürlich einen Overhead durch die zusätzliche OS Umgebung, aber das wäre es mir wert.
Ergänzung: Wer GlusterFS etwas tunen möchte, kann einen R/W-Cache mit bcache oder LVM hinzufügen.
Variante ohne VM: In den letzten Jahren hat BTRFS in Sachen Performance sehr gut aufgeholt und kann teilweise in manchen Szenarien die Platzhirsche wie ext4 und xfs übertrumpfen. Ich habe mal meine Testumgebung geupdatet und bin jetzt auf PVE 7.3-6. Diese bringt einen Kernel 5.15.85 mit. Ist natürlich nicht gerade sehr aktuell, aber das ist ja Debian-Philosophie. Kurzum: Die nächsten Kernelaktualisierung bringen nochmal einige Performanceboosts für BTRFS.
Da GlusterFS nur einen Mountpoint benötigt, um zu replizieren, kann man quasi darunter jedes Filesystem einsetzen. Im Netz findet man somit Lösungen, wo GlusterFS auf zfs aufsetzt. Als HCI - Lösung ist das natürlich eine RAM-Katastrophe. BTRFS hingegen ist weit weniger RAM-lastig und bietet wie zfs und VDO Komprimierung und Deduplizierung und diese sogar offline. Ein alternatives Szenario für Deduplikationsfans wie mich ist also auf den Gluster-Nodes MDADM+BTRFS Mountpoints als Brick anzubieten. Da BTRFS Subvolumes unterstützt, kann ich sogar große Raidgruppen einrichten und diese mit BTRFS auf verschieden Bricks aufteilen. Jetzt kommt aber das Beste: Da ich nicht auf VDO angewiesen bin, benötige ich keine VM, sondern kann die Konfiguration direkt auf dem Proxmox-Host tätigen.
Ich habe mal ein kleines Testszenario aufgebaut und es lief ohne Probleme.
