Proxmox Cluster + Storage Best Practices

[Nerion]

Hallo zusammen,

wir möchten einen Proxmox HA Cluster installieren und würden hierfür gerne eine Pure Storage einsetzen. Wir möchten bewusst kein Ceph nutzen.
Gibt es hierzu einen Best Practices Guide?
Wie bindet man die Storage am besten ein? Per NFS oder iSCSI? Was ist mit ZFS over iSCSI geht das auch mit einer dedizierten Storage?
Welches Dateisystem nutzt man am besten für das Shared Storage?

Gibt es Empfehlungen zum Netzwerk Sizing?

Soweit ich das erkenne, wäre NFS die präferierte Variante, da diese alle Funktionen unterstützt.
Wird hier auch MultiPathing unterstützt?

etc.

Danke
Viele Grüße
Nerion

 

[Johannes S]

Hallo, keine eigenen Erfahrungen, aber folgende Links könnten helfen:

https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/
https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/
Für Pure gibt es ein inoffiziellen Plugin ( muss man sich halt überlegen, ob man mit dem fehlenden Support klar kommt): https://github.com/kolesa-team/pve-purestorage-plugin

https://support.purestorage.com/bun...opics/t_connecting_proxmox_to_flasharray.html
https://support.purestorage.com/bun...mox_to_flasharray_using_nfs_via_nconnect.html

 

[Falk R.]

Hallo zusammen,

wir möchten einen Proxmox HA Cluster installieren und würden hierfür gerne eine Pure Storage einsetzen. Wir möchten bewusst kein Ceph nutzen.
Gibt es hierzu einen Best Practices Guide?

Da musst du mal bei Pure schauen. Ich habe keinen Zugriff, weil alles hinter der Paywall.

Wie bindet man die Storage am besten ein? Per NFS oder iSCSI? Was ist mit ZFS over iSCSI geht das auch mit einer dedizierten Storage?
Welches Dateisystem nutzt man am besten für das Shared Storage?

Mit ZFS over iSCSI kannst du einen ZFS Pool über iSCSI zugreifbar machen, dafür brauchst du aber ein Storage was mit ZFS arbeitet.
Bei shared Storage am besten nicht mit Dateisystem arbeiten. Der Standard ist LVM shared.

Gibt es Empfehlungen zum Netzwerk Sizing?

Schnell? Also unter 25G fängt man heutzutage nicht mehr an und das Storage, wenn du mehrere Hosts hast, gern mit 100G.

Soweit ich das erkenne, wäre NFS die präferierte Variante, da diese alle Funktionen unterstützt.
Wird hier auch MultiPathing unterstützt?

NFS kann auch Snapshots, falls du die wirklich zwingend benötigst. NFS Multipathing gibts mit NFS4 auch, aber da mal die Doku von Pure wälzen.
Ich würde die Pure statt iSCSI lieber mit NVMEoverTCP anbinden, da funktioniert das Multipathing direkt nativ über das Storageprotokoll.
Das geht bei Pure aber nur, wenn du ein einzelnes Storage benutzt, sobald du spiegeln willst, kann Pure kein NVMe anbieten. Zumindest haben die das in den letzten Jahren nicht geschafft umzusetzen.

Für mich fällt Pure aber aus, weil zu teuer. Wenn es unbedingt ein shared Storage sein muss, dann lieber Huawei Dorado oder Dell Powerstore. Da habe ich in der Regel deutlich bessere Preise gesehen.

Meine Projekte mache ich lieber mit Ceph, was noch einmal deutlich günstiger ist und super Robust läuft.

 

[Nerion]

Also Snapshots brauchen wir nicht unbedingt. Thin Provisioning brauchen wir auf jedenfall, da sonst immer der gesamte Speicherplatz der VMs auf dem Storage verbraucht wird. Somit scheint Shared LVM auszuscheiden, da dies kein Thin Provisioning kann oder habe ich das falsch verstanden?

Danke

 

[Falk R.]

Also Snapshots brauchen wir nicht unbedingt. Thin Provisioning brauchen wir auf jedenfall, da sonst immer der gesamte Speicherplatz der VMs auf dem Storage verbraucht wird. Somit scheint Shared LVM auszuscheiden, da dies kein Thin Provisioning kann oder habe ich das falsch verstanden?

Danke

Das Storage macht ja Thin Provisioning.
Wenn man z.B. bei vSphere Thin vDisks in einen Datastore auf einem Thin Storage angelegt hat, hatte das nur Performance gekostet, aber null Effekt gehabt.
Shared LVM funktioniert für den gewünschten Zweck genau richtig.
Nur falls man ein historisches Storage aus dem Keller holt, welches selbst noch kein Thin Pool kann, dann hätte man einen großen Overhead.

 

[Nerion]

Also 100G Netzwerk machen wir auf jedenfall.
Zum Verständnis, was spricht gegen NFS? Warum ist Shared LVM besser als NFS?

 

[Falk R.]

Also 100G Netzwerk machen wir auf jedenfall.
Zum Verständnis, was spricht gegen NFS? Warum ist Shared LVM besser als NFS?

Nichts spricht gegen NFS, nur bei Pure ist das NFS nachträglich obendrauf gesetzt worden und nicht Nativ wie z.B. bei Netapp.
Gerade wenn du eh NFS nutzen möchtest, verstehe ich nicht, warum es dann eine teure Pure sein soll?

 

[Nerion]

Grund für Pure ist, dass ich die Idee scharmant finde, dass man dort jederzeit einfach die Controller tauschen kann, wenn die eigenen Anforderungen wachsen (mehr Performance). Ebenso kann man z.B. nach 3-4 Jahren einfach auf die neuen Controller Versionen wechseln.
Es entfällt also, dass man z.B. nach 3 oder 5 Jahren eine vollständige Migration auf ein neueres, aktuelles System durchführen muss.
Das kenne ich so bisher von keinem anderen Anbieter.

 

[Falk R.]

Soll ich dir was verraten, das geht bei ganz vielen Lösungen, nur das es da nicht vorab verkauft wird, sondern erst wenn der Bedarf zum tragen kommen sollte.
Das Evergreen ist perfektes Marketing mit einer massiven Bindung des Kunden. Die haben die NetApp Masche genommen und einen drauf gesetzt.

So etwas habe ich schon vor fast 20 Jahren mit DataCore gemacht, also das Mitwachsen und seemless Hardwaretausch sind keine Neuerfindungen, nur besser verpackt.
P.S. Ein Ceph Cluster ist da sogar noch flexibler als eine Pure, da kannst du jederzeit einzelne Disks hinzufügen oder entfernen und das ganze ohne das du einen Termin mit dem Herstellersupport brauchst.