Shared LVM gewünscht: FC-SAN?

[sgw]

Sorry, wenn ich noch nicht das Forum durchsucht habe .. ich bin bei einem Kunden (da gibt es einen längeren Thread) recht zufrieden mit Shared LVM auf einem FC-SAN.
Dort war die Hardware schon da, und ich musste keine Hardware-Auswahl treffen.

Jetzt darf ich bei einem anderen Kunden from scratch konzipieren, bin schon relativ weit mit meiner Skizze für 2 Nodes mit jeweils local storage. Ich wollte denen in Phase 1 den Einstieg in die Virtualisierung leichter und günstiger machen. Heute aber waren die Geschäftsführer sehr offen für HA .. mit Shared Storage. Gut! Jetzt soll ich neu anbieten und ich frage mich und hiermit Euch:

Welches Konzept ist da der beste Mix aus Kosten und Erweiterbarkeit? Ich denke an ein FC-SAN, ausgelegt für 3x2 Kanälen FC (Phase 1: 2 Nodes dran), und darauf dann Shared LVM.

So hab ich das bei dem anderen Kunden. Aber evtl ist FC gar nicht gescheit, und es gibt eine einfachere und günstigere Variante?

Danke für jegliche Tips oder Links, sorry, wenn ich eine FAQ stelle, ich werde natürlich auch selbst noch etwas weiter suchen, wäre aber für ein paar flotte Ja/Neins dankbar.

 

[Bu66as]

FC ist nicht falsch, aber wenn ihr eh komplett neu kauft, ist FC für zwei Nodes meist der teuerste Weg (HBAs, zwei Switches, Optiken, oft noch Lizenzen). Mit 25G Ethernet und iSCSI oder NVMe/TCP landest du beim gleichen Shared LVM und sparst deutlich. Bei zwei Nodes kannst du das SAN je nach Modell sogar direkt anstöpseln ohne Switch dazwischen. Wenn du FC schon kennst und beim Kunden Ersatzteile und Know-how vorhanden sind, spricht aber auch nichts dagegen.

Wichtiger sind aber zwei andere Punkte: bei 2 Nodes brauchst du zwingend ein QDevice als dritten Quorum-Teilnehmer, sonst geht dir der Cluster aus, wenn ein Node ausfällt. Reicht ein kleiner Rechner oder eine VM woanders im Haus. Und das SAN ist dann dein neuer SPOF, also mindestens Dual-Controller und redundante Pfade, sonst hast du statt HA auf Node-Ebene eben ein Risiko auf Storage-Ebene.

Thema Snapshots bei Shared LVM (thick) würde ich vorher mit dem Kunden klären, seit PVE 9 gibt's da ja die Unterstützung, aber ich hab das produktiv noch nicht im Dauerbetrieb, würde ich also testen bevor du es zusicherst. Und als günstige Zwischenstufe, falls das Storage-Budget kippt: 2 Nodes mit lokalem ZFS plus pvesr-Replikation und QDevice. Kein echtes HA, RPO ist dein Replikationsintervall (typisch 15 min), kostet aber nur Platten und du kannst Shared Storage später immer noch nachrüsten. Was darf's denn beim RPO sein, muss das wirklich Null sein?

 

[sgw]

Beim Kunden sind weder Ersatzteile noch Knowhow vorhanden
Denen geht es ja genau darum, dass die VMs ohne (viel) Unterbrechung weiter laufen, auch wenn ich grad nicht erreichbar bin.

Ich neige zu 25G und iscsi ...

QDevice: danke für den Reminder, ist mir bewusst. 3. Device im LAN machbar, habe mehrere Debian-Server etc / das wird schon.

Snapshots auf shared LVM: beim Bestandskunden war das zu Anfang so: "brauchen wir nicht, kein Problem", und dann wollten sie es innerhalb von 2 Wochen doch Dort nutzen wir das seitdem, ohne Probleme (irgendein Häkchen muss gesetzt sein, das müsste ich nachschlagen).

Von den Kosten her bedeutet es ja eine Art Verlagerung: ich brauche in den Nodes keinen großen Storage-Controller mehr, keinen Platten-Käfig für zB 16 Slots, keinen extra Kabelsatz. Das Geld dafür kann dann ins SAN und die benötigten Steckkarten wandern ...

Als Orientierung: für die Nodes planen wir, refurbished Server einzusetzen, mit neuen SSDs drin. Dh. auch beim SAN ist refurbished eine Option ...

(Ich schaffe auch ein NAS für Backups an, aber schon klar, so eine Hardware ist nichts für produktives Shared Storage)

Danke @Bu66as für die flotte erste Antwort!

 

[LnxBil]

FC ist nicht falsch, aber wenn ihr eh komplett neu kauft, ist FC für zwei Nodes meist der teuerste Weg (HBAs, zwei Switches, Optiken, oft noch Lizenzen). Mit 25G Ethernet und iSCSI oder NVMe/TCP landest du beim gleichen Shared LVM und sparst deutlich. Bei zwei Nodes kannst du das SAN je nach Modell sogar direkt anstöpseln ohne Switch dazwischen.

Die meistens FC-SANs, die ich in der letzten Zeit verkauft habe sind bereits mit 4 FC-Ports pro Kontroller ausgestattet und man kann es direkt verkabeln - wie im Beispiel mit iSCSI auch. Switch benötigt man dabei nicht. Da FC hier meist mit 32 Gb daherkommt ist es bei wahrscheinlich höheren Kosten aber auch schneller als 25 Gb. Im Endeffekt musst du genau ausrechnen was dann günstiger ist. Je nach Tagespreisen kann es mal das eine und mal das andere sein. Ob iSCSI oder FC macht hier keinen technologisch keinen Unterschied, da beides dann Inselnetze sind und technisch beide als LVM zur Verfügung gestellt werden.

Rechne dir alternativ zu 2 Nodes + SAN auch mal 3 Nodes mit CEPH aus. Je nach Redundanzlevel der Platten im SANs kann das u.U. vergleichbar im Preis sein und damit hast du anständiges HA mit mehr Redundanzen, bessere Lesegeschwindigkeit UND Features wie Thin Provisioning , Snapshots und Komprimierung. Das steht und fällt aber damit was du genau willst. Alles ist leider nicht so leicht rauszufinden und ein sehr kundenwünschenorientieres Problem.

Ich schaffe auch ein NAS für Backups an, aber schon klar, so eine Hardware ist nichts für produktives Shared Storage)

Das wäre dann auch dein Ort für das QDevice.

 

[Bu66as]

Refurbished bei den Nodes ist fein, beim SAN würd ich's mir gut überlegen. Das Ding ist dein einziger SPOF und beim Kunden kann keiner was tauschen. Wenn refurb, dann nur mit laufendem Ersatzteil-/Supportvertrag und einem Modell, das noch Firmware bekommt. Ein Controller-Defekt ohne Ersatzteil ist echt nicht lustig, wenn du gerade nicht erreichbar bist.

Das Häkchen, das du suchst, ist snapshot-as-volume-chain am Storage, also pvesm set <storage> --snapshot-as-volume-chain 1.

Ceph lohnt sich preislich durchzurechnen, aber denk beim Vergleich auch an den Betrieb. Kein Know-how beim Kunden und du nicht immer greifbar: ein Dual-Controller-SAN mit iSCSI ist halt langweilig und wartungsarm, Ceph will betreut werden (Upgrades, OSD-Tausch, Recovery wenn ein Node fehlt).

Eine Sache würd ich mit den GFs noch klären: HA heisst, die VMs werden nach dem Fencing auf dem anderen Node neu gestartet, also ein paar Minuten weg plus Bootzeit. Reicht für "ohne viel Unterbrechung" meistens locker, aber das sagt man besser vorher als hinterher.

 

[sgw]

@LnxBil danke!

@Bu66as Das war auch mein Gedanke: SAN lieber neu, weil wichtig. Und auch, weil das SAN dann länger in Betrieb bleiben soll, während man dann die refurbished Nodes Schritt für Schritt ersetzt etc. (vielleicht dann in 1-2 Jahren auch mal neu gekaufte Nodes. Jetzt geht es mal um Einführung Virtualisierung, Ablösung physische Kisten)

Das Häkchen sagt mir nix, aber vielleicht, weil wir das damals eher im GUI gesetzt haben? Lange nicht angesehen, der dortige "junior admin" (nennen wir ihn so) ist soweit zufrieden.

Ceph: lieber nein. So langweilig und robust wie möglich, exakt.

Etwas konkreter: dh. ich brauche pro Node 1-2 x 25Gb NIC drin? Und in Stufe 1 (2 Nodes, 1 SAN) kann ich evtl direkt anschließen? Hast Du da ein konkretes Beispiel für so ein Gerät? Ahja, allzu viel Storage brauchen wir erstmal gar nicht. Für Phase1 komme ich mit 5-8 TB netto locker durch. Dies nur am Rande.

Failover-Info an GFs: ja, guter Punkt. Evtl hab ich denen heute gesagt, das geht ohne Unterbrechung ;-) *hust*