Shared offline Storage?

[DocMAX]

Ich würde gerne Proxmox auf mehreren Geräten als Cluster installieren. Mir schwebt dabei vor auf allen einen zentralen Windows Guest zu starten.
Nun würde ich gerne das Image auf allen Nodes irgendwie jeweils lokal haben wollen.

Gibt es eine Möglichkeit mit den ganzen Storage Protokollen das Image auf allen Nodes "synchron" zu halten? Einige Nodes könnten natürlich offline sein, während ich Änderungen im Image mit einem anderen Node mache. Sobald der Offline Node wieder online ist, soll er alle Änderungen am Image mitbekommen und wieder "synchron" sein.

Hoffe ihr versteht was ich meine. Wäre ein Traum sowas zu verwirklichen, denn ich will für alle meine Geräte wirklich immer nur EIN Windows.

Gruss
DocMAX

 

[Falk R.]

Du willst eine VM und der Datenstand soll auf mehrere Rechner verteilt werden.
Wenn du das möchtest, dann einfach ZFS Replikation nutzen. Auf allen Hosts einen ZFS Pool anlegen mit identischem Namen, dann die VM auf einem Host betreiben und Replikation zu einem oder notfalls mehreren Hosts einrichten. Du kannst die VM dann im laufenden Betrieb auf andere Hosts migrieren und die Replikation dreht sich dann automatisch.

 

[DocMAX]

Du willst eine VM und der Datenstand soll auf mehrere Rechner verteilt werden.
Wenn du das möchtest, dann einfach ZFS Replikation nutzen. Auf allen Hosts einen ZFS Pool anlegen mit identischem Namen, dann die VM auf einem Host betreiben und Replikation zu einem oder notfalls mehreren Hosts einrichten. Du kannst die VM dann im laufenden Betrieb auf andere Hosts migrieren und die Replikation dreht sich dann automatisch.

Das klingt schonmal gut - danke! Jetzt ist die große Frage was passiert, wenn ich die VM auf 2 Host gleichzeitig starten will? Das logischte wäre eine Fehlermeldung, dass die VM bereits gestartet ist und die Platte damit gesperrt ist. Wenn es keine Fehlermeldung gibt, was ich mir schwer vorstellen kann, wie würde ZFS mit den geänderten Daten auf beiden VMs reagieren?

 

[fabian]

ein gast kann nie auf mehreren nodes gleichzeitig laufen (er "gehört" immer genau einem node), ausser es wird händisch an den quorumsregeln rumgepfuscht und es liegt ein split brain vor.

 

[DocMAX]

Alles klar danke, dann mach ich mich mal ans Werk. Wenn das wirklich so klappt wie ich mir das vorstelle, also auf allen meinen Geräten PVE installieren und in Zukunft immer nur EIN Windows/OS (mit GPU Passthrough usw.) zu haben, muss ich wirklich an eine Subscription nachdenken. Bin da momentan ein ganz heisser Kandidat und total angetan von PVE.

 

[DocMAX]

Hmm, habe ZFS ausprobiert, ist aber nicht 100% was ich mir vorstelle. Ich kann die VM ja immer nur aus EINER Maschine haben und muss sie immer wieder hin- und her "migrieren".
Was funktioniert ist wenn ich alle Platten auf einem NFS Share installiere und teile. Ich kann BEIDE VMs mit jeweils verschiedenen Kofigurationen auf 2 Nodes haben. Sogar das gleichzeitige Starten geht (!). Ich schätze aber dabei wird Datenkorruption entstehen oder?

 

[Falk R.]

Hmm, habe ZFS ausprobiert, ist aber nicht 100% was ich mir vorstelle. Ich kann die VM ja immer nur aus EINER Maschine haben und muss sie immer wieder hin- und her "migrieren".
Was funktioniert ist wenn ich alle Platten auf einem NFS Share installiere und teile. Ich kann BEIDE VMs mit jeweils verschiedenen Kofigurationen auf 2 Nodes haben. Sogar das gleichzeitige Starten geht (!). Ich schätze aber dabei wird Datenkorruption entstehen oder?

Du hast es erfasst. Eine VM kann es immer nur einmal geben. Die Systeme erlauben den Datensalat gar nicht, den du dir ausgedacht hast.

 

[Dunuin]

Du hast es erfasst. Eine VM kann es immer nur einmal geben. Die Systeme erlauben den Datensalat gar nicht, den du dir ausgedacht hast.

Sogar das gleichzeitige Starten geht (!). Ich schätze aber dabei wird Datenkorruption entstehen oder?

Genau. Außer man umgeht es indem man sich zwei VMs mit unterschiedlichen VMIDs macht und beide die gleichen virtuellen Disks nutzen lässt, was dann Datenkorruption verursacht, da ein Blockdevice ohne entsprechendes Clustered Dateisystem immer nur von einem OS benutzt werden kann. Wenn man immer nur eine von beiden VMs laufen hat, kann das zwar klappen, dann müsstest du dir aber schon selbst irgendwelche clusterweiten Hook-Scripte bauen, dass das nicht ausversehen möglich ist, dass man auf verschiedenen/gleichen Nodes beide VMs gleichzeitig starten kann.

 

[DocMAX]

Was wäre das effizienteste und geeignete Netzwerk Storage für meinen Usecase? Bisher habe ich qcow2 Images auf einem NFS Share. Ich habe gelesen dass ZFS auch NFS eingebaut hat.

 

[Dunuin]

ZFS wäre alles andere als effizient. Da geht es mehr um Features und Datenintegrität. Und NFS ist auch nicht richtig eingebaut. Du kannst zwar ZFS Datasets über ZFS mit NFS bereitstellen lassen, den NFS Server musst du dir aber trotzdem selbst einrichten (und PVE hat keinerlei NAS Features über das webUI, also geht das mit NFS alles über die CLI).

 

[DocMAX]

Hab mir jezt was Elegantes einfallen lassen nachdem ich das mit den Datasets verstanden habe. Einfach ein Dataset für NFS angelegt und freigegeben. Damit habe ich NFS und die Vorzüge von ZFS. Ziemlich geil bisher.

ChatGPT mein man könnte ein zpool einfach über das Netwerk Sharen was ja ziemlich cool wäre:
zpool export mypool; zpool import -d tcp:1.2.3.4 ... aber sowas geht nicht und es ist auch nicht dokumentiert.
Weiss da jemand was vielleicht mit einem anderen Dateisystem?