Migration im 3 Node Cluster

[mpatzwah]

Hallo zusammen,
ich habe einen 3 Node Cluster (7.1.6) und würde gerne eine VM auf einen anderen Node verschieben. Das scheitert daran, dass es dort keine Platte mit gleichem Namen gibt.
Wenn ich aber versuche dort eine LVM Gruppe mit gleichem Namen anzulegen, sagt er (sie?) die gibt es schon.(auf dem ersten Knoten, lokal nicht)
Was mache ich falsch?
Ich habe ca 2 SSD und 2 HDDs in jedem Cluster. Soll ich die zu einer LVM Gruppe zusammenfassen, damit das nicht mehr passiert?
Ja ist evtl eine doofe Frage, aber ein Mitarbeiter der das bisher gemacht hat mich verlassen und jetzt darf ich es selber machen

Danke, Marco

 

[mpatzwah]

Ich finde in den Anleitungen auch nichts bzgl Empfehlungen was man im Cluster für Systeme (LVM LVM-thin oder zfs) verwenden soll

 

[aaron]

Wenn ich aber versuche dort eine LVM Gruppe mit gleichem Namen anzulegen, sagt er (sie?) die gibt es schon.(auf dem ersten Knoten, lokal nicht)
Was mache ich falsch?

Hast du die "Add Storage" Checkbox aktiv? Deaktiviere diese. Denn bei der ersten Node wird das Storage automatisch angelegt, deshalb schreiben die weiteren in dem Fall. Da das Storage nur auf die erste Node limitiert wird, musst du dann noch unter Datacenter->Storage die Node Limitierungen bei diesem Storage noch anpassen, wenn es auch auf anderen verfügbar ist.

EIne Live Migration mit den VMs nur auf lokalen Disken funktioniert unabhängig vom Storagetyp. Allerdings kann ZFS ganz nützlich sein, wenn du die VM Replication verwendest. Dazu musst du auf den beteiligten Nodes ein ZFS Storage mit dem jeweils gleichen Namen haben. Wenn nun eine VM repliziert wird, muss nicht mehr die gesamte Festplatte bei einer Live Migration übertragen werden, sondern nur die Differenz seit der letzten erfolgreichen Replication.

 

[mpatzwah]

also die [] Shared Checkbox anwählen ? das mit dem ZFS klingt ja super. Jetzt habe ich im Schnitt 3 - 5 Platten/SSD´s je Node. Die lege ich alle als zfs1 ... zfs5 und zfs6 - bis zfs9 und zfs10-14 an?
Da ich schon VM´s auf den Platten habe ziehe ich da nach und nach um (1 Node ist derzeit komplett leer)
Kann man die Platten (z.B. 2 SATA und eine SSD) zu einem großen ZFS Laufwerk zusammenfassen? Ja ich weiß Ausfallsicherheit uns so, aber die meisten VM´s sind Schulungsmaschinen, wenn da eine Hops geht, so what ...

danke für die Hilfe !!!!

 

[mpatzwah]

Eine Platte habe ich jetzt als ZFS angelegt, die wird aber im Datacenter / Storage nicht angezeigt

 

[aaron]

Ich habe die "Add Storage" Checkbox gemeint, wenn du ein neues lokales Storage erstellst, Das geht in einem Cluster bei der ersten Node, aber bei allen weiteren musst du diese deaktivieren, da die dazugehörige Storage Config die PVE mitteilt, dass hier etwas ist (LVM, ZFS, ....) schon erstellt wurde. Du musst sie dann nur noch auf die Nodes ausweiten, die das gleiche haben.

Die "Shared" Checkbox sollte es nur bei Storages vom Typ Directory geben und sagt PVE nur, dass was immer an diesem Pfad liegt, von allen Nodes im Cluster gesehen werden kann. Praktisch falls man manuell ein Netzwerkshare oder anderes Cluster File System eingebunden hat, das nicht nativ unterstützt wird.

Ich würde nicht für jede Platte einen eigenen ZFS Pool erstellen. Wenn dir die Ausfallsicherheit egal ist da es sich um wegwerfsysteme handelt die darauf liegen, du aber den ganzen Platz direkt ohne Redundanz verwenden willst, dann mach einen großen ZFS Pool aus allen Disken (RAID 0 in der GUI).

Vorgehensweise wäre dann:

Erste Node: ZFS Raid 0 erstellen. Storage mit dem gleichen Namen sollte auch erstellt werden.
Jede weitere Node: ZFS Pool mit den gleichen Einstellungen und Namen erstellen, aber die Checkbox "Add Storage" deaktivieren.

Sobald du alle Nodes durch hast, unter Datacenter -> Storage dieses Storage bearbeiten. Entweder die Nodes in die Liste der Nodes aktivieren, oder wenn es eh alle Nodes im Cluster sind, alle deselektieren damit es für alle gilt. Kurz darauf sollte dann in der Tree View links das Storage bei den anderen Nodes auftauchen. Wenn das Fragezeichen nicht weg geht, dann kann die Node nicht den passenden ZFS Pool bei sich finden.

Ich hoffe das erklärts.

 

[mpatzwah]

Nochmals Danke,
Raid 0 steht bei mir nicht zur Verfügung nur
Single Disk, Mirrot, RAID10, Raidz,Raidz2,Raidz3

 

[aaron]

stimmt, dann manuell mit zpool create <name> -o ashift=12 -o compression=on /dev/disk/by-id/<disk1> /dev/disk/by-id/<disk2> ..... Dann musst du danach unter Datacenter -> Storage manuell das ZFS Storage hinzufügen.

 

[mpatzwah]

Mit
ashift=12 -O compression=lz4
habe ich es durchgebracht, ZFS erscheint in meinem Node, aber nicht im Datacenter
Add ZFS => ID ?
ZFS Pool ist leer

Sorry, wenn ich immer wieder nerve ....

 

[aaron]

Die ID darfst du frei vergeben, darunter kennt dann PVE den Pool. Default wäre auch hier den Pool Namen zu nehmen. Wenn du das Drop Down bei ZFS Pool auf machst, sollte er dir den neu erstellten Pool anzeigen, und was du sonst noch eventuell an ZFS Datasets hast.

Haben alle Nodes schon den Pool? Wenn nicht, bist du auf der GUI der Node die den Pool hat?

 

[mpatzwah]

Nun habe ich auf zwei Knoten ZFS Pool installiert (Name: pve-zfs)
zfs list
NAME USED AVAIL REFER MOUNTPOINT
pve-zfs 456K 922G 96K /pve-zfs

Nur in der GUI heisst der Pool 'zfs'. Bei der Migration einer VM auf diesen Knoten sagt er/sie pve-zfs gibt es nicht.

Danke
Marco

PS: Sorry für die späte Rückmeldung, war im Urlaub