[SOLVED] RaidZ1-Festplattenverbund partitionieren für partielle HA-Synchronisation

[Sixty-Nine]

Hallo zusammen,

ich versuche gerade einen Cluster aus 3 Nodes aufzubauen, die jeweils ein PVE-Boot-RAID(Mirror) plus zwei Daten-Raid-Systeme haben (eines aus schnellen SSDs und eines aus großen HDDs). Alle Nodes sind unterschiedlich ausgestattet. Mein Ziel wäre es, aus dem SSD-Raid-Verbund jedes Nodes einen einheitlichen Teil (4 TB) abzuspalten, so dass dieser als HA-Verbund über alle Nodes synchronisiert werden kann, und den Rest der SSDs für nicht HA-VM's zu nutzen. Ich scheitere daran, die Disks so zu partitionieren, dass ich einen einheitlichen HA-Bereich schaffen kann.

Konkret:
Node 1: SSD (Mirror) aus 2*7,78TB = 7,68 TB nutzbar. Hier sollen 4 TB in den HA Bereich, der verbleibende Bereich von 3.68 TB für nicht-HA VMs.
Node 2: SSD (RAIDZ1) aus 4*4TB = 12 TB nutzbar. Hier sollen 4 TB in den HA Bereich, der verbleibende Bereich von 8 TB für nicht-HA VMs.
Node 3: SSD (RAIDZ1) aus 4*3,6TB = 10,8 TB nutzbar. Hier sollen 4 TB in den HA Bereich, der verbleibende Bereich von 6,8 TB für nicht-HA VMs.

Bei der Ersteinrichtung habe ich nur die Boot-Drives als Mirror-Raid ausgewählt, welche unabhängig vom Daten-SSD Raid sind. Nach PVE Basis-Einrichtung finde ich keinen Weg, erstmal nur einen Teil der weiteren Disks einem ZFS-RAIDZ1 zuzuordnen, sondern es werden immer die komplette Disk verwendet.

Kann mir hier bitte jemand helfen?

Danke Euch vorab.

 

[Falk R.]

Warum willst du das denn extra aufteilen?
Die Replikation läuft eh immer auf VM Basis und die verbraucht halt so viel, wie da Daten drin sind.
Eine extra fixe Trennung wäre da ja eher hinderlich.
Probleme bekommst du eher mal durch die unterschiedliche Performane des Mirror und den beiden RaidZ.

Falls du aber unbedingt (warum auch immer) getrennte ZFS Pools haben möchtest, musst du die SSDs partitionieren und dir Pools aus den jeweiligen Partitionen bauen. Aber Vorsicht, die Pools beeinflussen sich dann immer bei der Performance.

 

[Sixty-Nine]

Danke Dir für die schnelle Antwort.

Ich hatte geplant, die HA mit einem Ceph zu kombinieren, welches dann die drei dedizierten Partitionen auf allen drei Nodes synchron halten soll. Als ich probiert habe, das einzurichten, wurde beim Einrichten von OSD eine ungenutzte Festplatte benötigt, die dann nicht mehr verfügbare war.

Was wäre denn die empfohlene Vorgehensweise, wenn man nur einzelne (wenige) VMs als HA auf verschiedenen Nodes ohne zentrales SAN bereitstellen will, wobei sich alle Nodes hinsichtlich Memory und SSD-Disks unterscheiden?

 

[Falk R.]

Du kannst bei Ceph auch verschiedene Disks haben. Dann hat das aber nix mehr mit ZFS zu tun und du musst dich entscheiden ob du eine Disk für Ceph oder ZFS nutzen willst. Ceph braucht auch ein schnelles Netzwerk, mit GBit brauchst du da gar nicht anfangen.
HA und Live Migration geht aber auch mit ZFS Replikation.