Promox: PVE 1 hat den Storage PVE 2 und 3 sollen darauf zugreifen

[olafj]

Ich habe die ganze Zeit einen PVE gehabt, in dem der ZFS Storage für die Daten der Container und VMs sind. Die Container selbst laufen auf einer extra SSD. Nun habe ich einen 2 PVE hinzufügt als Cluster. Auch dieser hat eine 2. SSD für die Container. Auf der SSD habe ich einen ZFS Pool erstellt, der den gleichen Namen hat. Damit kann ich dann die Container verschieben. Einige Container haben den Storage auf einen Festplattenpool mit ZFS ausgelagert, der in PVE1 steckt. Auf diesen kann ich aber mit PVE2 nicht zugreifen, da ZFS Pools scheinbar nicht gesharet werden können.

Inn der Proxmox Doku habe ich schon ein wenig herumgewühlt werde aber nicht schlau daraus. Wenn ich in PVE2 ebenfalls Paletten für einen ZSF Pool steck und diesen so benennen wie auf PVE1 kann ich dann auf beiden den gleichen Datenbestand haben? Also Synchronisieren? Oder macht es mehr Sinn ein TrueNas oder OMV aufzusetzten und die PVEs darauf, zugreifen zu lassen, um die Daten abzulegen? Ist aber der locale Storage in jedem PVE nicht ausfallsicherer?

Was meint ihr?

 

[Dunuin]

ZFS ist kein Shared Storage. Es ist nur ein Local Storage der über Replikation jede Minute oder so synchronisiert wird. Deine Gäste greifen also nie auf genau die gleichen Daten zu, da die Pools nie perfekt synchronisiert sind.
Wenn sich diene Gäste die Daten teilen sollen, solltest du lieber mit Ceph oder NFS/SMB Shares arbeiten, was richtige Shared Storages sind.
Bei NFS/SMB hast du aber natürlich auch wieder einen Single Point of Failure. Fällt der Node mit dem NFS/SMB Server aus, kommen die anderen Nodes nicht mehr an die Daten.

 

[pneubert]

Hi, am besten lässt sich das ganze umsetzen wenn du zum 2 Knoten noch einen 3 Knoten hast.
Damit kannst du dann einen Ceph Storage aufsetzten bedenke aber das du im bestem Fall in allen Knoten die
gleiche Speicherkapazität hast. Wenn du jetzt in jedem Knoten eine 3,84 TB NVMe hast kannst du auch nur insgesamt 3,84 TB nutzen.

 

[olafj]

Das Dateisystem kann dann aber ZFS bleiben? Es würden dann ja alle Gäste auf den gleichen Datenbestand zugreifen. Ceph ist neu für mich. Iscsi oder NFS und Samba sind klein Problem.

Hi, am besten lässt sich das ganze umsetzen wenn du zum 2 Knoten noch einen 3 Knoten hast.
Damit kannst du dann einen Ceph Storage aufsetzten bedenke aber das du im bestem Fall in allen Knoten die
gleiche Speicherkapazität hast. Wenn du jetzt in jedem Knoten eine 3,84 TB NVMe hast kannst du auch nur insgesamt 3,84 TB nutzen.

Das mit der Speicherkapazität ist kein Problem, ist ha beim Raid jetzt das selbe. Ist Chep ein Dateisystem oder nur einen Storageanbindung wie SMB oder NFS?

 

[Dunuin]

Wenn du jetzt in jedem Knoten eine 3,84 TB NVMe hast kannst du auch nur insgesamt 3,84 TB nutzen.

Außerdem nicht vergessen genug OSDs als Reserve zu haben. Fällt ein Node aus, muss auf den anderen 2 Nodes genug Kapazität vorhanden sein, dass sich die 3 Kopien auf die 2 Nodes neuverteilen können.