Probleme mit ZFS zur Clustererstellung

[jaja55]

Hallo,
habe Probleme mit dem ZFS und komme nicht weiter. Ich nehme an das ich bei der Einrichtung der Laufwerke ein Fehler gemacht habe und hoffe der ist noch zu korrigieren.
Habe 2 Knoten wie folgt eingerichtet:



Irgendetwas habe ich wohl falsch gemacht. Die Replizierung läuft durch. Aber nur im Log-



Hoffe ich kann irgendetwas an der Konfiguration ändern, um es zum Laufen zu bringen. Bei PVE2 hatte ich bei der Installation extra nur die halbe Platte formatiert, um ein ZFS Laufwerk anzulegen. Das geht aber nicht im Anschluss, da er sagt, es gibt kein Platz mehr für eine Partition.
Wie ihr an meinen Fragen merkt, habe ich nicht wirklich Ahnung von dem, was ich hier tue. Hoffe, ihr könnt mir dennoch helfen. Danke im Voraus!

 

[Falk R.]

Was genau ist dein Problem?
Du schreibst was von ZFS, dann postest du einen Screenshot vom Clusterstatus und dann hast du irgendwelche Probleme mit Replikation und Partition.
Eventuell beginnst du mal am Anfang, was du erreichen möchtest und dann beschreibst du was davon nicht funktioniert.

 

[jaja55]

Sorry für die Unklarheit.
Ziel ist ein Cluster aus 2 Rechnern mit Quarum Device (Rasp)
Um dies zu testen, wollte ich zuerst einfach eine Replikation anstoßen. Das funktioniert nicht und ich dachte, die Ursache ist, dass ich, das ZFS nicht richtig angelegt habe um es von beiden Knoten aus zu nutzen. Welche Informationen werden noch benötigt ?
Vielleicht hilft das:

 

[Falk R.]

Wenn das local-zfs auf beiden Hosts existiert und die sich über das Replikationsnetzwerk erreichen, funktioniert das.
Die ZFS Pools müssen bei der Replikation auf allen Hosts identische Namen haben.
P.S. Ich würde auf dem Datastore Thin Provisioning aktivieren.

 

[jaja55]

local-zfs existiert auf beiden Hosts. Der Name ist rpool auf beiden Knoten. Dennoch wird der Speicher nicht geshared.
Das Problem entstand dadurch, das ich zfs bei der Installation angegeben habe -
Hatte vor Jahren schon mal ein Cluster am Laufen. Wenn ich mich recht erinnere, musste ich am 2. Knoten "Create ZFS" aber nicht "Add Storage" angeben.

Dahin kam ich diesmal aber nicht, da er ZFS bei der Installation angelegt hat.

Kann ich das Problem lösen oder sollte/kann ich auf dem unformatierten Teil ein neues ZFS anlegen?
Problem wird dann sein, das ich die Namen ändern muß, da das neue ZFS ja in den pool muß.

Denke mal, das ist das Problem oder bin ich auf dem Holzweg ?
Danke für eure Unterstützung.

 

[Falk R.]

Also du musst kein ZFS Bauen, was gar nicht geht, weil du ZFS schon nutzt.
ZFS ist RAID, Volumemanager und Dateisystem in einem.
Um ZFS Replikation zu nutzen brauchst du nur einen identischen ZFS Pool. Datasets (Dateisysteme) brauchst du keine anlegen.
Der Pool heißt rpool und ist so wie es aussieht auch identisch eingehängt.
Wo ist denn das Problem beim replizieren? Eventuell noch alte Images auf der Zielseite?

 

[thearona]

Erwartest du, dass die VMs auf beiden Servern in der Übersicht ersichtlich sind?

Sonst einfach mal den ZFS Eintrag links anklicken > VM Disks und dort sollte bei beiden Servern die VM Disk drin ersichtlich sein (belegt somit auch auf beiden Server Speicher).

 

[jaja55]

es sind 2 Speicher ! habe jetzt mal alles von PVE2 gelöscht.

 

[Falk R.]

Sieht soweit normal aus, jetzt einfach unter Replikation einmal einstellen wie oft synchronisiert werden soll.

 

[jaja55]

Leider läuft es so nicht !
Im log kann ich keinen Fehler sehen, aber auf Pve2 kommt nichts an.

Header
Proxmox
Virtual Environment 8.4.14
Knoten 'proxmox25'
Logs
()
2025-11-08 22:14:02 100-0: start replication job
2025-11-08 22:14:02 100-0: guest => CT 100, running => 1
2025-11-08 22:14:02 100-0: volumes => local-zfs:subvol-100-disk-0
2025-11-08 22:14:04 100-0: freeze guest filesystem
2025-11-08 22:14:04 100-0: create snapshot '__replicate_100-0_1762636442__' on local-zfs:subvol-100-disk-0
2025-11-08 22:14:04 100-0: thaw guest filesystem
2025-11-08 22:14:04 100-0: using secure transmission, rate limit: none
2025-11-08 22:14:04 100-0: full sync 'local-zfs:subvol-100-disk-0' (__replicate_100-0_1762636442__)
2025-11-08 22:14:05 100-0: full send of rpool/data/subvol-100-disk-0@__replicate_100-0_1762636442__ estimated size is 10.6G
2025-11-08 22:14:05 100-0: total estimated size is 10.6G
2025-11-08 22:14:05 100-0: TIME        SENT   SNAPSHOT rpool/data/subvol-100-disk-0@__replicate_100-0_1762636442__
2025-11-08 22:14:06 100-0: 22:14:06   2.17M   rpool/data/subvol-100-disk-0@__replicate_100-0_1762636442__
............................
2025-11-08 22:15:44 100-0: 22:15:44   10.5G   rpool/data/subvol-100-disk-0@__replicate_100-0_1762636442__
2025-11-08 22:15:45 100-0: 22:15:45   10.6G   rpool/data/subvol-100-disk-0@__replicate_100-0_1762636442__
2025-11-08 22:15:46 100-0: successfully imported 'local-zfs:subvol-100-disk-0'
2025-11-08 22:15:48 100-0: end replication job

 

[Impact]

Wie prüfst du das? Teile mal die Ausgabe von dem auf pve2

zfs list -t all -ospace

 

[jaja55]

zfs list -t all -ospace

root@pve2:~# zfs list -t all -ospace
NAME                                                         AVAIL   USED  USEDSNAP  USEDDS  USEDREFRESERV  USEDCHILD
rpool                                                         182G  10.2G        0B     96K             0B      10.2G
rpool/ROOT                                                    182G  2.30G        0B     96K             0B      2.30G
rpool/ROOT/pve-1                                              182G  2.30G        0B   2.30G             0B         0B
rpool/data                                                    182G  7.87G        0B     96K             0B      7.87G
rpool/data/subvol-100-disk-0                                 12.1G  3.91G        0B   3.91G             0B         0B
rpool/data/subvol-100-disk-0@__replicate_100-0_1762636442__      -     0B         -       -              -          -
rpool/data/subvol-101-disk-0                                 12.0G  3.96G        0B   3.96G             0B         0B
rpool/data/subvol-101-disk-0@__replicate_101-0_1762638302__      -     0B         -       -              -          -
rpool/var-lib-vz                                              182G   120K        0B    120K             0B

und der vollständigkeit noh die Ausgabe von proxmox25:

root@proxmox25:~#  zfs list -t all -ospace
NAME                                                         AVAIL   USED  USEDSNAP  USEDDS  USEDREFRESERV  USEDCHILD
rpool                                                         120G   103G        0B    104K             0B       103G
rpool/ROOT                                                    120G  4.61G        0B     96K             0B      4.61G
rpool/ROOT/pve-1                                              120G  4.61G        0B   4.61G             0B         0B
rpool/data                                                    120G  62.9G        0B    112K             0B      62.9G
rpool/data/subvol-100-disk-0                                 12.1G  3.91G     4.77M   3.91G             0B         0B
rpool/data/subvol-100-disk-0@__replicate_100-0_1762636442__      -  4.77M         -       -              -          -
rpool/data/subvol-101-disk-0                                 12.0G  3.96G      316K   3.96G             0B         0B
rpool/data/subvol-101-disk-0@__replicate_101-0_1762638302__      -   316K         -       -              -          -
rpool/data/subvol-103-disk-0                                 5.63G  2.55G      183M   2.37G             0B         0B
rpool/data/subvol-103-disk-0@__replicate_103-0_1761681606__      -   183M         -       -              -          -
rpool/data/subvol-105-disk-0                                  802M  1.22G        0B   1.22G             0B         0B
rpool/data/subvol-111-disk-0                                 12.1G  3.90G        0B   3.90G             0B         0B
rpool/data/vm-104-disk-0                                      120G    56K        0B     56K             0B         0B
rpool/data/vm-104-disk-0@__replicate_104-0_1761687908__          -     0B         -       -              -          -
rpool/data/vm-104-disk-1                                      120G  5.02G      823M   4.22G             0B         0B
rpool/data/vm-104-disk-1@__replicate_104-0_1761687908__          -   823M         -       -              -          -
rpool/data/vm-108-disk-0                                      120G     3M        0B     56K          2.95M         0B
rpool/data/vm-200-disk-0                                      120G    56K        0B     56K             0B         0B
rpool/data/vm-200-disk-1                                      120G  42.3G        0B   42.3G             0B         0B
rpool/var-lib-vz                                              120G  35.2G        0B   35.2G             0B         0B

 

[jaja55]

Sind die doch übertragen worden?
Sehe links in der Serveransicht nichts !

 

[Impact]

Hier gab es wohl ein Missverständnis was die Replikation macht: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_pvesr

It replicates guest volumes to another node

Ein Gast existiert generell nicht gleichzeitig auf mehreren Nodes in einem Cluster. Replikation repliziert Speicher, Migration migriert Gäste bzw. dessen Konfiguration.
Du kannst die replizierten Volumes übrigens auch in der Sidebar des Speichers sehen.

 

[jaja55]

DANKE !! Hatte das echt falsch in Erinnerung. Dachte die Gäste sind auf beiden Hosts zu sehen und fahren nur hoch wenn einer ausfällt. Also Prinzipiell läuft also alles. Dennoch habe ich ein paar Fragen in dem Zusammenhang.
1.) durch das rumspielen gibt es noch 2 Replizierungseinträge die sich nicht löschen lassen. ( ist wohl eher kosmetik )

2.) bei der Einrichtung hatte ich nur die hälfte der Platte Formatiert bzw. für ZFS bereit gestellt.
- kann ich den Speicher nachträglcih dem loal-zfs(pve2) zuweisen oder eine weiteres zfs Laufwerk erstellen ?

3.) beim zurückspielen eines Gastes bekomme ich folgende Warung:

Warning: volblocksize (8192) is less than the default minimum block size (16384).
To reduce wasted space a volblocksize of 16384 is recommended.
new volume ID is 'local-zfs:vm-106-disk-0'
Warning: volblocksize (8192) is less than the default minimum block size (16384).
To reduce wasted space a volblocksize of 16384 is recommended.
new volume ID is 'local-zfs:vm-106-disk-1'

-kann ich dabei was ändern oder kann ich es ignorieren ?

4.) mein wahrscheinlich größtes Problem. Speicher auf PVE2.
Beim Starten der VM bekomme ich folgenden Fehler:

kvm: cannot set up guest memory 'pc.ram': Cannot allocate memory
TASK ERROR: start failed: QEMU exited with code 1

meine wichtigste VM braucht mehr Speicher. Siehe Bilder:







- Kann ich irgendwie swap oder KSM Sharing einrichten, dass diese VM da im Notfall läuft, oder brauche ich mehr physikalischen Speicher ?

Danke für Eure Geduld und Verständnis für meine Unwissenheit !