Setup Frage und ein Verständnisproblem :-)

MarioProx

New Member
Aug 26, 2020
6
1
1
52
Hallo Zusammen,

ich bin seit einiger Zeit in der Planung meine Raspis und Rock64 Geräte mit einer Virtualisierung abzulösen. Dabei bin ich über Proxmox gestolpert und möchte damit jetzt gerne in die Umsetzung gehen. Da ich jedoch erst am Anfang mit Proxmox stehe und viele Dinge wohl noch nicht wirklich verstehe, wollte ich vor dem Start einmal nach Empfehlungen für die Umsetzung fragen um nicht später alles ändern zu müssen wenn all die Dinge auffallen die ich heute noch nicht kenne.

Hardware Ausgangssituation (Budget erschöpft, aktuell keine Erweiterung machbar wegen Veto meiner Regierung)
2x Intel Nuc8i5BEH mit der identischen Ausstattung wie folgt:
Intel i 5 Prozessor
32GB RAM
1x 1TB Samsung SSD 970 EVO Plus und 1x 1TB Samsung SSD 860 EVO

Möglich wäre noch der zusätzliche Einsatz von 1x PI4, 2x PI3, 2x Rock64 - jeweils mit 120GB USB-SSD

Ziel:
Virtualisierung von 4 Linux Servern welche aktuell auf Raspberry und Rock64 laufen. CPU Last ist bei den Rechnern gering, Speicherauslastung um die 2-3GB. Die Datenänderungsrate auf den Systemen ist Gering und bewegt sich im MB bis max. 1GB Bereich pro Tag.
Ich möchte diese Geräte nun möglichst sicher virtualisieren wobei ein Host als Hardware-Ausfallsicherung dienen soll. Da ich keinen Ausfallsicheren Netzwerk-Storage habe, fällt wohl eine HA Lösung aus. Interessant wäre aber ob man etwas mit Replikation machen könnte oder ob ich einfach nur die Backups von einem Host auf den anderen Schieben sollte.

Hier wäre ich Dankbar für einige Ideen / Ansätze, wie ich mit der aktuellen Hardware etwas sinnvolles, möglichst Ausfallsicheres bzw. schnell zu schwenkendes aufbauen kann.

So nun noch kurz zur Verständnisfrage. Bei meinem Test und Spielereien habe ich jeweils die 2. Festplatte für Backups eingerichtet und den Haken "Verteilt" beim Einbinden aktiviert. Ich dachte nun, dass ich ein Backup vom Host 1 auf die Backup-Platte des Host 2 schreiben könnte (was auch angeboten wird) aber dem ist anscheinend nicht so. Das Backup sehe ich nur auf dem Host 1, obgleich es mir dort auf der Backup-Platte vom Host 2 angezeigt wird. Auf dem Host 2 sehe ich das Backup nicht und finde es auch auf keiner der 2 Backup-Platten???? Wo liegt hier mein Denkfehler.

Vielen Dank schon einmal für eure Zeit und Unterstützung!
Viele Grüße
Mario
 
Zuallererst zur Verständnisfrage: Der "shared"/"Verteilt" Haken macht nicht automatisch, dass die Daten verteilt werden, sondern sagt PVE, dass in diesem Storage etwas ist, auf dass alle Nodes zugreifen können. Wird gebraucht, wenn z. B. ein Netzwerkshare manuell eingebunden ist und dann darauf ein Directory Storage erstellt wurde.

Zur generellen Planung: Du kannst auf beiden Nodes PVE mit ZFS aufsetzen und um die VMs Ausfallsicher zu haben, diese replizieren. Kann auch gerne jede Minute passieren. [0]

Um im Falle eines Ausfalls einer Node noch ein Quorum zu haben und evtl. auch HA verwenden zu können, bietet es sich an, einen der übrigen RPis als externe Stimme im Cluster einzubinden. Das kann mit dem QDevice Mechanismus [1] gemacht werden. Dabei wird auf dem RPi der corosync-qnetd Dienst installiert und auf den Nodes der corosync-qdevice Dienst. Nach dem Einrichten gibt es nun eine dritte Stimme im Cluster und somit kann eine Node offline sein und es gibt noch eine Mehrheit.

[0] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_pvesr
[1] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_corosync_external_vote_support
 
  • Like
Reactions: MarioProx
Hallo Aaron,
danke für die Info. Dann schau ich mal in Richtung ZFS, sieht zwar gefühlt auf den ersten Blick etwas kompliziert aus aber wird mich nicht vom Testen abhalten :-)

Schönen Abend noch!
Mario
 

Sodele, habe mich jetzt einige Tage mit den Beschreibungen vergnügt und bin Begeistert :D:D
Ich werde das wohl wie vorgeschalgen aufsetzten und mit ZFS ein Raid1 aufbauen und über die Replikation die Maschinen mit HA auf beiden Hosts fahren. Habe die Tage mal verschiedene Szenarien getestet und ich glaub das schaut am besten aus.
Gibt es etwas was gegen diese Config sprechen würde?

Warum kann ich mit ZFS auf die Art keine Live-Migration machen? Fahre ich die VM runter geht es sofort aber solange sie an ist, geht es nicht. Die VM liegt auf "local-zfs" und der Fehler kommt wenn die VM per HA auf dem anderen Host hochgefahren wurde. Beim Zurückschieben kommt dann diese Meldung "can't migrate local disk 'local-zfs:vm-101-disk-0': can't live migrate attached local disks without with-local-disks option " aber ich finde nirgends wo ich diese Option einstellen muss / kann.

Danke schonmal für weitere Ideen und Hinweise :)
Schönes Wochenende und viele Grüße
Mario
 
Last edited:
Warum kann ich mit ZFS auf die Art keine Live-Migration machen? Fahre ich die VM runter geht es sofort aber solange sie an ist, geht es nicht. Die VM liegt auf "local-zfs" und der Fehler kommt wenn die VM per HA auf dem anderen Host hochgefahren wurde. Beim Zurückschieben kommt dann diese Meldung "can't migrate local disk 'local-zfs:vm-101-disk-0': can't live migrate attached local disks without with-local-disks option " aber ich finde nirgends wo ich diese Option einstellen muss / kann.
Da sollte die nächsten Tage ein Update des pve-ha-manager Paketes kommen, welches das behebt.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!