Proxmox Cluster (HA)

malkiefer

malkiefer

Member
Proxmox Subscriber
Oct 28, 2020
32
2
13
37
Bayreuth
Guten Morgen,

wir möchten bei einem Kunden gerne ein Proxmox Cluster aufbauen.
Dazu haben wir zwei identische Server, der eine soll der Main Server sein, der andere soll nur zum Einsatz kommen, wenn es zum Ausfall des ersten kommt.

Früher bei VMWare haben wir VEEAM genutzt, um ein Replikat von jeder Maschine zu erstellen.

Was müssen wir beachten, wenn wir die Server jetzt neu konfigurieren?
Die haben aktuell ein RAID 5.

Was wäre hier der bessere Weg, Ceph oder ZFS?
Was ist weiter zu beachten?

Viele Grüße
Malte
 
malkiefer said:
Guten Morgen,

wir möchten bei einem Kunden gerne ein Proxmox Cluster aufbauen.
Dazu haben wir zwei identische Server, der eine soll der Main Server sein, der andere soll nur zum Einsatz kommen, wenn es zum Ausfall des ersten kommt.

Früher bei VMWare haben wir VEEAM genutzt, um ein Replikat von jeder Maschine zu erstellen.

Was müssen wir beachten, wenn wir die Server jetzt neu konfigurieren?
Die haben aktuell ein RAID 5.

Was wäre hier der bessere Weg, Ceph oder ZFS?
Was ist weiter zu beachten?

Viele Grüße
Malte
Click to expand...
Hallo,
für Ceph werden mindestens 3 Nodes gebraucht, ebenso für ein PVE HA Cluster [0]. Für ein 2 Node Setup bietet sich ZFS mit storage replication [1] an, allerdings muss auch hier noch ein quorum device [2] zum Einsatz kommen, sodass beim Ausfall eines Nodes das Cluster funktional bleibt.

[0] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_ha_manager
[1] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_pvesr
[2] https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_corosync_external_vote_support
 
malkiefer said:
Oh man.
Ok, für den quorum device reicht da ein stumpfer Mini Debian PC, der diesen Job wahrnimmt, oder brauche ich da auch einen vollwertigen Server?
Click to expand...
An das QDevice werden nicht besonders hohe Anforderungen gestellt (siehe dazu auch die docs), dennoch ist Hardware welche für 24/7 Betrieb gedacht ist zu empfehlen.
 
malkiefer said:
Dank, das reicht mir.
Kann ich auch mehrere Geräte als QDevice nutzen?
Wie kann ich hier eine Sicherung des QDevice sicherstellen? Reicht hier ein Voll-Image?
Click to expand...
Wegen Ausfallsicherheit? Nein, soweit ich weis ist es nicht möglich mehr als ein QDevice pro Cluster zu verwenden, ein backup sollte reichen, das service verwendet die corosync config.
 
Theoretisch reicht ein RasPi.
ZFS Replikation stelle ich gern auf 1 Minute, dann ist der Verlust im echten HA Fall verschmerzbar, außerdem kann man mit ZFS Replikation auch live Migration für Wartungen nutzen, da wird nur das Delta synchronisiert und die Replikationsrichtung automatisch gedreht. Also deutlich komfortabler als mit vSphere und Veeam.
 
Dank dir Falk.
Also wie wäre genau der ABlauf?
Ich installiere beide Server mit Proxmox und dem Filesystem FS.
Richte ich dann trotzdem ein Cluster ein?
Wie richte ich den Sync ein?
Werden beim Sync auch die *.conf Dateien synchronisiert?
 
- Proxmox installation
- Netzwerk sauber konfigurieren
- Cluster generieren
- ZFS Datastore mit gleichem Namen auf beiden Hosts bauen
- quorum nicht vergessen ;)
- VM Installation
- Replikation für die VM einrichten
- HA konfigurieren
- testen nicht vergessen

Replikation geht einfach auf der GUI bei der VM
 
Last edited:
Falk R. said:
- Proxmox installation
- Netzwerk sauber konfigurieren
- Cluster generieren
- ZFS Datastore mit gleichem Namen auf beiden Hosts bauen
- quorum nicht vergessen ;)
- VM Installation
- Replikation für die VM einrichten
- HA konfigurieren
- testen nicht vergessen

Replikation geht einfach auf der GUI bei der VM
Click to expand...
Entschuldige, dass ich das nochmal aufgreifen muss, hatte nur noch nie das Vergnügen mit ZFS.
Also wäre es besser, wenn ich den Hardware RAID aufsplitte.
Ein RAID 1 mache für das System und die restlichen Platten ohne RAID dann im Proxmox als ZFS Pool einrichte?
 
malkiefer said:
Also wäre es besser, wenn ich den Hardware RAID aufsplitte.
Click to expand...
Besser wäre, überall ZFS zu nutzen. Das ist aber nur sauber und wird langfristig gut laufen, wenn der Raidcontroller echtes 1:1 der Platten beherrscht. Ein sog. HBA oder IT-Modus.
Wenn der das nicht kann oder nur so Pseudokram wie jede Platte als raid0 anreichen, dann lass es und konfiguriere es lieber so, wie du es ansprichst. ZFS braucht die Platten roh, ohne Umwege, ohne weiteren Layer, ansonsten macht das langfristig Bauchweh und führt ziemlich sicher im Fehlerfall zu Datenverlust.

Wenn man ZFS nicht kennt, klingt das erstmal komisch, dass es besser als HW-Raid sein soll.
 
Klingt gut, wenn dein Controller neben dem RAID die anderen Disks im HBA Mode durchreicht.
Sonst alles als Software RAID.
Vorsicht bei nur HDDs, da kann es mit ZFS schnell langsam werden.
 
Warum langsam?
Wenn der Controller also kein hba Modus kann, werde ich bei der Installation die ersten zwei von fünf festplatten im Software raid mit btrfs machen und die anderen drei dann nachher im ZFS
 
Klingt nach keiner guten Idee.
Bei 3 Platten wäre es RaidZ1 und das ist nicht für VMs empfohlen. ZFS hat eine Menge coole Features aber mit HDDs wird das unbenutzbar langsam. Mit SSDs geht das, oder mindestens mit Special Device.
Wenn du nur 3 Datendisks hast und einen RAID Controller mit Batteriecache, dann lieber Hardware RAID5 und dann Single ZFS drauf. Das ist schnell genug, solange die Batterie funktioniert.
 
malkiefer said:
wir möchten bei einem Kunden gerne ein Proxmox Cluster aufbauen.
Click to expand...
Das klingt danach, dass du Dienstleister bist.
Ich empfehle einmal die Proxmox Schulung mitzumachen. Da lernst du viel aus der Praxis und kannst dann hochwertigen Lösungen für deine Kunden anbieten.
 
Wenn der Controller nicht als reiner HBA arbeiten kann, dann generell Finger weg mit ZFS, egal in welcher Kombination. Auf den ersten Blick läuft das und sieht gut aus, aber im Fehlerfall gibts unforeseen consequences :)
Was ist das für ein Chip? Wenn das Broadcom/LSI/Avago ist, dann flasht man andere Firmware drauf für exakt den Zweck.
Lesestoff dazu:
https://dannyda.com/2021/09/22/what-are-it-mode-hba-mode-raid-mode-in-sas-controllers/
https://www.mytech-home.de/lsi-sas-3008-hba-ibm-m1215-it-mode-flash/
 
Lasst das mit dem flashen von unsupported Firmware. Alle Controller der letzten 8 Jahre kann man easy in HBA Modus versetzen oder machen einen sauberen Hybrid. Die Hybrid Controller gibts ja auch schon 5 Jahre.
Mehrere Raid0 im ZFS ist tatsächlich böse, aber ZFS Single auf einem vernünftigen RAID ist kein Problem.
 
Falk R. said:
Lasst das mit dem flashen von unsupported Firmware.
Click to expand...
Ja, das kann ich auch so unterschreiben. Keine fischige, inoffizielle Firmware gar von Drittanbietern von herstellerfremden Servern. Oder meintest du, dass die IT-Modes bei Broadcom generell nicht supportet werden? Das weiß ich gerade selbst nicht, aber wenn dem so ist und ihr das für einen Kunden aufsetzt, dann rate ich da ebenfalls ab.
 
Ja ich bin Dienstleister und Schulung ist geplant.
Geplant ist das für den Kunden:

8-Port RC Broadcom LSI MegaRaid 9560-8i 12G
8 x 4 TB SATA 3,5 Zoll 6G HDD WD/HGST 7.200 rpm [ Modell: Ultrastar DC HC310/7K6
HUS726T4TALA6L4
10 x 64 GB DDR4 3200 MHz ECC registered [ Hersteller: Kingston
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back