HA Cluster - Hilfe

[Tdreissi]

Hallo,

Proxmox bietet sehr viele Möglichkeiten und ich bin noch ein wenig neu und überfordert was man den wofür braucht. Darum die Frage an die "Profis" hier - will net ständig von vorn anfangen weil was fehlt.
Habe bis jetzt alles mit KVM (libvirt) und viele scripten gelöst - Proxmox ist aber deutlich angenehmer.

Habe 4xServer mit je 8xSSD, 4x 10Gbit zur Verfügung.

Anforderung:
4x Node Cluster HA
Backup local - ZIP 2 Wochen
Backup NAS - ZIP 5 Wochen (am besten noch verschlüsselt)
Replication der VMs zwischen den nodes (stündlich oder täglich)
Autom. VM Failover wenn node (Host) ausfällt

Was ist dafür Notwendig, bin leicht verwirrt.
- Wenn ich richtig liege brauche ich ZFS um überhaupt "Replication" zu machen
- Ceph ist für die HA Funktion oder?
- dann sieht man auch DRP
- iSCSI oder FC SAN ist nicht Verfügbar

Was wäre euer empfohlene Lösung?

 

[oguz]

hi.

- Wenn ich richtig liege brauche ich ZFS um überhaupt "Replication" zu machen

ja.

- Ceph ist für die HA Funktion oder?

nein, ceph ist nur für shared storage, aber man kann auch andere shared storages verwenden (iscsi, nfs/smb usw.)
ich empfehle aber, dass du ceph verwendest wenn du dein netzwerk selber kontrollierst. falls du zwischen standorten replizieren willst, dann sind 2 ceph clusters mit rbd mirroring eine gute option. ceph ist aber eher latency-sensitiv, also muss man sicherstellen dass alles dabei gut funktioniert.

zfs ist auch ok, wenn du deinen server bei einem datacenter hast, wo du das netzwerk nicht kontrollierst.

 

[Tdreissi]

Hi,

Pro RZ je zwei Server an einem HA Netzwerk. Das Netzwerk selber liegt nicht in meiner Verwaltung.
Das würde heißen ZFS und das Server Raid auflösen um die SSDs dann über ZFS zu verwalten.
Alle 5 Platten als "zfs RAIDZ-1" was einem Raid 5 entspricht (reicht mir) oder brauche ich eine separate "/" Disk?

Danke soweit...

 

[oguz]

hi.

brauche ich eine separate "/" Disk?

nicht wirklich. benutzt du den proxmox installer, sollte alles passen.

 

[Tdreissi]

Bin total unentschlossen was ich mache ZFS oder CEPH.

Wie sollte die Konfig für ZFS aussehen.
Server Raid löschen und alle 8xSSDs zu einem RAIDZ-1 bei der Proxmox Installation?
Habe nur 8 Enterprise Samsung SSD SAS12 drin.

Wenn ich CEPH nutzen würde, was würdet Ihr vorschlagen zwecks OSD und Journal?
Normal hab ich ja 8 x SSD als RAID5.
Wie soll ich die jetzt aufteilen? Eine SSD als Journal ist zu riskant find ich und ein Raid 1 zu viel Verlust, weil auch nur noch 6 für die VMs bleiben.

Ist echt net einfach sich zu entscheiden....

 

[sb-jw]

Wenn ich CEPH nutzen würde, was würdet Ihr vorschlagen zwecks OSD und Journal?
Normal hab ich ja 8 x SSD als RAID5.
Wie soll ich die jetzt aufteilen? Eine SSD als Journal ist zu riskant find ich und ein Raid 1 zu viel Verlust, weil auch nur noch 6 für die VMs bleiben.

In der Regel trennt man das nicht mehr, es macht auch keinen Sinn ein gleich schnelles device für Caching zu nutzen. Einfach alle als OSD mit BlueStore machen und gut ist.

 

[Tdreissi]

Hi,

brauch aber für CEPH leere disks und mind. eine Disk um Proxmox zu installieren, also doch 2xSSDs Verlust oder 2 Weitere SAS Platten einbauen.

 

[oguz]

hi.

Wenn ich CEPH nutzen würde, was würdet Ihr vorschlagen zwecks OSD und Journal?

journal macht nur sinn wenn du was schnelleres als deine ssd hast.

Pro RZ je zwei Server an einem HA Netzwerk. Das Netzwerk selber liegt nicht in meiner Verwaltung.

ceph steht außer frage mit 2 nodes pro RZ. (auch HA braucht 3 nodes pro RZ)

Wie sollte die Konfig für ZFS aussehen.
Server Raid löschen und alle 8xSSDs zu einem RAIDZ-1 bei der Proxmox Installation?
Habe nur 8 Enterprise Samsung SSD SAS12 drin.

siehe 3.8.1 [0]. dieselbe gilt für ceph. also hardware raid spielt nicht gut mit zfs/ceph.

[0]: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_zfs

 

[Tdreissi]

Hi,

habe weitere Probleme. x3650M ServeRaid M5210
Server kann nur RAID0 oder JBOD - SSDs werden ohne nicht erkannt.
Damit fällt ZFS wohl wieder raus.

CEPH geht nur wenn ich zwei SAS Disks als Raid1 einbaue und Proxmox darauf installiere.
Frage ist dann aber auch - Kann bzw. sollte CEPH mit RAID0 oder JBOD arbeiten?

Wenn alles nichts hilft wird es ein normaler Cluster ohne ZFS/CEPH.
Danke...