Proxmox Konfigurations-Hilfe

[Sycoriorz]

Hallo Zusammen,

Ich habe Proxmox in 3 vms getestet und habe diese 3 Nodes verbunden. Als Storage verwende ich Ceph mit Version Iuminous. Ich habe in jedem Knoten eine 4TB Platte welche in einem Ceph pool zusammengefasst habe. Darauf sollen die VMs abgelegt werden.

Bevor ich das ganze jetzt auf echten Servern umsetze wollte ich mich über die Konfig absichern.

Ich habe in der Doku gelesen, dass es empfohlen ist die Knoten für Ceph nur über ein 10Gbits multicast Netz zu verbinden.
Kann das so bestätigt werden oder läuft es auch über ein 1Gbits multicast Netz oder welches Risiko würde ich fahren es über 1 Gbits Netz zu fahren?

Wenn nein - benötigen die anderen Storagesysteme ebenfalls ein 10Gbits Netz?

Auch habe ich gelesen das Ceph erst ab einer gewissen Anzahl an Platten Sinn macht zu betreiben.

Macht Ceph in meinem Fall eventuell gar keinen Sinn und ich sollte auf ein anderes Storage ausweichen?

Ich hatte vor meine Konfig wie folgt zu machen.

3 absolut identische Knoten.
Je 64 GB Ram
je 1TB Systemplatte
Je 4TB Datenplatte für die VM mit Ceph

je 3 NICs (1x für internes Netzwerk und Internet, 1x für die pmxcf(eigener multicast switch eigenes Netz), 1x für Ceph(eigener multicast switch))
Oder kann ich die pmxcf auch über die erste NIC internes Netz laufen lassen und es wäre besser die zweite Nic als passiv Backup für ceph zu verwenden?

Vielen Dank für eure Hilfe.

Gruß

 

[wolfgang]

Hi,

Risiko würde ich fahren es über 1 Gbits Netz zu fahren?

Das Risko beim warten auf Daten alt zu werden ;-) 1 GBit ist einfach zu langsam.

Wenn nein - benötigen die anderen Storagesysteme ebenfalls ein 10Gbits Netz?

Welche Storage Systeme meinst du?
NFS und SMB funktionieren mit 1GBit gut.

Auch habe ich gelesen das Ceph erst ab einer gewissen Anzahl an Platten Sinn macht zu betreiben.

Ja das stimmt und bei kleinen Installationen machen sowieso nur SSD Sinn.

Macht Ceph in meinem Fall eventuell gar keinen Sinn und ich sollte auf ein anderes Storage ausweichen?

Die frage ist brauchst du ein distributed Storage?

Oder kann ich die pmxcf auch über die erste NIC internes Netz laufen lassen und es wäre besser die zweite Nic als passiv Backup für ceph zu verwenden?

Wenn du keine HA benutzt und es dir egal ist das dein Cluster Network Kommunikationsprobleme haben kann dann ja.

 

[Sycoriorz]

Hallo und vielen Dank für deine Antwort.

Die frage ist brauchst du ein distributed Storage?

Im Moment habe ich einen Cluster aus zwei nodes mit DRBD und corosync. Ich repliziere zwei Festplatten über 1 Gbits crossover.
Mir geht es hier im Kern darum zwei Rechner zu

haben falls einer Ausfällt das der andere einspringt. Wobei es mir nicht so wichtig ist ob es für ein paar Sekunden ausfällt oder evtl 10 Mins. Deshalb brauche ich nicht unbedingt die HA Funktion würde die VMs auch manuell hochfahren. In Proxmox möchte ich ein ähnliches aber verbessertes Szenario schaffen. Das bedeutet im Kern.
Die VM sollten auf allen physikalischen Rechnern gespiegelt werden. Ich möchte allerdings kein externes Storage betreiben.
Was mir an Proxmox gefällt ist die Tatsache das ich 3 Knoten aktiv verwenden kann und durch das quorum kein Splitbrain bekommen kann. Ich habe mir Ceph als Storage ausgesucht da es Block basiert ist wie DRBD und laut Doku alles zulässt - Snapshots, live migration usw.
Ich hatte versucht für mich herauszufinden was das beste Storage ist im Bezug auf meine Anforderung und Komplexität der Konfiguration und Wartung. Aber leider bin ich durch die Doku nicht schlau geworden. Ich bin kein Profi und möchte mich erst in das gesamte Thema einarbeiten.
Es soll und muss produktiv genutzt werden.

Die frage ist brauchst du ein distributed Storage?

Ich denke nein. Mir würde wie ein Spiegeln reichen. (Wäre dann active-active auch möglich, wenn es kein verteiltes Storage ist?)
Meine Daten die ich hier ablege sind maximal 10TB die ich spiegeln muss. Dafür ist Ceph was ich gelesen habe auch zu oversized. Eigentlich kam diese Kombination nur aus Mangel an Wissen zu stande.
Deshalb hoffe ich eine für mich bessere Lösung durch euch zu finden.

Danke schonmal

 

[wolfgang]

Ich würde dir eher
1.) zfs mit replica empfelen (ist halt nur asynchrone replica mit min 1 Minute sync zeit)
Da Heist im schlimmsten Fall hast du 1 Minute Daten verloren aber die Daten sind immer konsistent.
2.) GlusterFS ist im sync und su hast auf allen Nodes die Daten lokal.

Beide kommen mit 1GBit netzwerk klar wenn du nicht mehr als 100MB pro secunde schreibst.