Aufbau Testumgebung

[sunghost]

Hallo zusammen,
bisher nutze ich mehrere Proxmox VE Server als Standalone Systeme. Nun möchte ich eine Testumgebung aufbauen die Livemigration erlaubt. Ich habe mich hierzu etwas in Ceph, Corosync, HA, Netzwerk etc. in den Doks von PVE eingelesen. Ich habe auch eine grobe Idee, würde aber gerne auf eure Erfahrungen zurückgreifen, sodass die Umgebung gleich von Anfang an optimal aufgesetzt wird. Für die Testumgebung habe ich nicht die beste Hardware, es sollte aber dennoch klappen:

1. & 2 identisch
- 2x 250GB Intel SSD
- 2x 250GB Sata3 HDD
- 32GB RAM
- 2x Xeon Quadcore CPU
- 2x 1GBit Nic

3. Rechner
- 2x 250GB Enterprise Sata3 HDD
- 2x Xeon Quadcore CPU
- 16GB RAM
- 2x 1GBit Nic (1x USB3 Adapter)

weiterhin
- einfacher 1GBit Switch für die Anbindung ans Lan
- einfacher 1GBit Switch für die Testumgebung
- einfacher 100MBit Switch für die Testumgebung

Was soll erreicht werden?
Geringe Anzahl an Windows 10 und Server Gästen (KVM mit qcow2). Snapshotfunktion und Livemigration von einem zum anderen Node sollte möglich sein. Ggf. muss später eine DMZ innerhalb des Clusters erstellt werden, das die Gäste entsprechend vom LAN trennt und z.B. nur per VPN zugänglich macht.

Ich bin mir aktuell total unsicher wie ich die Disks nutzen soll. Sprich die SSDs im Raid1 und die Sata im Raid1 oder brauche ich das nicht, weil ich ja Sharedstorage nutzen müsste, sodass ich dann 1x Sata für OS und die SSDs als Storage und die übrige Sata für Backup und ISO... Sollte ich die Netze trennen, also z.B. 192.168.x.x für das Quorum und 172.16.x.x für Storage... Ist halt neu und ich bin etwas verunsichert

Danke für konstruktive Kritik.

 

[tschanness]

Die Disks direkt an Ceph. 1GBit/s könnte zu wenig seind für dein storagenetzwerk.

 

[sunghost]

Hi,
und danke für deine Rückmeldung. Ich habe inzwischen die erste Installation durchgeführt:
- die Sata Disks für das OS + RaidZ1 verwendet, also nicht die Onboard Intel Controller
- die SSDs aus den beiden größeren will ich nun für Ceph nutzen, sodass dann jeweils einer der beiden ausfallen könnte <- IMO

Ja 1GB ist wenig, ok du würdest dann 1x Nic für das StorageNet verwenden. Ich hätte ansonsten evtl. ein Linux Bond erstellt.

edit: Gibt es eine Möglichkeit ohne Ceph und dennoch die Live-Migration zu verwenden? Ich sehe hier nur auf ext. CIFS,GlusterFS oder NFS zu setzen, oder?

 

[udo]

Hi,
so wird das aber nichts mit Ceph. Du brauchst drei Nodes mit OSDs (bei einem Replica von 3 - Replica 2 ist gefährlich).
Du müsstest also in jeder Node eine 250er SSD packen und hast dann nur ca. 150GB zur Verfügung (Ceph-OSDs sollten nicht viel mehr als zu 70% gefüllt werden - eigentlich weniger, falls eine ausfällt, damit der Inhalt auf die verbleibenen verteilt werden kann, was bei 3 stück aber entfällt).
Was für eine SSD ist es denn? 250GB klingt nicht nach performant für Ceph (das sind meines Wissens keine DC-Version).
Mit 1GB wirst Du auch nicht viel reissen, aber live-migration ist schon sehr nett.

Udo

 

[sunghost]

Hi,
ja optimal ist es nicht. Evtl.kann ich noch eine SSD auftreiben. Replica von 3 verstehe ich doch richtig - die Blöcke werden auf alle 3 Nodes gleichmäßig verteilt, während Replica von 2 immer nur auf 2 der 3 bzw. wie oben nur auf den 2 Nodes verteilt wird, oder? Falls ich keine SSD mehr bekomme, wäre da eine andere lokale Variante denkbar? Ist halt Testing und HA ist dann nicht möglich, aber bei Updates mal VMs live zu migrieren, wäre schon gut. Wie wäre ein zztl. GlusterFS auf 2 Servern und das dann einbinden?

 

[HBO]

Nur mal generell zu dem Setup (auch wenn die ZFS Profis mich gleich schlagen) das ich hier öfter einsetze.
Vornehmlich Hardware Raid (geht auch mit Software Raid), dann ein LVM Thin Volume auf das Raid gebaut.
Cluster und LAN/WAN Physisch getrennt. Eine Live Migration geht per "qm migrate" Befehl auch bei LVM Thin bisher ohne Probleme, führe ich des Öfteren mit Linux und Windows Server VMs durch. Selbst bei virtualisierten Telefonanlage (Swyx) und Datenbanken keinerlei Probleme gehabt.
Ceph und HA wie Uda schon beschrieben hat mit 3 Nodes und möglichst gleicher Konfiguration. Wenn es dir also nicht um HA geht sondern nur um Lösungen zwecks geplanten Wartungen/Updates klappt das mit dem Live Migrate auf LVM Thin super.

 

[sunghost]

Hi HBO,
und danke für die Rückmeldung. Ok LVM Thin hört sich ganz gut an. D.h. ich würde die SSDs im Raid1 aufsetzen, dann per Proxmox ein LVM thin drüber legen und könnte dann mittels "qm migrate..." die VM von einem Host zum anderen im Livebetrieb verschieben ?! Ich gehe mal davon aus, beide Server müssen im HA eingerichtet sein?

edit: Ich schaue grade ein wenig zu LVM thin hier im Forum und bin auf diese Aussage gestoßen: https://forum.proxmox.com/threads/qm-live-migrate-storage-lvm.39154/ Mich verwirrt die letzte Antwort etwas. Wie kann das gemeint sein LVM -> qcow2, sind doch verschiedene Dinge, oder wie ist das gemeint?

 

[udo]

Hi HBO,
und danke für die Rückmeldung. Ok LVM Thin hört sich ganz gut an. D.h. ich würde die SSDs im Raid1 aufsetzen, dann per Proxmox ein LVM thin drüber legen und könnte dann mittels "qm migrate..." die VM von einem Host zum anderen im Livebetrieb verschieben ?! Ich gehe mal davon aus, beide Server müssen im HA eingerichtet sein?

Hi,
HA ist da nicht, weil die VMs liegen auf lokalem Storage (wenn der Host down ist, sind die VMs auch dauerhaft down, weil kein Zugriff auf die VM-Disks möglich ist).
Per Terminal kannst du VMs online verschieben, solgange Du iothread nicht angeknipst hast (qm migrate XXX host --online --with-local-disks).

Udo

 

[sunghost]

Hi,
sorry falsche Begrifflichkeit, nicht HA sondern Cluster. Müssen die Server im Cluster sein, damit qm migrate funktioniert? Das mit der Disk ist klar, ist ja nicht Shared-Storage.

 

[udo]

ja

 

[sunghost]

Ok, das klingt gut, dann teste ich das mal. Allen erst Mal vielen Dank für die Antworten und klaren Aussagen

 

[sunghost]

Hi,
ich hatte etwas Zeit und die angefangene Ceph Installation beendet und mittels # rados -p <ceph-pool-name> bench 10 write --no-cleanup getestet. Ergebnis:
Bandwidth (MB/sec): 94.1692
Stddev Bandwidth: 9.27601
Max bandwidth (MB/sec): 108
Min bandwidth (MB/sec): 72
Average IOPS: 23
Stddev IOPS: 2
Max IOPS: 27
Min IOPS: 18
Storage ist über die 4 SSD Disks, sieht aber nicht so berauschend aus. Wenn ich das richtig verstehe, schreibt Ceph mittles des Sync-Algo über alle 4 Disks, oder? D.h. hier ist definitiv das 1GBit Netzwerk der Flaschenhals, oder wie seht ihr das?

 

[tom]

Ceph auf 1 Gbit macht wenig Sinn.

Siehe auch:
https://forum.proxmox.com/threads/proxmox-ve-ceph-benchmark-2018-02.41761/

 

[sunghost]

Hi,
ja richtig, wollte die Testinstallation eben mal zu Ende "spinnen" . Ok, dann ist es wohl das beste, in diesem Fall, auf Cluster mit 3 Nodes und LVMthin zu setzen. HA ist nicht wichtig, nur Migration, was dann mittels qm migrate funktioniert. Thx

Edit: danke für den Link zum Doc <- sehr interessant - danke für die Mühe

 

[sunghost]

Hi,
mal ne Frage zum LVM Thin, ist für mich das erste Mal und ich bin mir nicht sicher... Muss ich ein Dateisystem für das Blockdevice erstellen, also nach dem # lvconvert, oder schreibt Proxmox direkt dort rein? Muss ich es mounten (pve/lvm z.B.)? In einigen Anleitungen wird ein Dateisystem erzeugt und LVM gemountet, aber dort wird es nicht unter Proxmox verwendet... In der GUI konnte ich ein neues LVM thin unter Storage erstellen und auch eine VM erstellen, es soll aber korrekt werden, daher die Fragen ... .)
thx