Aufbau Testumgebung

Discussion in 'Proxmox VE (Deutsch)' started by sunghost, Sep 13, 2018.

  1. sunghost

    sunghost Member

    Joined:
    May 27, 2011
    Messages:
    133
    Likes Received:
    1
    Hallo zusammen,
    bisher nutze ich mehrere Proxmox VE Server als Standalone Systeme. Nun möchte ich eine Testumgebung aufbauen die Livemigration erlaubt. Ich habe mich hierzu etwas in Ceph, Corosync, HA, Netzwerk etc. in den Doks von PVE eingelesen. Ich habe auch eine grobe Idee, würde aber gerne auf eure Erfahrungen zurückgreifen, sodass die Umgebung gleich von Anfang an optimal aufgesetzt wird. Für die Testumgebung habe ich nicht die beste Hardware, es sollte aber dennoch klappen:

    1. & 2 identisch
    - 2x 250GB Intel SSD
    - 2x 250GB Sata3 HDD
    - 32GB RAM
    - 2x Xeon Quadcore CPU
    - 2x 1GBit Nic

    3. Rechner
    - 2x 250GB Enterprise Sata3 HDD
    - 2x Xeon Quadcore CPU
    - 16GB RAM
    - 2x 1GBit Nic (1x USB3 Adapter)

    weiterhin
    - einfacher 1GBit Switch für die Anbindung ans Lan
    - einfacher 1GBit Switch für die Testumgebung
    - einfacher 100MBit Switch für die Testumgebung

    Was soll erreicht werden?
    Geringe Anzahl an Windows 10 und Server Gästen (KVM mit qcow2). Snapshotfunktion und Livemigration von einem zum anderen Node sollte möglich sein. Ggf. muss später eine DMZ innerhalb des Clusters erstellt werden, das die Gäste entsprechend vom LAN trennt und z.B. nur per VPN zugänglich macht.

    Ich bin mir aktuell total unsicher wie ich die Disks nutzen soll. Sprich die SSDs im Raid1 und die Sata im Raid1 oder brauche ich das nicht, weil ich ja Sharedstorage nutzen müsste, sodass ich dann 1x Sata für OS und die SSDs als Storage und die übrige Sata für Backup und ISO... Sollte ich die Netze trennen, also z.B. 192.168.x.x für das Quorum und 172.16.x.x für Storage... Ist halt neu und ich bin etwas verunsichert :)

    Danke für konstruktive Kritik.
     
  2. tschanness

    tschanness Member

    Joined:
    Oct 30, 2016
    Messages:
    267
    Likes Received:
    19
    Die Disks direkt an Ceph. 1GBit/s könnte zu wenig seind für dein storagenetzwerk.
     
  3. sunghost

    sunghost Member

    Joined:
    May 27, 2011
    Messages:
    133
    Likes Received:
    1
    Hi,
    und danke für deine Rückmeldung. Ich habe inzwischen die erste Installation durchgeführt:
    - die Sata Disks für das OS + RaidZ1 verwendet, also nicht die Onboard Intel Controller
    - die SSDs aus den beiden größeren will ich nun für Ceph nutzen, sodass dann jeweils einer der beiden ausfallen könnte <- IMO

    Ja 1GB ist wenig, ok du würdest dann 1x Nic für das StorageNet verwenden. Ich hätte ansonsten evtl. ein Linux Bond erstellt.

    edit: Gibt es eine Möglichkeit ohne Ceph und dennoch die Live-Migration zu verwenden? Ich sehe hier nur auf ext. CIFS,GlusterFS oder NFS zu setzen, oder?
     
    #3 sunghost, Sep 14, 2018
    Last edited: Sep 14, 2018
  4. udo

    udo Well-Known Member
    Proxmox VE Subscriber

    Joined:
    Apr 22, 2009
    Messages:
    5,721
    Likes Received:
    149
    Hi,
    so wird das aber nichts mit Ceph. Du brauchst drei Nodes mit OSDs (bei einem Replica von 3 - Replica 2 ist gefährlich).
    Du müsstest also in jeder Node eine 250er SSD packen und hast dann nur ca. 150GB zur Verfügung (Ceph-OSDs sollten nicht viel mehr als zu 70% gefüllt werden - eigentlich weniger, falls eine ausfällt, damit der Inhalt auf die verbleibenen verteilt werden kann, was bei 3 stück aber entfällt).
    Was für eine SSD ist es denn? 250GB klingt nicht nach performant für Ceph (das sind meines Wissens keine DC-Version).
    Mit 1GB wirst Du auch nicht viel reissen, aber live-migration ist schon sehr nett.

    Udo
     
  5. sunghost

    sunghost Member

    Joined:
    May 27, 2011
    Messages:
    133
    Likes Received:
    1
    Hi,
    ja optimal ist es nicht. Evtl.kann ich noch eine SSD auftreiben. Replica von 3 verstehe ich doch richtig - die Blöcke werden auf alle 3 Nodes gleichmäßig verteilt, während Replica von 2 immer nur auf 2 der 3 bzw. wie oben nur auf den 2 Nodes verteilt wird, oder? Falls ich keine SSD mehr bekomme, wäre da eine andere lokale Variante denkbar? Ist halt Testing und HA ist dann nicht möglich, aber bei Updates mal VMs live zu migrieren, wäre schon gut. Wie wäre ein zztl. GlusterFS auf 2 Servern und das dann einbinden?
     
  6. HBO

    HBO Member

    Joined:
    Dec 15, 2014
    Messages:
    216
    Likes Received:
    6
    Nur mal generell zu dem Setup (auch wenn die ZFS Profis mich gleich schlagen) das ich hier öfter einsetze.
    Vornehmlich Hardware Raid (geht auch mit Software Raid), dann ein LVM Thin Volume auf das Raid gebaut.
    Cluster und LAN/WAN Physisch getrennt. Eine Live Migration geht per "qm migrate" Befehl auch bei LVM Thin bisher ohne Probleme, führe ich des Öfteren mit Linux und Windows Server VMs durch. Selbst bei virtualisierten Telefonanlage (Swyx) und Datenbanken keinerlei Probleme gehabt.
    Ceph und HA wie Uda schon beschrieben hat mit 3 Nodes und möglichst gleicher Konfiguration. Wenn es dir also nicht um HA geht sondern nur um Lösungen zwecks geplanten Wartungen/Updates klappt das mit dem Live Migrate auf LVM Thin super.
     
  7. sunghost

    sunghost Member

    Joined:
    May 27, 2011
    Messages:
    133
    Likes Received:
    1
    Hi HBO,
    und danke für die Rückmeldung. Ok LVM Thin hört sich ganz gut an. D.h. ich würde die SSDs im Raid1 aufsetzen, dann per Proxmox ein LVM thin drüber legen und könnte dann mittels "qm migrate..." die VM von einem Host zum anderen im Livebetrieb verschieben ?! Ich gehe mal davon aus, beide Server müssen im HA eingerichtet sein?

    edit: Ich schaue grade ein wenig zu LVM thin hier im Forum und bin auf diese Aussage gestoßen: https://forum.proxmox.com/threads/qm-live-migrate-storage-lvm.39154/ Mich verwirrt die letzte Antwort etwas. Wie kann das gemeint sein LVM -> qcow2, sind doch verschiedene Dinge, oder wie ist das gemeint?
     
    #7 sunghost, Sep 17, 2018
    Last edited: Sep 17, 2018
  8. udo

    udo Well-Known Member
    Proxmox VE Subscriber

    Joined:
    Apr 22, 2009
    Messages:
    5,721
    Likes Received:
    149
    Hi,
    HA ist da nicht, weil die VMs liegen auf lokalem Storage (wenn der Host down ist, sind die VMs auch dauerhaft down, weil kein Zugriff auf die VM-Disks möglich ist).
    Per Terminal kannst du VMs online verschieben, solgange Du iothread nicht angeknipst hast (qm migrate XXX host --online --with-local-disks).

    Udo
     
  9. sunghost

    sunghost Member

    Joined:
    May 27, 2011
    Messages:
    133
    Likes Received:
    1
    Hi,
    sorry falsche Begrifflichkeit, nicht HA sondern Cluster. Müssen die Server im Cluster sein, damit qm migrate funktioniert? Das mit der Disk ist klar, ist ja nicht Shared-Storage.
     
  10. udo

    udo Well-Known Member
    Proxmox VE Subscriber

    Joined:
    Apr 22, 2009
    Messages:
    5,721
    Likes Received:
    149
  11. sunghost

    sunghost Member

    Joined:
    May 27, 2011
    Messages:
    133
    Likes Received:
    1
    Ok, das klingt gut, dann teste ich das mal. Allen erst Mal vielen Dank für die Antworten und klaren Aussagen ;)
     
  12. sunghost

    sunghost Member

    Joined:
    May 27, 2011
    Messages:
    133
    Likes Received:
    1
    Hi,
    ich hatte etwas Zeit und die angefangene Ceph Installation beendet und mittels # rados -p <ceph-pool-name> bench 10 write --no-cleanup getestet. Ergebnis:
    Bandwidth (MB/sec): 94.1692
    Stddev Bandwidth: 9.27601
    Max bandwidth (MB/sec): 108
    Min bandwidth (MB/sec): 72
    Average IOPS: 23
    Stddev IOPS: 2
    Max IOPS: 27
    Min IOPS: 18
    Storage ist über die 4 SSD Disks, sieht aber nicht so berauschend aus. Wenn ich das richtig verstehe, schreibt Ceph mittles des Sync-Algo über alle 4 Disks, oder? D.h. hier ist definitiv das 1GBit Netzwerk der Flaschenhals, oder wie seht ihr das?
     
  13. tom

    tom Proxmox Staff Member
    Staff Member

    Joined:
    Aug 29, 2006
    Messages:
    13,084
    Likes Received:
    342
    Stop hovering to collapse... Click to collapse... Hover to expand... Click to expand...
  14. sunghost

    sunghost Member

    Joined:
    May 27, 2011
    Messages:
    133
    Likes Received:
    1
    Hi,
    ja richtig, wollte die Testinstallation eben mal zu Ende "spinnen" ;). Ok, dann ist es wohl das beste, in diesem Fall, auf Cluster mit 3 Nodes und LVMthin zu setzen. HA ist nicht wichtig, nur Migration, was dann mittels qm migrate funktioniert. Thx

    Edit: danke für den Link zum Doc <- sehr interessant - danke für die Mühe
     
    #14 sunghost, Sep 20, 2018
    Last edited: Sep 20, 2018
  15. sunghost

    sunghost Member

    Joined:
    May 27, 2011
    Messages:
    133
    Likes Received:
    1
    Hi,
    mal ne Frage zum LVM Thin, ist für mich das erste Mal und ich bin mir nicht sicher... Muss ich ein Dateisystem für das Blockdevice erstellen, also nach dem # lvconvert, oder schreibt Proxmox direkt dort rein? Muss ich es mounten (pve/lvm z.B.)? In einigen Anleitungen wird ein Dateisystem erzeugt und LVM gemountet, aber dort wird es nicht unter Proxmox verwendet... In der GUI konnte ich ein neues LVM thin unter Storage erstellen und auch eine VM erstellen, es soll aber korrekt werden, daher die Fragen ... .)
    thx
     
  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice