Proxmox Cluster auf Wireguard Netzwerk?

[bluepuma77]

Hallo zusammen,

bisher haben wir nur Docker Swarm verwendet, wollen nun zwecks erhöhter Sicherheit auch noch eine Ebene mit VMs einziehen, Proxmox sieht dafür sehr geeignet aus. Wir wollen 3+ Bare Metal Server bei Hetzner nutzen, VSwitch steht nicht zur Verfügung (mehrere Verträge), wir wollen die Server daher auf Wireguard-Basis vernetzen.

Können wir "einfach" 3 Server mit Proxmox und ZFS aufsetzen (Doc), dann normal nach Debian-Anleitung ein WireGuard Netz aufspannen, und darüber dann den Proxmox Cluster erstellen? Dann müsste ich in der WireGuard-Config allen Bare Metal Servern nur manuell eine IP zuweisen?



Das Thema Proxmox SDN wird ja immer weiter entwickelt, aber dort gibt es das Thema WireGuard scheinbar noch nicht. Würde ich dann bei der fixen Anzahl an VMs einfach die IPs manuell vergeben? Alle VMs sollen in einem Netzwerk hängen (/24). Darüber würden wir dann den Docker Swarm laufen lassen. Und die VM-Port-Weiterleitung (80+443) für den Proxy sollte ja einfach einzurichten sein.

Macht das alles so Sinn, entspricht es best practice?

 

[itNGO]

Hallo zusammen,

bisher haben wir nur Docker Swarm verwendet, wollen nun zwecks erhöhter Sicherheit auch noch eine Ebene mit VMs einziehen, Proxmox sieht dafür sehr geeignet aus. Wir wollen 3+ Bare Metal Server bei Hetzner nutzen, VSwitch steht nicht zur Verfügung (mehrere Verträge), wir wollen die Server daher auf Wireguard-Basis vernetzen.

Dann fast die Verträge doch einfach zu einem zusammen. Geht im Robot......

Und PVE könnt ihr dann auch direkt vom PVE-Stick installieren, den legen die Jungs bei Hetzner gerne "ein"....

 

[Vengance]

Corosync sollte über einen separaten, stabilen Link laufen. Wireguard über das Public Interface kann funktionieren, würde ich aber für eine Produktive Umgebung definitiv nicht empfehlen.
Ich habe mit Hetzers vSwitch selber keine Erfahrungen, zumindest im Hetzner Forum ließt man aber recht regelmäßig von Ausfällen.

Vielleicht wäre es da die beste Idee die Server in das selbe Rack stellen zu lassen und dann direkt zu verkabeln. Hetzner bietet das meines Wissens nach auf Anfrage an.

 

[itNGO]

Corosync sollte über einen separaten, stabilen Link laufen. Wireguard über das Public Interface kann funktionieren, würde ich aber für eine Produktive Umgebung definitiv nicht empfehlen.
Ich habe mit Hetzers vSwitch selber keine Erfahrungen, zumindest im Hetzner Forum ließt man aber recht regelmäßig von Ausfällen.

Vielleicht wäre es da die beste Idee die Server in das selbe Rack stellen zu lassen und dann direkt zu verkabeln. Hetzner bietet das meines Wissens nach auf Anfrage an.

Ausfallen kann ja bekanntlich alles.... aber zumindest im Datacenter Helsinki, wo wir verschlüsselt unser "3tes" Backup hinsichern läuft das von Anfang an problemlos.... derzeit wird eine VM mit 50TB per Gigabit auf einen anderen Node "verschoben"... geht schon seit 5 Tagen und wird wohl noch 3 weitere dauern, ist bislang stabil....

Aber ich gebe dir recht.. wenn man da "sicher" gehen will, dann wäre es wohl besser alles in ein RACK "verfrachten" zu lassen.... die sind da meiner Erfahrung nach, wirklich recht "flexibel"....

 

[Vengance]

Läuft vSwitch nicht auch über das Primäre Interface?
Da wäre dann z.b. die Frage was im Falle eines DDoS passiert.

 

[itNGO]

Läuft vSwitch nicht auch über das Primäre Interface?
Da wäre dann z.b. die Frage was im Falle eines DDoS passiert.

Nun man stellt sich wohl einfach eine dedizierte Firewall davor.... an der Börse bei denen gibt es da ja recht günstig geeignetes Spielzeug.

Dann die IP-Adressen der PVEs gekündigt und die reden eben nur noch INTERN und mit der Firewall über entsprechende vSwitch und VLANs....

Dann interessiert der DDOS die internen Nodes nicht mehr wirklich..... aber dann kann man auch bald nen halbes RACK mieten....

 

[bluepuma77]

Vielen Dank für den Hetzner und VSwitch Input, aber ich möchte später auch andere Provider einbinden.

Aus Sicherheitsgründen würde ich meine Server auch nicht ins gleiche Rack stellen, siehe OHV.

Nochmal meine Frage: "Proxmox Cluster auf Wireguard Netzwerk?" - wurde das schon erfolgreich gemacht?

Am Ende des Tages möchte ich die VMs über ein GUI sehen, brauche keine "VM Verschiebung" bei Ausfall, denn die Systeme sind ja redundant. Vielleicht brauche ich dann gar keinen "Proxmox Cluster"? Kann man Corosync auf High Latency umstellen oder einfach ignorieren?

 

[Falk R.]

Vielen Dank für den Hetzner und VSwitch Input, aber ich möchte später auch andere Provider einbinden.

Aus Sicherheitsgründen würde ich meine Server auch nicht ins gleiche Rack stellen, siehe OHV.

Nochmal meine Frage: "Proxmox Cluster auf Wireguard Netzwerk?" - wurde das schon erfolgreich gemacht?

Am Ende des Tages möchte ich die VMs über ein GUI sehen, brauche keine "VM Verschiebung" bei Ausfall, denn die Systeme sind ja redundant. Vielleicht brauche ich dann gar keinen "Proxmox Cluster"? Kann man Corosync auf High Latency umstellen oder einfach ignorieren?

Wenn es nur um die GUI geht, kannst du Corosync auch mit expected vote = 1 übergehen. Das Wiki sagt dir was geht.
https://pve.proxmox.com/wiki/Cluster_Manager

 

[itNGO]

Wenn es nur um die GUI geht, kannst du Corosync auch mit expected vote = 1 übergehen. Das Wiki sagt dir was geht.
https://pve.proxmox.com/wiki/Cluster_Manager

Halte ich gelinde gesagt für "mutig" wenn der Cluster eigentlich aus mehreren Nodes besteht und die sich ggf. immer mal wieder "kurzzeitig" nicht sehen..... Dann doch eher Single-Node mit jeweils eigener lokaler GUI. Wenn eh keine Migration gebraucht wird ist das schlimmste dann 3 Browser-Tabs offen zu haben für die Konfiguration....

 

[Falk R.]

Halte ich gelinde gesagt für "mutig" wenn der Cluster eigentlich aus mehreren Nodes besteht und die sich ggf. immer mal wieder "kurzzeitig" nicht sehen..... Dann doch eher Single-Node mit jeweils eigener lokaler GUI. Wenn eh keine Migration gebraucht wird ist das schlimmste dann 3 Browser-Tabs offen zu haben für die Konfiguration....

Wir warten ja alle noch auf den Multicluster Support, dann hätte man eine GUI für verschiedene Cluster oder viele Einzelserver.
Natürlich wäre das keine stabile GUI Verbindung, wenn das Netz tatsächlich so schlecht ist.
Ich habe meinen Server in Falkenstein und noch nie Probleme gehabt und auch noch nie schlechte Latenzen gesehen.

 

[VoIP-Ninja]

@Falk R. ja du deinen einen Server. Mach aber mal ein Cluster bei Hetzner mit mehreren Servern, die nicht im gleichen Rack sind. Geht nur über die vSwitche, die laufen aber nur solange sie laufen und irgendwann laufen die nicht mehr. Da hilft dann nur den Server aus dem vSwitch raus und wieder rein etc. mag ja corosync gar nicht... ist alles Fummelei und Bastelei - haben schon etliche vorher probiert und viele sind dann weg von so einer halb-garen Lösung. Betreiben ihre Cluster dann woanders... Oder halt alles in einem Rack bei Hetzner, da kann man dann sogar sep. Switch für mieten etc.

 

[Falk R.]

@Falk R. ja du deinen einen Server. Mach aber mal ein Cluster bei Hetzner mit mehreren Servern, die nicht im gleichen Rack sind. Geht nur über die vSwitche, die laufen aber nur solange sie laufen und irgendwann laufen die nicht mehr. Da hilft dann nur den Server aus dem vSwitch raus und wieder rein etc. mag ja corosync gar nicht... ist alles Fummelei und Bastelei - haben schon etliche vorher probiert und viele sind dann weg von so einer halb-garen Lösung. Betreiben ihre Cluster dann woanders... Oder halt alles in einem Rack bei Hetzner, da kann man dann sogar sep. Switch für mieten etc.

Außer hier von 2-3 Leuten habe ich bisher noch nichts schlechtes über die vSwitches bei Hetzner gehört. Entweder setzt die sonst keiner ein oder es liegt an etwas anderem. Aber aus genau diesen Gründen gibts bei mir in der Cloud immer nur Single Server und die Redundanz schafft man da über die Applikation. Ein Corosync ist halt nicht für einen solchen Zweck entwickelt worden, sondern fürs Datacenter. Womit wir wieder bei gleichem Rack, oder zumindest gleichem Datacenter bei Hetzner wären.
Klar kann man sich soetwas für Privat zum spielen basteln, aber produktiv würde ich das Setup nicht betreiben.

 

[VoIP-Ninja]

Sobald die Server bei Hetzner nicht im gleichen Rack sind, kannst du nur mit vSwitches oder Lösungen wie tinc, zerotier, wireguard etc arbeiten, wenn du die "privat" verbunden haben möchtest. Liegt halt am Hetzner Netzwerksetup. Normal kannst du ein Cluster wie zB Ceph ja locker über verschiedene Gebäude in einem Datacenter betreiben, halt u.a. aus Redundanzgründen, was bei Hetzner ja den verschwiedenen DCs an einem Standort entsprechen würde, geht da halt nicht so - woanders halt schon . Bzw. geht es schon bei Hetzner, aber nur mit diversen Einschränkungen.

 

[sb-jw]

Normal kannst du ein Cluster wie zB Ceph ja locker über verschiedene Gebäude in einem Datacenter betreiben

Entschuldige bitte, aber mir scheint, dass du nicht viel Wissen über Netzwerke in einem Rechenzentrum hast, weshalb du hier einfach viele unterschiedliche Dinge wirr zusammenwürfelst.
Ja ein CEPH kann man auch über die ganze Welt verteilt nutzen. Dazu wird in der Regel aber die Crush Map dahingehend angepasst. Im Rechenzentrum 1 stehen dann alle Server direkt beieinander und halten eine Replikation, der nächste Raum oder das nächste Rechenzentrum dann die nächste Replikation. Was aber niemals der Fall sein wird, dass du ein CEPH mit 3 Replikas über die Welt verteilen wirst, du wirst es immer nach Replikation machen. Die CEPH Storages lokal sind aber auch in einem eigenen dedizierten Netzwerk untergebracht. Da läuft nichts über ToR Switches (oder MoR), sondern eben über das eigene "SAN".

geht da halt nicht so - woanders halt schon

Ein Provider für Server sorgt in erster Linie dafür, dass sich die Server untereinander nicht sehen können. Da hängen an einem MoR-Switch also auch potenziell 48 verschiedene Kunden und 48 verschiedene Server dran. Alles hängt in der Regel in einem VLAN und ist vielleicht durch Firewall Regeln auf dem Switch geschützt, so dass z. B. IP Spoofing unterbunden wird. Hetzner hat dafür womöglich eben das vorgehen, dass die MACs irgendwo geprüft werden. Ein vSwitch ist insofern eine adäquate alternative um die Sicherheitsvorkehrungen für die gesamte Infrastruktur nicht abzusenken, dir aber gleichzeitig deinen Wunsch nach einem "lokalen Netz" ermöglicht. "Woanders" ist aber halt dann auch nicht das Hetzner Netzwerk, dafür hast du "Woanders" vielleicht auch andere Probleme oder kannst nicht über mehrere Standorte einen vSwitch nutzen.
Bei dem Rechenzentrum X bekommst du halt ein VLAN für deine Server zugewiesen, dazu benötigt du dann auch ein IP Subnet, weil es keine einzelnen IPs gibt und schon zahlst du vielleicht auch nur dafür 30 EUR im Monat. In solch einem Fall kann man dein Fall natürlich in diesem Rechenzentrum auch auf alle Racks oder Räumen verteilen - über den Standort hinaus geht es dann nur mit einem "VLAN Transfer" was ggf. teuer ist und auf der anderen Seite womöglich auch ein anderes VLAN ist.

Ich finde es auch nicht verwerflich, wenn das Rechenzentrum dir anbietet, dass es all deine Server zusammen in ein Rack packt und du eben einen dedizierten Switch dafür anmieten kannst.

Es ist eben schwierig bei Dedicated Servern all den Anforderungen der Kunden gerecht zu werden und gleichzeitig das Sicherheitsniveau aufrecht zu erhalten. Ich spreche aus Erfahrung, da ich auch Dedicated Server zur Miete anbiete und mir eben auch all diese Gedanken dazu machen muss. Mir ist daran gelegen, dass die Server und Grundinfrastruktur optimal abgesichert laufen. Ich betrachte dabei aber keine solchen Szenarien, das tue ich dann, wenn es akut wird und sich ein Kunde meldet, dann versuche ich eine Lösung zu finden. Alles andere macht ja erst mal keinen Sinn mehr, es gibt so viel mögliche Szenarien die man da abbilden kann, ob es ein PVE Cluster sein soll oder zwei Server wo einer eine Firewall ist und die via Crossconnect verbunden sind oder einfach nur ein direktes Mesh Setup.