Gleichzeitiger Betrieb von PVE, PBS und PMG über eine IP möglich?

[cpulove]

Zumindest Proxmox Mail Gateway und Proxmox Backup Server sollte man doch auf einem Webserver über eine gemeinsame IP laufen lassen können, oder kommen sich die beiden in die Quere?
Der Port 8006 und 8007 trennt ja zumindest nach aussen. Jeder hat ja seinen eigene VM/LCX.
Danke für ne kurze Einschätzung, hab auf die schnelle keine Infos dazu finden können.

 

[cwt]

Über eine IP? Was genau meinst Du damit? Zugriff von extern? Wenn es um die Webinterfaces geht: ja, das geht (NAT und/oder Proxy).

 

[cpulove]

Hi und Danke für die Rückantwort.
Also ich möchte auf meinem dedizierten Server Proxmox VE virtualisieren.
Vom Provider bekomme ich den dedizierten Server mit 8 IPv4 Adressen.
Hiervon würde ich natürlich gerne möglichst viele IPs expliziert, teils exklusiv für bestimmte Domains verwenden.
Mein Gedanke war dann Proxmox VE eine exklusive öffentliche IP zuzuweisen und PBS und PMG über eine gemeinsame öffentliche IP laufen zu lassen.
Unter der Proxmox VE soll also eine Debian VM laufen unter der Plesk dann für den Webserver zuständig ist, Parallel dann noch PBM und PMG, ebenso als VM.

 

[UdoB]

Die üblichen Email-Ports für PMG müssen natürlich von außen erreichbar sein. Aber das Webinterface von PVE, PBS und auch PMG muss das eigentlich nicht. Und ich würde versuchen, das auch nicht zu tun - das offene Internet ist nach wie vor "gefährlich". 2FA hin- oder her.

VPNs existieren, in wirklich vielen Geschmacksrichtungen. Ich persönlich habe mich auf handgeklöppelte Wireguard-Verbindungen eingeschossen -das ist so einfach, dass ich verstehe, was ich da tue

Ich kann da keine komplette Anleitung zu liefern, aber die gibt es ja zuhauf. Mein Ansatz folgt direkt https://www.wireguard.com/quickstart/

 

[CoolTux]

Du gehst da ganze gedanklich falsch an.

Auf dem dedizierten Server installierst Du Proxmox mit einer externen IP für vmbr0 dann baust Du intern für die VMs Dir ein eigenes privates Netzwerk auf. Und eine VM kann eine Firewall sein welche alle internen Netzwerkdevices inklusive vmbr0 bekommt und somit ein Bein zum öffentlichen Netz hat. Alles anderen VMs bekommen keinen direkten Zugang zum öffentlichen Netz.
Verwaltung der Umgebung komplett über VPN.

 

[cpulove]

Die üblichen Email-Ports für PMG müssen natürlich von außen erreichbar sein. Aber das Webinterface von PVE, PBS und auch PMG muss das eigentlich nicht. Und ich würde versuchen, das auch nicht zu tun - das offene Internet ist nach wie vor "gefährlich". 2FA hin- oder her.

VPNs existieren, in wirklich vielen Geschmacksrichtungen. Ich persönlich habe mich auf handgeklöppelte Wireguard-Verbindungen eingeschossen -das ist so einfach, dass ich verstehe, was ich da tue

Ich kann da keine komplette Anleitung zu liefern, aber die gibt es ja zuhauf. Mein Ansatz folgt direkt https://www.wireguard.com/quickstart/

Wireguard hatte ich schon installiert, allerdings bin ich daran gescheitert eine direkte Fritzbox<>Wireguard VM Verbindung aufzubauen.
Die Verbindung als Wireguard Client vom Rechner mit der Wireguard VM hat funktioniert, allerdings flog dann mein Arbeitsrechner Rechner aus dem Internet. Oder hab ich da nen Denkfehler, kann man das irgendwie lösen?

Du gehst da ganze gedanklich falsch an.

Auf dem dedizierten Server installierst Du Proxmox mit einer externen IP für vmbr0 dann baust Du intern für die VMs Dir ein eigenes privates Netzwerk auf. Und eine VM kann eine Firewall sein welche alle internen Netzwerkdevices inklusive vmbr0 bekommt und somit ein Bein zum öffentlichen Netz hat. Alles anderen VMs bekommen keinen direkten Zugang zum öffentlichen Netz.
Verwaltung der Umgebung komplett über VPN.

Danke für den Input! Das habe ich verstanden und das ergibt auch Sinn.
Wäre ich so nicht drauf gekommen. Hab Proxmox bislang immer nur in der Homelab Umgebung genutzt und stelle jetzt meinen dedizierten Server komplett auf v-Server um.

Also du meinst die initiale Proxmox VE hätte dan eine öffentliche IPv4, aber weder der Debianserver noch das darauf laufende Plesk einen öffentlichen Zugang übers Internet? Hier würde ich mich dann immer mittels Wireguard verbidnen?
Die Webseiten und Webserver die Plesk verwaltet kommen dann dennoch ins Netz? Vermutlich muss der Debianserver mit Plesk doch auch online sein? Alleine schon wegen dem Mailversand? Oder wird das alles transparent über die IP der Proxmox VE durchgereicht?
Muss ich mich nochmal einlesen.

Und kann man das auch noch im Nachhinein auf internes Netz umstellen?
Hab jetzt nämlich eine Testinstallation am laufen die so schon funktioniert. Auf der Mail Gateway tut schon seinen Dienst.
Hier sind allerdings alle VMs mit ner öffentlichen IPv4 versehen.

Hab auch bemerkt, dass ich den PBS eigentlich garnicht auf dem Webserver benötige. Ich kann ja die VMs und LXCs auch mit dem Proxmox Backup Server verbinden, der in meinem Homelab läuft und dort Backups auf mein lokales NAS über NFS ablegt, gleichzeitig aber auch den Storage auf dem dedizierten Webserver erreicht.

 

[cpulove]

Was ich noch vergessen hab: Ich habe Crowdsec auf der Proxmox VE isntalliert. Wollte das mal testen und Fail2Ban erstmal nicht installieren.
Die Firewall der Proxmox VE versehe ich dann mit Regeln für Zugang lediglich über Port 8006 und ssh?

 

[CoolTux]

Das heißt Du hast keinen richtigen Root Server sondern einen vServer. Also schon einen virtuellen Serve und willst da noch mal einen Hypervisor drauf packen? Also Nestet virtualisierung so zu sagen. Na da haste Dir ja was vor genommen, ob das Leistungstechn. ausreicht?

Hier mal ein Beispiel wie man es bei einem Root Server machen könnte mit dem Netzwerk

auto lo
iface lo inet loopback
iface lo inet6 loopback


auto enp41s0
iface enp41s0 inet manual

iface enp41s0 inet6 static
  address 2a01:4f9:1a:b3aa::2
  netmask 64
  gateway fe80::1




# vSwitch Konfig
#auto enp41s0.4000
#iface enp41s0.4000 inet static
#        address 192.168.100.1
#        netmask 255.255.255.0
#        vlan-raw-device enp41s0
#        mtu 1400

# vSwitch Konfig
#auto enp41s0.4001
#iface enp41s0.4001 inet manual

#auto vmbr4001
#iface vmbr4001 inet manual
#        bridge_ports enp41s0.4001
#        bridge_stp off
#        bridge_fd 0




### Proxmox typische Netzwerke
auto vmbr0
iface vmbr0 inet static
        bridge_ports enp41s0
        bridge_stp off
        bridge_fd 0
        hwaddress d3:57:99:fc:9e:27
        address 63.79.212.139
        netmask 255.255.255.192
        gateway 63.79.212.129        
        pointopoint 63.79.212.129
        up ip route add 65.108.239.137/32 dev vmbr0
        up ip route add 65.108.239.138/32 dev vmbr0


### Virtuelle Netzwerke
iface enp41s0.40 inet manual
iface enp41s0.60 inet manual
iface enp41s0.80 inet manual
iface enp41s0.90 inet manual




auto vmbr40
iface vmbr40 inet static
        bridge_ports enp41s0.40
        bridge_stp off
        bridge_fd 0
        address 10.6.4.5
        netmask 255.255.255.0
        up route add -net 10.6.32.0 netmask 255.255.255.0 gw 10.6.4.1 dev vmbr40
        up route add -net 10.6.6.0 netmask 255.255.255.0 gw 10.6.4.1 dev vmbr40
        up route add -net 10.6.8.0 netmask 255.255.255.0 gw 10.6.4.1 dev vmbr40
        up route add -net 192.168.240.0 netmask 255.255.255.0 gw 10.6.4.1 dev vmbr40
        up route add -net 10.100.0.0 netmask 255.255.255.192 gw 10.6.4.1 dev vmbr40

auto vmbr60
iface vmbr60 inet manual
        bridge_ports enp41s0.60
        bridge_stp off
        bridge_fd 0

auto vmbr80
iface vmbr80 inet manual
        bridge_ports enp41s0.80
        bridge_stp off
        bridge_fd 0

auto vmbr90
iface vmbr90 inet manual
        bridge_ports enp41s0.90
        bridge_stp off
        bridge_fd 0

Bei diesem exemplarischen Beispiel ist vmbr0 der Weg ins Internet. Hier würde dann auch die Firewall ein Bein rein bekommen genau wie in alle anderen Netze.


Das vlan40 ist das Management Netz und daher hat das Netzinterface hier auch eine IP. Das ist die von der Proxmox Gui. Alle anderen Interfaces sind für die VMs und daher hier bei Proxmox keine IP. vmbr60 ist das Server Netz.




Grüße

 

[cpulove]

Nein, ich habe einen gemieteten und potenten dedizierten Server mit root Zugang: Ryzen 7950X3D mit 128GB DDR5, 2x4TB NVME. Sollte von der Leistung also ausreichen für das Vorhaben!

Dort habe ich wie oben im Screenshot zu sehen die Proxmox VE installiert, darunter die entsprechenden VMs und die Wireguard LCX.
Alles eben nur unter öffentlichen IPv4 Adressen.
Ich versuch jetzt mal ein internes VLAN mit virtueller Netzwerkkarte unter der Proxmox VE einzurichten.
Kann ich die VMS dann einfach nachträglich auf das neue VLAN umstellen?
Backup ist ja schon vorhanden... Wenn was schief geht spiel ich das einfach zurück...

 

[CoolTux]

Ja das sollte gehen. Musst aber ein entsprechendes IP Netz für jede vmbr dann wählen

Beispiel

vmbr60
10.6.6.0/24

vmbr40
10.6.4.0/24


und so weiter.

Und die einzige Verbindung zwischen allen Netzen macht dann eine Firewall mit eigener öffentlicher IP am vmbr0 Interface.

 

[cpulove]

Okay, Danke. Das hab ich soweit verstanden.
Als Firewall kann dann aber die der initialen Proxmox VE nutzen, die ja eh über die öffentliche IP im Netz ist?
Oder empfiehlt es sich hierfür extra ne ne OPNsense zu installieren?

 

[CoolTux]

Du nimmst eine separate Firewall.
OPNSense ist eine gute Lösung und an das Netzinterface der OPNSense welche an vmbr0 bei Proxmox gebunden ist legst Du unter OPNSense eine zweite öffentliche IP Addresse.

Die IP Adresse welche selbst direkt an vmbr0 auf Proxmox gebunden ist nimmst Du ausschließlich für ssh wenn mal gar nichts mehr geht. Für all Deine Services der VMs nimmst Du die WAN IP der Firewall.

 

[cpulove]

Okay, Danke. Dann werd ich mal OPNSense draufbügeln und die Netzwerke anlegen.

 

[UdoB]

Wireguard hatte ich schon installiert, allerdings bin ich daran gescheitert eine direkte Fritzbox<>Wireguard VM Verbindung aufzubauen.
Die Verbindung als Wireguard Client vom Rechner mit der Wireguard VM hat funktioniert, allerdings flog dann mein Arbeitsrechner Rechner aus dem Internet. Oder hab ich da nen Denkfehler, kann man das irgendwie lösen?

Sorry, da kann ich nichts zu sagen. Meine Lösung @Home ist handverdrahtet. Die Fritz!Box taugt für mich nur bedingt, weil man absolut nicht zwischen Fritz!Box und Internet kommt...

 

[cpulove]

Ich hätte da nochmal ne Verständnisfrage.
Hab OPNSense jetzt installiert. Es hat ein zwei Netzwerk Interfaces, eins für LAN und eins für LAN.
Wie muss ich bei der Zuweisung der IP Adresse im OPNSense vorgehen?

Wie erwähnt > mein PVE hat ne öffentliche IPv4


OPNSense hat zwei Netzwerkschnittstellen.


Wie weise ich das gegenseitig zu, dass ich von zu hause auf OPNSense komme? Der dedicated Server ist ja nicht in meinem Heimnetz, sondern seht beim Provider im Rechenzentrum.

 

[CoolTux]

Das einrichten ist der komplexe Teil. Ich verbinde mich mit der Firewall per VPN an die zusätzliche öffentliche IP die an der WAN Seite der Firewall gebunden ist.
ich habe die erste Einrichtung über die IP des Hosts gemacht und dort dann Portweiterleitung mittels ssh aktiviert gehabt.

Dazu habe ich als internes interface das vmbr40 genommen welches auch eine ip am Host bekommt. das Management Interface.



Am besten du richtest erstmal zwei interface für die sense ein. eines für das wan interfade, gebunden an vmbr0 und eines an vmbr5 welche eine ip bekommt die im selben netzwerk ist wie ip welche direkt an vmbr5 angegeben ist.

 

[cpulove]

Good morning, soweit komme ich jetzt klar. Nochmal Danke in die Runde.

Noch eine Rückfrage:

Mein Proxmox VE nutzt wie erwähnt eine öffentliche IP, was ja ansich auch so gewollt ist.
Allerdings stelle ich fest, dass dies über ne Bridge läuft (vmbr0).

auto lo
iface lo inet loopback

auto eno1
iface eno1 inet manual

iface eno2 inet manual

iface enxbe3af2b6059f inet manual

auto vmbr0
iface vmbr0 inet static
        address 1XX.XXX.XXX.18/28
        gateway 1XX.XXX.XXX.17
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0

Wäre es nicht sonvoller hier die vmbr0 rauszunehmen und das ganze hoch auf die physikalische Netzwerkkarte zu legen?
Oder macht das keinen Unterschied? Und wenn ich das so umstelle, also von vmbr0 auf eno1 komme ich dann noch per Internet auf die PVE?
Also quasi so:

auto lo
iface lo inet loopback

auto eno1
iface eno1 inet static
        address 1XX.XXX.XXX.18
        netmask 28
        pointtopoint 1XX.XXX.XXX.17 
        gateway 1XX.XXX.XXX.17

iface eno2 inet manual

iface enxbe3af2b6059f inet manual

auto vmbr0
iface vmbr0 inet manual

Noch zur Ergänzung: Von meinem Provider habe ich ich 13 IPv4 Adressen, von 1XX.XXX.XXX.18 bis 1XX.XXX.XXX.30 bekommen.
Alle unter ner Netmask /28 mit Gateway 1XX.XXX.XXX.17 und Broadcast 1XX.XXX.XXX.31
Die erste IP kann DHCP und über die zweite IP 1XX.XXX.XXX.19 ist der IPMI erreichbar.
Die restlichen IP Adressen stünden also für andere Sachen zur Verfügung.

 

[CoolTux]

Die Pakete der VMs müssen ja irgendwo hin. Entweder durch maskieren oder Routing. Wenn Du vmbr0 eine öffentliche IP gibst dann kann hier entsprechend weiter geroutet werden über das Interface.

So sehe ich das zu mindest. Man kann es aber auch anders machen.