Proxmox als ESXi / vCenter Ersatz

P

PikAss

Member
Jan 9, 2025
45
18
8
Hallo Leute, die die meine Threads kennen wissen vielleicht noch, dass ich zwar gerade einen privaten Homeserver baue, aber die Erkenntnisse von dort auch mit in mein berufliches Umfeld tragen möchte.

Im Gespräch mit meinen Kollegen sind nun mehrere Fragen aufgekommen die ich hier gerne kurz posten würde. Aber erstmal zur Konfig auf der Arbeit:
Wir haben eine vCenter Appliance die als Gesamtmanagement für mehrere ESXi Hosts eingesetzt wird (ohne Cluster). Die ESXi Hosts sind alle eigenständig aufgesetzt. Sie haben alle Ihren eigenen Datastore der sich auf Ihren lokalen Platten befindet und hosten ihre eigenen VM`s welche sich ebenfalls auf den lokalen Datastores befindet. Sofern die Hardware des Hosts die gleiche CPU Architektur hat, ist eine Hot Migration auch möglich unter den Hosts.
Das ganze mag so vielleicht nicht Stand der Dinge sein, aber es für uns so leicher zu handeln. Wir sind nur 3 Leute die sich um knapp 200 virtuelle Server mit diversenen Anwendungen kümmern müsssen + das Management was man für so einen Betrieb alles benötigt (Domäne, Backup, usw)

Nun zu unseren Fragen:
Wie kann ich die ESXi Struktur in Proxmox "nachbauen"?
Eine Verwaltungsinstanz, mehrere Hosts mit ihren eigenständigen VM`s darunter?
Bis jetzt habe ich dazu das Thema Cluster gefunden, aber sowas wollen wir gar nicht bzw. verstehen wir darunter vielleicht etwas anderes?
Oder erfordert das bei uns einfach ein umdenken in der Organisation wie wir sie haben?

Welche Schnittstellen hat Proxmox (PBS) was Backups angeht?
Snapshots sichern ist ja ganz gut, aber wir haben auch Datenbanken (vorrangig SQL) die wir auch als solche mit NetBackup sichern. Hier ist es auch wichtig, das Transaktionslog mit zu sichern.
In Netbackup gibt es dazu diverse "Konnektoren" (weiß nicht genau wie die das nennen, Plugins?) die diese Art von Sicherung dann übernehmen.
Wir sichern dort Snapshots (VM, Windows, UNIX), SQL, LotusNotes und BMR Sicherungen, für die handvoll Physischen Server (ein paar Domänencontroller und die NetBackup Medienserver).
Geht das alles mit Proxmox bzw. PBS? Also nicht nur Snapshots sondern auch einzelne Dateien bzw. SQL Transaktionslogs etc. wegischern?
 
Hi,

PikAss said:
Wie kann ich die ESXi Struktur in Proxmox "nachbauen"?
Eine Verwaltungsinstanz, mehrere Hosts mit ihren eigenständigen VM`s darunter?
Bis jetzt habe ich dazu das Thema Cluster gefunden, aber sowas wollen wir gar nicht bzw. verstehen wir darunter vielleicht etwas anderes?
Oder erfordert das bei uns einfach ein umdenken in der Organisation wie wir sie haben?
Click to expand...
Je nach Anforderungen an die zentrale Controlplane könnte unser (ziemlich neuer) Proxmox Datacenter Manager die Lücke wohl ganz füllen: https://forum.proxmox.com/threads/proxmox-datacenter-manager-first-alpha-release.159323/

Damit kann man auch zwischen einzelnen Hosts, ohne Cluster, VMs live migrieren. Also praktisch die aktuelle Struktur erhalten.
Soweit Ihr natürlich keine Anforderungen habt, die clustern zwingend erforderen, wie z.B. HA.

PikAss said:
Geht das alles mit Proxmox bzw. PBS? Also nicht nur Snapshots sondern auch einzelne Dateien
Click to expand...
Einzelne Dateien ja, zumindest unter Linux-basierten Systemen mit dem proxmox-backup-client.
Für Windows und exotische Unix-Varianten wird das leider eher schwierig, da gibt es zumindest keinen offiziellen Client.
 
Zum MGMT von vielen einzelnen Instanzen (und live migration dazwischen) gibt es den PDM. Aktuell noch eine Alpha, aber ihr könnt sehen, wo die Reise hingeht.

Zu den Backups: hier kommt es drauf an ob die Datenbanken auf Windows laufen. Denn da kann es in den Defaulteinstellungen zu Problemen mit weiteren Backuplösungen kommen. Primär wegen VSS und mit welchem Modus der Qemu Guest Agent das triggert. Seit ein paar Versionen kann man aber über einen Registrywert einstellen welche VSS Variante der Guest Agent verwenden soll.

Mehr Details gibts zusammengefasst in diesem recht neuen Artikel in der Proxmox VE wiki: https://pve.proxmox.com/wiki/VM_Backup_Consistency
 
  • Like
Reactions: Johannes S
Ich würde in der Situation auf jeden Fall einen Cluster bilden. Du verlierst dabei nichts und die Komplexität kommt erst (mehr oder weniger) wenn du HA aktivierst. Ohne HA kann faktisch nichts schiefgehen.

Dh die Minimalvariante von PVE, 3 hosts, lokaler Storage macht genau das, was ihr jetzt habt.
 
pvps1 said:
Ich würde in der Situation auf jeden Fall einen Cluster bilden. Du verlierst dabei nichts und die Komplexität kommt erst (mehr oder weniger) wenn du HA aktivierst. Ohne HA kann faktisch nichts schiefgehen.

Dh die Minimalvariante von PVE, 3 hosts, lokaler Storage macht genau das, was ihr jetzt habt.
Click to expand...
Nachtrag: auf jeden Falll ZFS verwenden!
 
  • Like
Reactions: Johannes S and UdoB
Hi,
bei 200VMs hätte ich schon längst einen vSphere Cluster gebaut, denn so mit einzel Hosts ist es doch deutlich aufwendiger.

Ich würde beim Wechsel auch zum Cluster tendieren, da man dann einige Disnge automatisch laufen lassen kann, welche mit Einzelhosts mehr Arbeit erzeugen.
Bei 200VMs und mehreren Hosts könnte man über Ceph nachdenken, es klingt erst einmal komplex, aber wenn man ein vernünftiges Setup hat, ist es wartungsärmer und fexibler als ZFS. Wenn HCI nicht in Frage kommt, ist ZFS mit VM Replikation zu empfehlen, dann kann man bei Hostupdates auch bequem automatisch die Hosts frei räumen lassen und nachher werden die VMs zurückmigriert.
 
  • Like
Reactions: Johannes S and UdoB
cheiss said:
Hi,


Je nach Anforderungen an die zentrale Controlplane könnte unser (ziemlich neuer) Proxmox Datacenter Manager die Lücke wohl ganz füllen: https://forum.proxmox.com/threads/proxmox-datacenter-manager-first-alpha-release.159323/

Damit kann man auch zwischen einzelnen Hosts, ohne Cluster, VMs live migrieren. Also praktisch die aktuelle Struktur erhalten.
Soweit Ihr natürlich keine Anforderungen habt, die clustern zwingend erforderen, wie z.B. HA.
Click to expand...
Hallo und erstmal Sorry für die sehr späte Antwort.

Vielen dank für die vielen Rückmeldungen, das hilft uns schonmal weiter in unseren Fragen.

Das Controlplane sieht schon vielversprechend aus.

pvps1 said:
Nachtrag: auf jeden Falll ZFS verwenden!
Click to expand...
Da wüsste ich gar nicht ob wir das machen können.
Wir haben in den Servern ja Hw Raidcontroller. Im Moment auf jedem Host als Raid6 für den Datastore konfiguriert. Kann ich die Platten dann den Raid6 einfach nehmen und sagen, du bist jetzt ZFS?
In meinem privaten Projekt ist genau das nämlich wohl ein Problem. Wenn der Raid Controller kein HBA / IT-Mode ist, kann man die Platten nicht direkt durchreichen und zB an eine VM weitergeben. Besteht das Problem dann mit proxmox als Host auch oder ist das dann egal, weil es ja der Host ist der eigentlich die Verwaltung der Hardware übernimmt?

Falk R. said:
Hi,
bei 200VMs hätte ich schon längst einen vSphere Cluster gebaut, denn so mit einzel Hosts ist es doch deutlich aufwendiger.

Ich würde beim Wechsel auch zum Cluster tendieren, da man dann einige Disnge automatisch laufen lassen kann, welche mit Einzelhosts mehr Arbeit erzeugen.
Bei 200VMs und mehreren Hosts könnte man über Ceph nachdenken, es klingt erst einmal komplex, aber wenn man ein vernünftiges Setup hat, ist es wartungsärmer und fexibler als ZFS. Wenn HCI nicht in Frage kommt, ist ZFS mit VM Replikation zu empfehlen, dann kann man bei Hostupdates auch bequem automatisch die Hosts frei räumen lassen und nachher werden die VMs zurückmigriert.
Click to expand...

Wie schon gesagt, das Thema Cluster im vSphere ist erstmal abgehakt. Aufgrund von Kapazitäten beim Personal. Betrieb > alles andere.
Ist unbefriedigend, muss aber laufen. vSphere will ja eigentlich eh weg von den Baseline Updates pro Host, hin zum Cluster und Imagebasierten Updates, das haben wir mal nen Tag probiert, sind aber schnell auf Hürden gestoßen bei denen wir nicht weiterkamen. Seitdem haben wir einen Testfakecluster mit dem wir irgendwann mal weiter machen wollen. Solange das mit den Baselines geht, haben wir noch Luft.
Die Cluster Sache bei proxmox müsste man sich dann mal ansehen, grad Vor- und Nachteile raus arbeiten und schauen wie es bei uns reinpasst. Wir haben aufgrund der Einzelhstverwaltung zB keine SAN, auch nur RJ45 10 GBit als Infrastruktur, da weiß ich nicht wie sinnvoll es ist auf das Pferd zu setzen.

cheiss said:
Einzelne Dateien ja, zumindest unter Linux-basierten Systemen mit dem proxmox-backup-client.
Für Windows und exotische Unix-Varianten wird das leider eher schwierig, da gibt es zumindest keinen offiziellen Client.
Click to expand...

Dann ist das Thema leider eigentlich schon gestorben. UNIX Server sind glaub ich 10 oder sowas, der Rest ist alles Windows und alle Datenbankserver sind auch MS-SQL. Das ist bei uns dann ein Kill-Kriterium. Tansaktionslogs einzelner DB ist ein MUSS bei uns.
Wenn proxmox irgendwann mal mit NetBackup zusammen kommt, können wir da vielleicht was machen, so allerdings nicht.
Und nur für die 10 UNIX Kisten ein proxmox zu bauen wäre auch Overkill, dann hätten wir noch einen Virtualisierer mehr um den wir uns gesondert kümmern müssen.
Wenn hier mal wieder mehr Leute sind und / oder ich mehr Zeit habe fürs "basteln" werde ich auf jedenfall trotzdem hier mal proxmox aufsetzen und auch mit Custer rumspielen.

Nochmals vielen Dank für die Informationen. Wir lesen uns mit Sicherheit bald wieder.
 
PikAss said:
Da wüsste ich gar nicht ob wir das machen können.
Wir haben in den Servern ja Hw Raidcontroller. Im Moment auf jedem Host als Raid6 für den Datastore konfiguriert. Kann ich die Platten dann den Raid6 einfach nehmen und sagen, du bist jetzt ZFS?
In meinem privaten Projekt ist genau das nämlich wohl ein Problem. Wenn der Raid Controller kein HBA / IT-Mode ist, kann man die Platten nicht direkt durchreichen und zB an eine VM weitergeben. Besteht das Problem dann mit proxmox als Host auch oder ist das dann egal, weil es ja der Host ist der eigentlich die Verwaltung der Hardware übernimmt?
Click to expand...
Hi, hier wird ganz oft die Empfehlung als Gesetz dargestellt. Es wird nicht empfohlen Raid Controller mit ZFS zu nutzen, aber man kann es tun wenn man weiß was man tut und den Verlust von ein parr Features in Kauf nimmt.
Wenn du ein Hardware Raid hast, dann kannst du ein ZFS Pool mit Single vdev bauen. Aber bitte niemals ein zweites vdev hinzufügen. Selfhealing funktioniert natürlich auch nicht.
Auch dieses "dumme" umflashen auf IT-Mode ist eigentlich seit vielen jahren überholt. Alle gängigen Controller kann man im Bios umstellen und dann ist der Raidchip deaktiviert.
PikAss said:
Wie schon gesagt, das Thema Cluster im vSphere ist erstmal abgehakt. Aufgrund von Kapazitäten beim Personal. Betrieb > alles andere.
Ist unbefriedigend, muss aber laufen. vSphere will ja eigentlich eh weg von den Baseline Updates pro Host, hin zum Cluster und Imagebasierten Updates, das haben wir mal nen Tag probiert, sind aber schnell auf Hürden gestoßen bei denen wir nicht weiterkamen. Seitdem haben wir einen Testfakecluster mit dem wir irgendwann mal weiter machen wollen. Solange das mit den Baselines geht, haben wir noch Luft.
Click to expand...
Naja, man muss nur das Einrichten des Images verstanden haben, dann läuft das tatsächlich besser.
PikAss said:
Die Cluster Sache bei proxmox müsste man sich dann mal ansehen, grad Vor- und Nachteile raus arbeiten und schauen wie es bei uns reinpasst. Wir haben aufgrund der Einzelhstverwaltung zB keine SAN, auch nur RJ45 10 GBit als Infrastruktur, da weiß ich nicht wie sinnvoll es ist auf das Pferd zu setzen.
Click to expand...
Da kannst du Perfekt mit ZFS Replika arbeiten.
PikAss said:
Dann ist das Thema leider eigentlich schon gestorben. UNIX Server sind glaub ich 10 oder sowas, der Rest ist alles Windows und alle Datenbankserver sind auch MS-SQL. Das ist bei uns dann ein Kill-Kriterium. Tansaktionslogs einzelner DB ist ein MUSS bei uns.
Wenn proxmox irgendwann mal mit NetBackup zusammen kommt, können wir da vielleicht was machen, so allerdings nicht.
Und nur für die 10 UNIX Kisten ein proxmox zu bauen wäre auch Overkill, dann hätten wir noch einen Virtualisierer mehr um den wir uns gesondert kümmern müssen.
Wenn hier mal wieder mehr Leute sind und / oder ich mehr Zeit habe fürs "basteln" werde ich auf jedenfall trotzdem hier mal proxmox aufsetzen und auch mit Custer rumspielen.
Click to expand...
Die meisten Backuphersteller benötigen eh einen Agent in der VM, daher ändert sich eigentlich gar nichts.
Ich nutze den PBS immer für extrem schnellen Restore/DR und für die SQL, AD und Exchange nutze ich am liebsten Veeam (mit Agent).
Das Agentless Backup der VM in PVE wird auch irgendwann kommen, aber da wird auch in Laufzeit ein Agent remote ausgeführt. ;)
 
  • Like
Reactions: Johannes S and Azunai333
Wir haben es nun tatsächlich in Angriff genommen und einen unserer älteren ESXi Hosts mit Proxmox installiert und machen so die ersten Tests, vor allem was dann das Thema Backups angeht.
Aktuelles Setup ist:
Dell R930
Intel X550 2x10GBit RJ45
PVE Grundinstallation und folgende Netzwerkeinstellung eingebaut.

Code: 
/etc/network/interfaces:

# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface idrac inet manual

#iface eno1 inet manual

#iface eno2 inet manual

#auto eno3
#iface eno3 inet manual

#auto eno4
#iface eno4 inet manual

#iface enp10s0f0 inet manual

#iface enp10s0f1 inet manual

auto bond0
iface bond0 inet manual
        bond-slaves enp10s0f0 enp10s0f1
        bond-miimon 100
        bond-mode active-backup
        bond-primary enp10s0f0

auto bond0.31
iface bond0.31 inet manual
        vlan-raw-device bond0

auto vmbr31
iface vmbr31 inet static
        address xxx.x.31.xx/24
        gateway xxx.x.31.254
        bridge-ports bond0.31
        bridge-stp off
        bridge-fd 0

auto bond0.20
iface bond0.20 inet manual
        vlan-raw-device bond0

auto vmbr20
iface vmbr20 inet manual
        bridge-ports bond0.20
        bridge-stp off
        bridge-fd 0

auto bond0.122
iface bond0.122 inet manual
        vlan-raw-device bond0

auto vmbr122
iface vmbr122 inet manual
        bridge-ports bond0.122
        bridge-stp off
        bridge-fd 0


Ziel sollte sein, dass beide 10GBit Ports Ausfallsicherheit darstellen und unsere 3 VLAN´s "verstehen".
Je Nach VM wird dann halt in der VM das benötigte VLAN konfiguriert.

Der Dell Switchport an dem die beiden 10GBit Ports hängen ist als Trunk mit VLAN31,20,122 konfiguriert.

PVE ist so auch erreichbar -> ABER dafür ist ein ESXi Host der im gleichen VLAN31 hängt, aber eine andere statische IP hat und an anderen Ports auf anderen Switchen hängt auf einmal gestört.
Ein Dauerping auf den PVE und den ESXi zeigt dann, dass der ESXi zu 99% nicht erreichbar ist (Zielhost nicht erreichbar / Zeitüberschreitung) und der PVE genau entgegengesetzt einmal alle 5-6 Pings mal einen kurzen Aussetzer hat.

Auf einem Dell R950 mit einer Intel X550 2x 10GBit NIC ist die gleiche Konfig, aber die stört keinen anderen ESXi Host.

Hat da jemand an der Stelle schon eine Idee?
Gibt es eine generelles Problem an der Stelle mit Treibern oder ist der Server zu alt?


Backup testen wir grad mit Veeam rum, die haben ja schon den proxmox im Portfolio.
 
  • Like
Reactions: Johannes S
PikAss said:
Backup testen wir grad mit Veeam rum, die haben ja schon den proxmox im Portfolio.
Click to expand...

Das würde ich mir angesichts der hier im Forum berichteten Kinderkrankheiten noch mal überlegen, wenn ihr eh von Vmware wegwollt. Dann kann es envtl. sinnvoller und kostengünstiger sein auf dem PBS für die VM Backups zu wechseln und Datenbankbackups etc mit einen Veeamagent abzufackeln (wenn das nur ausgewählte Server wie SQL, AD etc betrifft, braucht man ja nicht mehr die teureren Lizensen für Vmware), dazu hat Falk ja schon oben was geschrieben.
 
Last edited:
PikAss said:
Backup testen wir grad mit Veeam rum, die haben ja schon den proxmox im Portfolio.
Click to expand...
Bei Veeam scheinen BSODs auch öfter mal bei Windows nach Updates an der Tagesordnung zu sein - zumindest wenn man die Berichterstattung auf BornCity mitverfolgt.
https://www.borncity.com/blog/?s=veeam


PikAss said:
Intel X550 2x10GBit RJ45
Click to expand...
Anderen Kernel (älter) mal getestet?
Treiber / Firmware auf der Karte sind aktuell?
Passiert das auch wenn nur ein Port gesteckt ist?
 
Last edited:
Wir wollen aktuell nicht von VMWare unbedingt weg, aber durch mein Privates Projekt hab ich hier mal versucht zu inspirieren.

Im Moment fällt natürlich auch alles noch etwas schwer -> Bei VMWare geht das so und so, bei PVE hat auch, aber irgendwo anders -> logisch.
Ab und zu fehlt auch einfach (mit unserem Wissensstand) die Möglichkeit etwas über die GUI einzustellen und man muss es dann doch per Hand zu Fuß einstellen.
Mit unserem "Setup" fahren wir ja auch nicht unbedingt Effizient. Mit einer Migration auf PVE muss man ja auch nicht das einfach nachbauen was wir aktuell betreiben, nur weil: Ham wa schon imma so jemacht!
Also versteht mich da bitte nicht falsch.

Kernel -> Nein, kommt bei uns auch nicht in Frage sollte das mal produktiv gehen
Firmware auf der Karte sind auf dem R930 und dem R940 gleich
Auch bei nur einem Port tritt das Phänomen auf

Da das bei dem R940 nicht auftritt, kann es auch was völlig anderes sein. Die R930 und R940 sind bei uns unsere alten Server die noch für sowas, also zum testen von irgendwas, mal hernehmen, bis sie denn dann den Geist aufgeben. Bei dem R940 scheint es ja ohne Probleme zu funktionieren, seltsam bleibt es aber erstmal.

Zum Thema Backup:
Uns ist einfach der SQL Connector wichtig um direkt auf SQL Basis mehrmals täglich Backups zu machen inklusive der Möglichkeit ein Transaktionlog zu sichern. Unsere SQL Server, generell fast alle Server, sind Windows und auch das wird wohl erstmal so bleiben.

Wir wollen halt auch nicht mehrere Sw Produkte für einen Anwendungsfall einsetzen. Wir sind im Moment nur drei die sich um alles im IT-Betrieb kümmern. PBS für die "normalen" Backups und dann irgendein anderes Produkt für die SQL DB`s fällt also aus.
Genial wäre hier halt ein PBS Agent mit SQL Connector für Windows oder sowas, vielleicht wird es sowas ja mal geben,

Die Zentrale Verwaltung wie das vCenter gibt es ja schon in der Alpha, das läuft also bald :-)
 
  • Like
Reactions: ThoSo and Johannes S
Passt schon. Den schon immer so gemacht kenne ich auch noch :)
Letzte ideen:
PatchKabel kannst ausschliessen?
Dell bios auf letztem stand?
Alternative Netzwerkkarte im schrank zum testen?
Irgend eine switch einstellung die dropped?
 
Last edited:
Alle Patches und Fw sind aktuell
Kabel haben wir auch schon getauscht und Karte auch. Denke mal liegt irgendwie am R930. Wir fahren unseren Test jetzt einfach mit dem R940 weiter.
Noch was zur Netzwerkkonfig.
Macht man das wirklich so wenn man das so konfigurieren will wie ihr wollten oder gibt es da einen eleganteren Weg?
 
PikAss said:
Wir haben es nun tatsächlich in Angriff genommen und einen unserer älteren ESXi Hosts mit Proxmox installiert und machen so die ersten Tests, vor allem was dann das Thema Backups angeht.
Aktuelles Setup ist:
Dell R930
Intel X550 2x10GBit RJ45
PVE Grundinstallation und folgende Netzwerkeinstellung eingebaut.

Code: 
/etc/network/interfaces:

# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface idrac inet manual

#iface eno1 inet manual

#iface eno2 inet manual

#auto eno3
#iface eno3 inet manual

#auto eno4
#iface eno4 inet manual

#iface enp10s0f0 inet manual

#iface enp10s0f1 inet manual

auto bond0
iface bond0 inet manual
        bond-slaves enp10s0f0 enp10s0f1
        bond-miimon 100
        bond-mode active-backup
        bond-primary enp10s0f0

auto bond0.31
iface bond0.31 inet manual
        vlan-raw-device bond0

auto vmbr31
iface vmbr31 inet static
        address xxx.x.31.xx/24
        gateway xxx.x.31.254
        bridge-ports bond0.31
        bridge-stp off
        bridge-fd 0

auto bond0.20
iface bond0.20 inet manual
        vlan-raw-device bond0

auto vmbr20
iface vmbr20 inet manual
        bridge-ports bond0.20
        bridge-stp off
        bridge-fd 0

auto bond0.122
iface bond0.122 inet manual
        vlan-raw-device bond0

auto vmbr122
iface vmbr122 inet manual
        bridge-ports bond0.122
        bridge-stp off
        bridge-fd 0


Ziel sollte sein, dass beide 10GBit Ports Ausfallsicherheit darstellen und unsere 3 VLAN´s "verstehen".
Je Nach VM wird dann halt in der VM das benötigte VLAN konfiguriert.

Der Dell Switchport an dem die beiden 10GBit Ports hängen ist als Trunk mit VLAN31,20,122 konfiguriert.

PVE ist so auch erreichbar -> ABER dafür ist ein ESXi Host der im gleichen VLAN31 hängt, aber eine andere statische IP hat und an anderen Ports auf anderen Switchen hängt auf einmal gestört.
Ein Dauerping auf den PVE und den ESXi zeigt dann, dass der ESXi zu 99% nicht erreichbar ist (Zielhost nicht erreichbar / Zeitüberschreitung) und der PVE genau entgegengesetzt einmal alle 5-6 Pings mal einen kurzen Aussetzer hat.

Auf einem Dell R950 mit einer Intel X550 2x 10GBit NIC ist die gleiche Konfig, aber die stört keinen anderen ESXi Host.

Hat da jemand an der Stelle schon eine Idee?
Gibt es eine generelles Problem an der Stelle mit Treibern oder ist der Server zu alt?


Backup testen wir grad mit Veeam rum, die haben ja schon den proxmox im Portfolio.
Click to expand...
Hi ich finde das Setup etwas umständlich, aber viele machen soetwas, da man die Konfiguration von VMware gewohnt ist.
Ich persönlich nutze immer nur eine vmbr (quasi vSwitch) und mache diese VLAN Aware. Für das Management mache ich dann ein VLAN Interface auf der Bridge, z.B. vmbr0.31 für das Management.
Den Rest kann man dann mit VLAN IDs an den VMs oder simpler per SDN konfigurieren, das ist von der Handhabung ungefähr wie der Distributed Switch von VMware.
Aber trotzdem sollte das Setup so laufen. Eventuell mal die Switchkonfiguration Checken, soetwas mit diesen Aussetzern klingt für mich nach LAG/LACP Fehlern irgendwo auf der Strecke.
 
  • Like
Reactions: Johannes S
Verursacht LACP dann auch das Verhalten von ESXi Host?
Soweit ich weiß haben wir die Ports auf dem Switch aber nur so konfiguriert wie geschrieben.
 
PikAss said:
Verursacht LACP dann auch das Verhalten von ESXi Host?
Soweit ich weiß haben wir die Ports auf dem Switch aber nur so konfiguriert wie geschrieben.
Click to expand...
Die Frage ist, wie versteht DELL das Wort Trunk. Bei Cisco bedeutet das, alle VLANs werden getagged und bei HPE bedeutet das eine LAG wird gebaut.
Bei Dell bin ich mir nicht sicher, da es welche mit dem alten DELL OS, Force10 OS oder dem neuen OS10 (mix aus beidem) sein kann.
 
Evtl. Einmal prüfen ob doppelte mac adressen vorhanden sind. Da hatte ich virtuell auch schon mal ein Problem mit. Vor allem bei den VMs nachsehen.

Proxmox ist aktuell 8.4?
 
Es gibt noch keine VMs auf dem PVE. Das Problem ist im vlan31 wo der pve und halt der betroffen ESXi Host hängen. Da sind auch nur die ganzen Hosts drin.
Vor PVE war auf dem Host auch ESXi installiert und lief jetzt knapp 10 Jahre ohne solche Probleme zu machen.
Wir haben ja sogar auf dem PVE Host schon die NIC getauscht. Aber hab nochmal geschaut, keine gleichen MAC.
Den Hinweis von Falk müssen wir noch checken.
PVE ist 8.3.5, wir haben noch keine subscription gekauft wegen dem rum testen.
PVE 8.3.5 ist aber auch auf dem R940 installiert wo das Problem ja nicht auftritt.
Wenn der Hinweis von Falk auch ins Leere führt, hake ich das einfach ab als „R930“ Problem.
Es sind ja eh alte Server die niemals wieder produktiv genommen werden, also eigentlich nur halb so schlimm. Meine Hoffnung war natürlich den Fehler wirklich zu finden um bei einem eventuellen Wechsel des Produktivsystems und einem Fehler dieser Art eine Handlungsanweisung zu haben.
Jetzt ist aber erstmal Feierabend
 
  • Like
Reactions: ThoSo
Ganz ehrlich, das kann kein Fehler vom Host sein. Was ich bei älteren Servern auch oft sehe, sind Probleme zwischen Treiber und Firmware. Der PVE bringt mit seinem aktuellen Kernel auch aktuelle Treiber mit, aber einige ältere Server haben noch sehr alte Firmwarestände. Gerade bei Broadcom gibts öfter mal Probleme wenn die Firmware zu alt ist.
 
  • Like
Reactions: Johannes S
You must log in or register to reply here.
Top Bottom