Windows 11 and Windows Server 2022 freeze during setup at different positions

[Ralef]

Hello,

I am new to the forum.
I am considering using Proxmox as a replacement for VMware.
To test the system, I have installed 4 PVE ( 6.8.4-2) hosts as VMs on a Hyper-V host (nested) as a cluster and set them up including ceph.
This is running stably.
Linux VMs with and without graphics can be installed and operated.

I can't even manage to install Windows VMs. Whether Windows 11 or Server 2022 is not important. Both systems keep getting stuck at different points during the copy process and simply stop working. They do not cause any further CPU load.

I have not been able to find any information about this on Dr. Internet or here in the forum.

Can anyone help me here?

Thank you very much

 

[Falk R.]

The Problem is the virtualization from a Hypervisor inside a HyperV VM. This can work, but actual Windows have trouble many times.
You can try the CPU Type „host“.

 

[Ralef]

Hello Falk,

Thank you very much for your quick help.

I have followed your recommendation.
Windows 11 (UEFI and TPM) then fails during the installation of the VioSCSI driver.
Server 2022 still fails while copying the files.

What would be a recommendation if I first want to blow my own horns with a nested environment?

 

[Falk R.]

Nested is your Problem and I think there is no fix. For real Tests, please use dedicated Hardware. I use for testing Ryzen Workstations with 10 GBit NICs. That works great.

 

[Ralef]

Hallo Falk,
das ist etwas aufwendig. Ich möchte worst case Scenarien simulieren.
Hierfür habe ich 4 Hosts und einen Backup Server nötig.
Mein Ziel ist es der Kundschaft Proxmox inkl. Support (vom Hersteller) anzubieten.
Ich komme von VMware (Jahrzehnte) und muss nun Hyper-V einsetzen.

Zum Thema nested: Wenn ich statt Hyper-V Promox als Host verwenden würde, hätte ich die Erwartung, das dass spätestens sauber funktioniert.

Die Vielzahl der Probleme, die hier im Forum diskutiert werden, verunsichern mich.
Ich kann keine Nebenkriegsschauplätze gebrauchen. Wie sind Deine Erfahrungen?

 

[cwt]

Wie @Falk R. schon schrieb: PVE als nested ist das Problem (und prinzipiell immer anfällig, egal in welcher Konstellation). Warum „musst“ Du denn Hyper-V einsetzen als primären Hypervisor? Die „Vielzahl“ der Probleme im Forum basiert - wie bei allen anderen IT-Systemen - auf dem riesigen Pool und Kombinationsmöglichkeiten der Hardware, der Administrationsphilosophie, teils mangelnder Kenntnis (was ja nix Schlimmes ist, wir haben alle mal klein angefangen), Einsatz von viel zu schwacher und nicht geeigneter Hardware (bspw. Dauerthema: Consumer Laufwerke in Verbindung mit ZFS), überbuchten Ressourcen und teilweise werden hier verstärkt Themen aufgemacht, die mit Proxmox direkt nix zu tun haben (nicht laufende Docker Container oder LXCs mit Tool XYZ).

Falls Du Hardware „über“ hast, würde ich Dir (ebenfalls) zu einem Test-Setup raten und PVE direkt installieren.

 

[Falk R.]

Hallo Falk,
das ist etwas aufwendig. Ich möchte worst case Scenarien simulieren.
Hierfür habe ich 4 Hosts und einen Backup Server nötig.
Mein Ziel ist es der Kundschaft Proxmox inkl. Support (vom Hersteller) anzubieten.
Ich komme von VMware (Jahrzehnte) und muss nun Hyper-V einsetzen.

Zum Thema nested: Wenn ich statt Hyper-V Promox als Host verwenden würde, hätte ich die Erwartung, das dass spätestens sauber funktioniert.

Die Vielzahl der Probleme, die hier im Forum diskutiert werden, verunsichern mich.
Ich kann keine Nebenkriegsschauplätze gebrauchen. Wie sind Deine Erfahrungen?

Ich habe schon wegen der Dell Updatepolitik bei VMware mich 2019 umgeschaut. Ich habe einige HyperV/S2D Installationen draußen und inzwischen deutlich mehr Proxmox. Bis auf zwei kleine Cluster mit 2 Nodes wo ZFS Replika zum Einsatz kommt, immer nur Ceph oder das bereits vorhandene SAN Storage.
Meine Erfahrung über die letzten Jahre, auf Enterprise Hardware laufen alle Hypervisoren sehr stabil, aber Proxmox macht trotzdem weniger Theater als HyperV. Außerdem ist das Troubleshooting deutlich einfacher, weil alles gut dokumentiert ist. Über das Elend namens vCenter reden wir mal lieber nicht.
Ich war seit 2006 VMware Fanboy, aber derzeit ist Proxmox eindeutig meine erste Wahl.
Zum Thema Backup, der PBS hat schon mehr und bessere Features als Veeam in den ersten Versionen (damit habe ich 2008 angefangen).
An Effizienz und Geschwindigkeit kommt kein anderes System an den PBS dran, sowie Ransomwareschutz ist auch Mega Easy. Nur für Application Aware Backups nutze ich noch gern Veeam.

 

[Falk R.]

P.S. besuch mich doch einfach bei der Kielux und da können wir uns persönlich austauschen.

 

[Ralef]

Wie @Falk R. schon schrieb: PVE als nested ist das Problem (und prinzipiell immer anfällig, egal in welcher Konstellation). Warum „musst“ Du denn Hyper-V einsetzen als primären Hypervisor? Die „Vielzahl“ der Probleme im Forum basiert - wie bei allen anderen IT-Systemen - auf dem riesigen Pool und Kombinationsmöglichkeiten der Hardware, der Administrationsphilosophie, teils mangelnder Kenntnis (was ja nix Schlimmes ist, wir haben alle mal klein angefangen), Einsatz von viel zu schwacher und nicht geeigneter Hardware (bspw. Dauerthema: Consumer Laufwerke in Verbindung mit ZFS), überbuchten Ressourcen und teilweise werden hier verstärkt Themen aufgemacht, die mit Proxmox direkt nix zu tun haben (nicht laufende Docker Container oder LXCs mit Tool XYZ).

Falls Du Hardware „über“ hast, würde ich Dir (ebenfalls) zu einem Test-Setup raten und PVE direkt installieren.

Hallo cwt,

das häufige vorkommen von "freeze" in den Themen erschreckt.

Ja, es stehen ausreichend Fujitsu Server zur Verfügung, die werde ich dann einsetzen müssen. Ich bin halt faul. Muss dann 5 Server aufbauen und dauerhaft anschießen. Das kostet mich Arbeitsplatz in der Technik und macht Lärm. Die Systeme ziehen zusammen ungefähr 1,5 KW was auch nicht nötig wäre (nicht wegen sparsam sonder weil unütz). Unsere Praktiikanten und Azubis haben bisher alles in Nested Umgebungen (VMware und auch ein wenig Hyper-V) realisiert. Wir haben also bis hierher nur positive Erfahrungen mit Nested Umgebungen sammeln dürfen.

Vielen Dank das Du meinen ersten Eindruck relativierst.
nice weekend

 

[Ralef]

Hallo Falk,

mal davon abgesehen das ich gerne nochmal nach Kiel fahren würde (war vor Jahrzehnten in Plön stationiert), wäre das sicher interessant.
Mir fehlen hilfreiche Hände. Wir finden einfach keine neuen motivierten Kollegen.
Bedeutet ich arbeite mehr im Unternehmen als daran. Halt der typische 48/7 Tag .
Da ich aber ja nicht "zur Arbeit gehe", ist das alles prima.

PBS habe ich heute mit begonnen (bin Veeam Fanboy wegen immutability auf S3 und Hardened Linux sowie from any to any , leider noch ohne Proxmox).
Ohne Guest Awareness werde ich aber nicht klarkommen.
Das würde bedeuten Hosenträger und Gürtel, also beides wird eingesetzt werden.

Danke nochmal für Deine Unterstützung

 

[Falk R.]

Die meisten Freeze sind auf Client Hardware. Bei zwei Kunden bin ich mir nicht 100% Sicher ob die in ein Problem laufen könnten. Daher habe ich beim letzten Update den 6.5er Kernel, welcher noch supportet ist angepinnt. Bei HyperV hatte ich letztens auch mal wieder Treiberprobleme. Auch beim ESXi habe ich in meiner Laufbahn genügend PSOD gesehen. Bei Proxmox hörst du nur mehr darüber, da die Community so aktiv ist.

Nested funktioniert mit PVE auf PVE oder PVE auf ESXi meistens auch alles. Nur PVE oder ESXi auf HyperV läuft nicht so gut.

 

[Ralef]

Die meisten Freeze sind auf Client Hardware. Bei zwei Kunden bin ich mir nicht 100% Sicher ob die in ein Problem laufen könnten. Daher habe ich beim letzten Update den 6.5er Kernel, welcher noch supportet ist angepinnt. Bei HyperV hatte ich letztens auch mal wieder Treiberprobleme. Auch beim ESXi habe ich in meiner Laufbahn genügend PSOD gesehen. Bei Proxmox hörst du nur mehr darüber, da die Community so aktiv ist.

Nested funktioniert mit PVE auf PVE oder PVE auf ESXi meistens auch alles. Nur PVE oder ESXi auf HyperV läuft nicht so gut.

Meinen letzten PSOD hatte ich vor etlichen Jahren. Bishher habe ich weniger als 10 gesehen (seit ca. 2009)
Schlecht gewartete ESXi mit Laufzeiten bis zu 1400 Tagen.
VMware hat aber auch durch HCLs eindeutig abgegrenzt was supported wird. Das macht das Leben einfacher.
Hyper-V und Treiber: absolut
Bin also hoch motiviert.
Ich werde es kombinieren. Ich installiere gerade 2 Fujitsu Server mit Promox und werde darin die ZFS Replikation testen und als VMs meine Testumgebung mit 4 PVEs und einem PBS darin laufen lassen.

 

[Falk R.]

Meinen letzten PSOD hatte ich vor etlichen Jahren. Bishher habe ich weniger als 10 gesehen (seit ca. 2009)
Schlecht gewartete ESXi mit Laufzeiten bis zu 1400 Tagen.
VMware hat aber auch durch HCLs eindeutig abgegrenzt was supported wird. Das macht das Leben einfacher.

Leider nicht immer. Ich habe auch voll Supportet viele PSOD gesehen, wenn man ganz aktuelle Technologien benutzt. Die ersten Server mit 10G 2009 oder die ersten Server mit 100G. Das läuft tatsächlich mit Linux/Proxmox stabiler.

Hyper-V und Treiber: absolut
Bin also hoch motiviert.
Ich werde es kombinieren. Ich installiere gerade 2 Fujitsu Server mit Promox und werde darin die ZFS Replikation testen und als VMs meine Testumgebung mit 4 PVEs und einem PBS darin laufen lassen.

Berichte mal.

 

[Ralef]

Hallo Falk,

Proxmox embeded auf Proxmox funktioniert bisher fehlerfrei.
(Windows Server 2022 Windows 11 diverse Liinux Server und Desktops, Ubuntu Desktop macht noch schwierigkeiten und friert während der Installation ein)
Ich suche noch nach einer Funktion meine embeded Clusterlösung mit 4 Hosts und Ceph kontroliert herunterzufahren, so das beim erneuten Start Ceph nicht degraded startet. Das dauert zwar nicht lange, fühlt sich aber nicht Gut an.
In der GUI haben ich nichts dazu gefunden. In dem Zusammenhang habe ich nichts gefunden das USVs überwacht und im Bedarfsfall das System kontrolliert herunterfährt.

 

[Falk R.]

Hi, warum willst du herunterfahren?
Normalerweise läuft eine solche Lösung dauerhaft.

Wenn du einen PVE-Ceph Cluste rrunter fährst, musst du nix beachten. Auch beim Einschalten sorgt Ceph dafür, dass der Pool wieder online genommen wird, wenn genügend monitor und OSDs vorhanden sind.

Zum Shutdown nutzen einige Leute nut, aber ich habe meistens APC USVs und dann nutzen wir wie gewohnt APC PCNS.
Zuhause habe ich eine APC ohne Netzwerk, da nutze ich einfach apcupsd.

 

[Ralef]

Hallo Falk,
es handlet sich um meine "Labor" Umgebung. Ich fahre das System an wenn ich ein wenig Zeit habe um weiteres zu testen.
Im Dauerbetrieb habe ich aber doch auch den Fall das nicht jeder Kunden ein Notstrom Aggregat betreibt.
Daher meine Frage wie kann ich (besser ein Script) das ganze Sytem kontroliert herunterfahren?
Bisher habe ich in der Vmware Welt eine virtuelle APC PowerChuteNetworkShutdown appliance installiert.
Die hat dann alles kontrolliert beendet.
Die Systeme werden dann auch nicht automatisch angefahren, da die Ladungen der jeweiiligen USV und die Dauer des wieder zur Verfügung stehenden Stroms unklar sind.

 

[ThoSo]

Unter Linux stehen die Network UPS Tools zur Verfügung - hast ja ein Debian darunter.
Allerdings ist APC kein wirklich gut unterstützter USV Anbieter!
<https://networkupstools.org/stable-hcl.html>
APC Powerchute gibt es aber auch für Linux.

 

[Falk R.]

Hallo Falk,
es handlet sich um meine "Labor" Umgebung. Ich fahre das System an wenn ich ein wenig Zeit habe um weiteres zu testen.
Im Dauerbetrieb habe ich aber doch auch den Fall das nicht jeder Kunden ein Notstrom Aggregat betreibt.
Daher meine Frage wie kann ich (besser ein Script) das ganze Sytem kontroliert herunterfahren?
Bisher habe ich in der Vmware Welt eine virtuelle APC PowerChuteNetworkShutdown appliance installiert.
Die hat dann alles kontrolliert beendet.
Die Systeme werden dann auch nicht automatisch angefahren, da die Ladungen der jeweiiligen USV und die Dauer des wieder zur Verfügung stehenden Stroms unklar sind.

Mit der vSphere Appliance habe ich das unter VMware auch gemacht.
Bei Proxmox installiere ich einfach auf allen Nodes den PCNS Dienst und nutze nur die Default Shutdown Sequenz und den Rest lasse ich vom Cluster erledigen. Theoretisch kannst du dir auch so eine Zentrale Instanz als VM selbst bauen, aber ich finde das Setup dann etwas fehleranfälliger als wenn jeder Node weiß an welchen USVen er hängt und dann bei Bedarf selbst runter fährt.
Fahren so 1-2 Nodes runter, werden die VMs je nach Einstellung im Cluster automatisch migriert.
Wenn der Strom für alle zur gleichen Zeit zuende geht, werden die VMs dann nicht mehr migriert sondern heruntergefahren.

 

[Ralef]

Hallo Falk,
ich habe es nicht klar ausgedrückt, ich habe auf jedem ESXi Host die APC Appliance installiert und die fährt dann den Host herunter.

Ja, so wie Du es beschreibst wäre es mein ansinnen. Ich habe nur bisher die PAC PCNS(sind nicht mehr kostenfrei) noch nie auf Linux installiert.
Kann die Software wie die Aplianc und auch die Windows Lösung mit mehr als einer USV umgehen (NMC ist jeweils im Einsatz)?

Ein anderes Thema fordert mich gerade. Ich Test die Übernahme von VMs aus dem Hyper-V Umfeld . Hierbei ist mmir aufgefallen das der StarWind Converter anbietet das Qcow2 Format anzuwenden. Was hälst Du davon?

Ich habe in meiner virtualisierten Umgebung (Labor), die beiden Hardware Server für Corosync über LACP bestehend aus 4 1 GB Nics verbunden.
Wenn ich nun von einem PVE auf den anderen verschiebe bekomme ich nur den Durchsatz einer NIC.
Welcher Weg wird beim verschieben verwendet , corosync oder die Gui Schnittstelle?

Wie immer vielen Dank

 

[Falk R.]

Hallo Falk,
ich habe es nicht klar ausgedrückt, ich habe auf jedem ESXi Host die APC Appliance installiert und die fährt dann den Host herunter.

Normalerweise reicht da eine Appliance pro vCenter.

Ja, so wie Du es beschreibst wäre es mein ansinnen. Ich habe nur bisher die PAC PCNS(sind nicht mehr kostenfrei) noch nie auf Linux installiert.
Kann die Software wie die Aplianc und auch die Windows Lösung mit mehr als einer USV umgehen (NMC ist jeweils im Einsatz)?

PCNS ist und bleibt Kostenlos. Es gibt zwar inzwischen Lizenzen für iergendwelche HCI Appliances und vSphere Appliances, aber das normale PCNS kostet nix.
https://www.apc.com/de/de/download/document/SPD_ARAJ-PCNS50LNX_EN/

Ein anderes Thema fordert mich gerade. Ich Test die Übernahme von VMs aus dem Hyper-V Umfeld . Hierbei ist mmir aufgefallen das der StarWind Converter anbietet das Qcow2 Format anzuwenden. Was hälst Du davon?

Gar nix, das Tool war früher mal OK, ist aber langsam und nicht mehr Zeitgemäß.
Ich mache einfach einen SMB Share auf dem HyperV, mounte den im PVE und dann einfach mit qm importdisk die VHDX direkt konvertieren und kopieren.

Ich habe in meiner virtualisierten Umgebung (Labor), die beiden Hardware Server für Corosync über LACP bestehend aus 4 1 GB Nics verbunden.
Wenn ich nun von einem PVE auf den anderen verschiebe bekomme ich nur den Durchsatz einer NIC.
Welcher Weg wird beim verschieben verwendet , corosync oder die Gui Schnittstelle?

Corosync ist nur für den Cluster da und hat mit der Migration nix zu tun. Über das Corosync Netzwerk solltest du mögklichst auch keine Migrationen machen.
Das Migrationsnetzwerk legst du im Datacenter fest.

Zum Thema LACP, wenn du Layer2+3 machst kannst du nur eine Leitung nutzen, da der Lastausgleich über Mac+IP passiert. Mit Layer 3+4 , könnte da mehr raus kommen, falls verschiedenen Ports für die Migration genutzt werden, aheb ich mir aber noch nie angeguckt, da ich eh nix unter 10GBit mehr anfasse.