Win11 / Win10 VM friert ein

[odiug_de]

Hallo,

ich komme von einem Win10 Rechner, den ich als "Server" missbraucht hatte. Derzeit übe ich mit Proxmox VE 8.1.4, eingerichtet auf einem alten Proliant 380 G9, der mir günstig in die Hände gefallen ist. Da ich aber nicht ganz auf Windows verzichten will, dachte ich daran, diese als VM einzurichten. Dabei befolgte ich die meist empfohlenen Einstellungen:
- VirtIO Treiber : latest
- q35
- VirtIOGPU
- VirtIO SCSI Controller
- Quemu Agent - check
- Bus: VirtIO Block (oder SCSI, beides versucht)
- CPU 6 Kerne / host
- 16gb Arbeitsspeicher
- VirtIO Netzwerkkarte

Sämtliche Treiber wurden während der Installation ausgewählt bzw. installiert.
Wenn ich nun versuche, eine große Datei ~ 20gb über das 10g Netzwerk von meinem Unraid Server zu kopieren, startet die Übertragung mit einer ordentlichen Datenrate, bricht dann aber zyklisch nach kurzer Zeit auf 0 b/Sek ein. Nach einiger Zeit geht es dann weiter, bis es wieder einbricht. Zudem ist es in der Phase der nicht Übertragung nicht möglich, z.B. den Task Manager aufzurufen oder andere Dienste zu starten. Es ist als ob die VM eingefroren ist.

Die VM ist auf dem lokalen zfs Laufwerk installiert. Probehalber habe ich auch Win10 installiert - mit ähnlichen Ergebnis.

Besten Dank

 

[Falk R.]

Schau dir mal die I/O Delay Werte während des Copy an. Vermutlich sind die Disks etwas Langsam

 

[odiug_de]

Hallo,
beide Server haben eigentlich nicht viel zu tun. Auf dem Unraid Server laufen keine weiteren Dienste und der Proxmox hat auch kaum was zu tun (noch . Lade ich vom Unraid auf meinem Arbeitsrechner läuft das kopieren immer an der Grenze des Möglichen (gb Netzwerk). Kopiere ich vom Arbeitsrechner zur Windows VM (RDP) auf Proxmox oder kopiere vom Proxmox zur VM bricht es ein. Dabei läuft dort ein SSD zfs mirror, ich erwarte keine Höchstleistung, aber dass der Download / Upload komplett für längere Zeit einbricht kann ich mir nicht erklären. Die einzigen IO Werte die ich finden konnte sind in der Übersicht:


Besten Dank.

 

[Falk R.]

Guck mal beim CPU Graph ob da der Delay hoch geht.

 

[odiug_de]

Hab mal alles gesnipt ...

 

[Falk R.]

Du musst auf dem Host gucken. Das IO delay wird nur beim Host angezeigt, da es ja Hostressourcen betrifft.

 

[cwt]

Alter ProLiant mit normalen HDDs oder Consumer SSDs im ZFS? Wahrscheinlich wird Dir das schon die Leistung "vermiesen".

 

[odiug_de]

Guten Morgen, anbei mal ein paar Grafiken:

1.) Hostsystem Proxmox:


2.) Windows 11 VM / Proxmox Übersicht:


3.) Screenshot des Windows VM Task / hdd
Warum die immer als 100% angezeigt wird, kann ich gerade nicht einschätzen. Die Datenübertragungsraten drunter spiegeln aber den Kopiervorgang wieder.


Wenn der Proliant da schon überfordert wäre ... zumindest die Bus Geschwindigkeit der HDD sollte ansatzweise erreicht werden. Zudem wundert mich das Einfrieren der gesamten VM.
Alternativ habe ich auch zusätzlich eine Ubuntu VM aufgesetzt, die kopiert brav mit ~100-120 Mb/sek ohne Aussetzer. Der Vorgang findet sich auch in den obigen Indexen

Achja, es wird ja immer auf Consumer Hardware hingewiesen. Ich befinde mich ja nicht in einem beruflich produktiven Umfeld. Warum sollte ich nicht die vorhandene Hardware (SSD/HDD) weiternutzen? Vorher liefen die SSDs z.B. im Raid 1 auf Windows. Was macht ein zfs mirror, dass Consumer SSDs dort fehl am Platz sind? Ich hätte ja auch den Rais Controller des HP Servers nutzen können, wollte mich damit aber nicht auch noch beschäftigen. Abgesichert sind die Server übrigens durch eine USV, daher nutze ich in der Regel den Write Back Cache.
Besten Dank und Gruß

 

[cwt]

Natürlich kann man consumer Hardware verwenden, eben mit allen bekannten Nachteilen beim Einsatz von ZFS. Das Forum ist voll mit entsprechenden Threads hinsichtlich der Probleme (Stichwort: PLP sowie Cache und Lifetime). Der I/O Delay steht bei Deinem Server schon bei 40%, was nicht gerade unproblematisch ist. Kurz gesagt: die VMs bzw. das subsystem müssen warten, bis der Storage Daten nachliefert.

 

[odiug_de]

Mhh, gibt es denn eine Alternative zu zfs, wenn man für das Systemlaufwerk Redundanz haben möchte? Enterprise SSDs ... sprengen mein Hobbybudget

 

[Falk R.]

Also bei 40% I/O delay, geht fast gar nix mehr auf dem Host. Hängende VMs sind dann das geringste Übel.
Für den PVE nehme ich bei low Performance gern ein BTRFS Raid1.
Eventuell denRaid Controller des Proliant nutzen und dann ext4 + LVM-Thin nutzen, das ist 10x schneller.

 

[odiug_de]

Hach schade ...
habe die beiden SSDs jetzt über den Raidcontroller des Servers als Raid 1 laufen, habe Proxmox neu installiert, die Win11 VM erstellt, Datei kopiert und habe das selbe Problem wie vorher. Wenn die VM läuft habe ich so bis 5% I/O delay, die Datenrate beim kopieren liegt stabil bei bis zu 150 MB/s, bricht dann aber nach vielleicht 10 Sekunden auf 0 MB/s ein und irgendwann steigt dann auch der I/O delay. Was mir bei der Installation aufgefallen ist, die Installation brauchte deutlich länger, als ob er das Array erst noch formatieren müsste.
Beste Grüße

edit: Spannend ist auch, dass nach einem ausschalten und auch nach dem entfernen der störrischen VM der I/O-delay nicht wieder abnimmt. Da hilft nur ein Neustart.

 

[Falk R.]

Was für Disks hast du da und hat der Raidcontroller einen Batteriecache?

 

[odiug_de]

Das sind Consumer SSDs mit 3D Nand und slc Cache. Einen Batteriecache am Controller habe ich nicht mehr, allerdings ist das System über eine USV abgesichert, die vor Verlust der Versorgung den Server auch herunterfährt.

 

[Falk R.]

Dann ist das doch alles ganz normal und erwartbar.
Die Consumer SSDs ohne PLP knallen ihren SLC Cache voll und dann müssen die den Cache auf die TLC Zellen leeren und gehen in Stall.
Ein Batteriegepufferter Cache würde das deutlich abmildern, da dann optimierte Full Writes auf die Zellen los gelassen werden.

Entweder SSDs mit PLP (Enterprise) nutzen oder ein Batteriecachemodul nachrüsten.

 

[odiug_de]

Beim Controller habe ich angewählt, dass der Cache auch ohne Batteriemodul aktiviert wird.

 

[Falk R.]

Beim Controller habe ich angewählt, dass der Cache auch ohne Batteriemodul aktiviert wird.

Das solltest du niemals tun, falls du die Daten noch brauchst. Das funktioniert aber nur wenn eine Batterie angeschlossen ist und diese leer oder defekt ist. Sonst aktiviert er keinen Schreibcache.

 

[odiug_de]

Ah ok, ich dachte weil ich durch eine USV gesichert bin und mit das Controllermenü die Funktion angeboten hat wäre das kein Problem.
Ich habe den oben beschriebenen Sachverhalt verstanden -> Consumer SSD -> SLC -> Stall. Ich frage mich nur, müsste das selbe nicht auch in jedem "normalen" PC passieren? Ich kopiere ja gerade mal 10 GB und das kommt im Alltag ja auch vor. Das sich zuerst der Cache schnell füllt ist klar. Das dann aber die Schreibrate auf Null geht und das System sich auch kaum noch bedienen lässt (VM) verstehe ich nicht. Aber wenn die SSD mit sich selber beschäftigt ist (Cache leeren) sollte das System doch weiterarbeiten und nicht Minutenlang "einfrieren".
Ich habe auf meinen zweiten identischen Server Unraid drauf und habe dort eine Win 11 VM installiert. Beim kopieren erreiche ich dort (Flaschenhals HDD) zumindest relativ stabile Datenübertragungsraten von 70 - 120 MB/Sek. Auch dort ist keine Batterie installiert, der hat aber den größeren HP Speichercontroller.
Ich habe hier noch das alte Batteriemodul und werde mal zwei neue Zellen einlöten und gucken was passiert. Es bleibt spannend...

 

[Falk R.]

Wenn du an deinem Client ZFS nutzt läufst du auch in den Fehler. Bei Virtualisierung ist das extremer, da erst der Host den RAM Cache füllt und dann das Gast OS auch. Die müssen dann beide ihren Cache noch loswerden.

 

[odiug_de]

Der Host (Proxmox) hat bei der Installation auf dem Raid1 Laufwerk eine LVM Disk angelegt in der jetzt unter anderem die Win11 VM läuft. ZFS nutze ich - soweit ich das überblicke - nicht. Ich habe noch ein Raid 5 Array aus HDDs und habe dort auch eine LVM-Thin Disk angelegt, die kann ich aber für eine VM nicht auswählen. Muss da wohl noch irgendwo was einstellen ...