Proxmox Host RAM läuft voll bei hoher Write-Last

[cat24max]

Hallo,

ich habe ein Problem mit Proxmox und ZFS (zumindest habe ich ZFS im Verdacht).

Die Hardware-Konfiguration ist folgende:
ASUS P10S-M
Intel Xeon E3 1240v6
32GB DDR ECC

Als Platten sind 2x 4TB WD RED verbaut (als ZFS RAID 1), eine zusätzliche NVMe (ohne ZFS).
Die NVMe habe ich extra für einen extra Datenbank-Server und einen Windows Server (diese brauchen keine große Ausfallsicherheit) eingebaut und nicht ins ZFS RAID hinzugefügt. Wenn ich auf der Windows Maschine CrystalDisk Mark starte erhalte ich ganz gute Read-Speeds (4+ GB/s) , sobald allerdings der Write-Test startet läuft der RAM des Proxmox-Hosts innerhalb weniger Sekunden komplett voll und der Server hängt sich auf. Im IPMI sieht man dann noch, dass lauter Prozesse wegen "Out of memory" gekillt worden sind.

Habe ich hier was falsch eingestellt oder warum macht er den RAM beim Schreiben so voll? Sollte ich die NVMe nur als Write Cache nutzen?

LG

 

[dietmar]

Wieviel RAM haben die VMs?

 

[cat24max]

Wieviel RAM haben die VMs?

Die Windows VM hatte 12GB zugewiesen, die pfSense VM 1,5GB.
options zfs zfs_arc_max hatte ich auf 8GB begrenzt.

Sonst lief auf dem System nichts.

 

[LnxBil]

Wenn ich auf der Windows Maschine CrystalDisk Mark starte erhalte ich ganz gute Read-Speeds (4+ GB/s)

Ich nehme an du misst die NVMe, denn die Platten erreichen das nichtmal theoretisch (im RAID0)

sobald allerdings der Read-Test startet läuft der RAM des Proxmox-Hosts innerhalb weniger Sekunden komplett voll und der Server hängt sich auf.

Hier meinst du wohl Schreibtest, der auch auf die NVMe geht? Sollte dann ja kein ZFS hinterlegt sein. Siehst du während des Tests welcher Prozess den Speicher verbraucht und gekillt wird?

 

[cat24max]

Ich nehme an du misst die NVMe, denn die Platten erreichen das nichtmal theoretisch (im RAID0)

Ja, der Windows Server ist bzw. war auf der NVMe installiert.

Hier meinst du wohl Schreibtest, der auch auf die NVMe geht? Sollte dann ja kein ZFS hinterlegt sein. Siehst du während des Tests welcher Prozess den Speicher verbraucht und gekillt wird?

Jap, sorry meinte Write statt Read. Leider konnte ich das nicht sehen. Hab Proxmox jetzt mal ohne ZFS und damit ohne RAID installiert, probiere das später mit CrystalDisk Mark nochmal aus.

 

[iTweek]

kuck mal in htop was so viel ram verbraucht. Hast du in Proxmox Bllooming aktiv? in den vms?

Welcher anbieter bist du?

 

[cat24max]

Ich habe den ganzen Test nach der Neuinstallation durchgeführt und jetzt klappt alles ohne RAM-Peaks.
Read 3,4 GB/s Write 2,5 GB/s
Keine Bestwerte, aber das System stürzt nicht mehr ab und der RAM bleibt wie er ist

Lag also sehr wahrscheinlich an ZFS (obwohl die NVMe nie ZFS genutzt hat)

Hast du in Proxmox Bllooming aktiv? in den vms?

War nicht aktiv

Welcher anbieter bist du?

Noch steht der Server hier neben mir

 

[LnxBil]

Lag also sehr wahrscheinlich an ZFS (obwohl die NVMe nie ZFS genutzt hat)

Das ist sehr unwahrscheinlich. Warum sollte er Speicher im ZFS verwenden, wenn es nicht verwendet wird.

Aber Hauptsache, du hast dein Problem gelöst bekommen.