IO Delay sehr hoch (nachts)

G

GrimmSimon

New Member
Feb 3, 2025
7
1
1
Hallo,

ich teste gerade Proxmox als Alternative für VMware und HyperV.
Nun habe ich festegestellt, das ich regelmäßig abends/nachts eine sehr hohe IO-Delay habe.

Bei dem Server handelt es sich um einen HP MicroServer Gen10 Plus v2 mit 2 SSD's als ZFS-System
Crucial MX500 1TB (https://www.crucial.de/ssd/mx500/ct...njdp6k3KFUjKUT6BiRGZbSpFeBAiBfew74xGWbl4SZv2y)

Aus "gewohntheit" habe ich das "Proxmox OS" auf einem USB Stick installiert. haben wir im Betrieb auch immer bei VMware so gemacht.

Hoffe ihr könnt mir ein paar Tipps geben wie ich das Problem lösen kann.

Gruß Simon
 
Ich würde einfach mal das Tool "iotop" installieren und starten! Damit solltest du schon sehen was die hohe Last verursacht.

Ist eventuell am Abend und in der Nacht, ein Storage nicht erreichbar?

GrimmSimon said:
Hoffe ihr könnt mir ein paar Tipps geben
Click to expand...

1. Keinen USB-Stick für PVE verwenden. Der lebt nicht lange!
2. Keine Consumer SSDs für ZFS verwenden. Die leben nicht lange!
 
  • Like
Reactions: ThoSo, waltar and UdoB
Hallo Ernst,

Erstmal danke für deine Antwort.

Das Tool iotop habe ich mal installiert, mit "iotop -o" kann ich mir das ja anzeigen lassen. Muss ich dann bis heute abend warten.
Die Storage sollten alle ok sein, liegt alles "lokal" im Server.

Das PVE sollte dann auf eine extra HDD/SSD installiert werden? Ich habe noch eine separate HDD verbaut für die Backups und ISO's.
Welche SSD's sollte ich denn nutzen? Hast du da vielleicht eine Empfehlung für mich?
Weil ich sehe auf anhieb keinen Unterschied zwischen
- Crucial MX500 1TB
- WD Red SA500 NAS 1 TB
- Intel SSD DC S4510 960GB

Bei der Sehe ich das die für Server/24/7 ist
- Samsung SSD PM883 Series 960 GB TLC

Gruß Simon
 
Last edited:
  • Like
Reactions: Ernst T., waltar and mr44er
Sind die Workloads gleich? WIndows-Workloads?
GrimmSimon said:
Hallo,

ich teste gerade Proxmox als Alternative für VMware und HyperV.
Nun habe ich festegestellt, das ich regelmäßig abends/nachts eine sehr hohe IO-Delay habe.

Bei dem Server handelt es sich um einen HP MicroServer Gen10 Plus v2 mit 2 SSD's als ZFS-System
Crucial MX500 1TB (https://www.crucial.de/ssd/mx500/ct...njdp6k3KFUjKUT6BiRGZbSpFeBAiBfew74xGWbl4SZv2y)

Aus "gewohntheit" habe ich das "Proxmox OS" auf einem USB Stick installiert. haben wir im Betrieb auch immer bei VMware so gemacht.

Hoffe ihr könnt mir ein paar Tipps geben wie ich das Problem lösen kann.

Gruß Simon
Click to expand...
Der Klassiker, je nachdem welche Workloads gefahren werden, halt In-VM Cron-Prozesse (Nightly), oder Windows Indexer bei Idle etc ... bei alten Suse VM-Installationen hatte ich auch den AppArmor der Rogue gelaufen ist ... ggf. auch haben die Hyper-V Hypervisor-spezifische Daemons installiert? Und jetzt auf Proxmox nicht den QEMU Agent? Aber wie der Kollege schreibt - loggen und/oder mal nachst aufbleiben und live schauen.
​
[Virtualization Support for SME and NGOs | DLI Solutions ]
 
GrimmSimon said:
Muss ich dann bis heute abend warten.
Die Storage sollten alle ok sein, liegt alles "lokal" im Server.
Click to expand...
Wie sieht dein IO-Delay über den Tag verteilt denn aus? Ich hab heute mal versucht viel IO-Delay zu erzeugen (Backups auf Sat-Receiver-HDD und ins Internet).

Screenshot 2025-02-03 150650.png

Nur damit man sich vorstellen kann was "sehr hohe" bei dir bedeutet.
 
Hallo zurück, Dein IO-Delay ist vernachlässigbar ;) Hier mal ein Beispiel (80%) wenn klar etwas schief läuft - hier "Delayed" es die VMs in der Tat. Aber wenn die <2% das einzige "Problem" sind, dann hat das m.E. vernachlässigbare Auswirkungen auf die Workloads.

Sehr unschoenes IO-Delay bei SME Server

​
[Virtualization Support for SME and NGOs | DLI Solutions
 
So sieht das bei mir aus, das passiert oft Nachts um 1:00. Am Freitag ist es um 20:00 sehr hoch gewesen, da konnte ich über die Weboberfläche nichts mehr bedienen. Wie es bei den VM's selber aussieht kann ich nicht sagen, das müsste ich nochmal testen. Um 21:00 passieren die Backups

Werde das nachher mal beobachten mit dem "iotop". um gucken was dann angezeigt wird.

thumbnail_image.png
 
Wie machst du die Backups?

Bei einem Backup von einem LXC auf einen PBS werden die Daten vorher ins Root Filesystem vom Server (/tmp) (hier USB) kopiert bevor sie zum PBS gehen, würde das irre IO Delay erklären.
Bei vms sollte das nicht der Fall sein.
Wie das bei den vz dumps (ohne PBS) aussieht, ob die vorher irgendwie am Server /tmp landen kann vielleicht jemand anderes klären?!
 
Installier zuerst Proxmox auf deiner HDD die du hast und verwende für die Backups, falls du einen PBS aufsetzt die SSD und nicht umgekehrt. Proxmox macht eine Menge io die aber eine HDD gut handeln kann, wennst du Proxmox auf einer SSD installierst geht dass auf die Lebenszeit und da du eh eine HDD drinnen hast nimm die für Proxmox
 
Hi,

Wenn PBS ein PromoxBackupServer ist, dann ist das nicht der Fall, die Backups kommen auf eine extra SSD im Server.
Die Backups sind geplant für 21:00
In den VM's läuft bisher noch nicht viel, nur Windows Server 2025 mit SQL-Server und eine mit Windows Server 2003R2 und eine Siemens Software.

Das "storage 'xyz' is not online" habe ich behoben, da war noch ein NAS eingefügt, was ich aber nicht mehr brauche.

Das Logging (hoffe das ist richtig)
Code: 
Feb 02 21:00:27 pve pvescheduler[4040845]: <root@pam> starting task UPID:pve:003DA88E:06D4C58A:679FCEDB:vzdump::root@pam:
Feb 02 21:00:27 pve pvescheduler[4040846]: INFO: starting new backup job: vzdump 101 102 --compress zstd --notification-mode notification-system --notes-template '{{guestname}}' --node pve --prune-backups 'keep-last=3' --storage data_bak_iso --mode snapshot --quiet 1 --fleecing 0
Feb 02 21:00:27 pve pvescheduler[4040846]: INFO: Starting Backup of VM 101 (qemu)
Feb 02 21:00:30 pve pvescheduler[4040846]: VM 101 qmp command failed - VM 101 qmp command 'guest-ping' failed - got timeout
Feb 02 21:00:31 pve pvestatd[1093]: storage 'xyz' is not online
...
Feb 02 21:02:50 pve pvestatd[1093]: storage 'xyz' is not online
Feb 02 21:02:53 pve pvedaemon[4023934]: <root@pam> successful auth for user 'root@pam'
Feb 02 21:02:54 pve pvescheduler[4040846]: INFO: Finished Backup of VM 101 (00:02:27)

Also sollte ich das so machen:
Normale HDD für Proxmox & Backups oder je eine seperate?
SSD für die VMs selber als ZFS?

Gruß Simon
 
GrimmSimon said:
Hi,

Wenn PBS ein PromoxBackupServer ist, dann ist das nicht der Fall, die Backups kommen auf eine extra SSD im Server.
Die Backups sind geplant für 21:00
In den VM's läuft bisher noch nicht viel, nur Windows Server 2025 mit SQL-Server und eine mit Windows Server 2003R2 und eine Siemens Software.

Das "storage 'xyz' is not online" habe ich behoben, da war noch ein NAS eingefügt, was ich aber nicht mehr brauche.

Das Logging (hoffe das ist richtig)
Code: 
Feb 02 21:00:27 pve pvescheduler[4040845]: <root@pam> starting task UPID:pve:003DA88E:06D4C58A:679FCEDB:vzdump::root@pam:
Feb 02 21:00:27 pve pvescheduler[4040846]: INFO: starting new backup job: vzdump 101 102 --compress zstd --notification-mode notification-system --notes-template '{{guestname}}' --node pve --prune-backups 'keep-last=3' --storage data_bak_iso --mode snapshot --quiet 1 --fleecing 0
Feb 02 21:00:27 pve pvescheduler[4040846]: INFO: Starting Backup of VM 101 (qemu)
Feb 02 21:00:30 pve pvescheduler[4040846]: VM 101 qmp command failed - VM 101 qmp command 'guest-ping' failed - got timeout
Feb 02 21:00:31 pve pvestatd[1093]: storage 'xyz' is not online
...
Feb 02 21:02:50 pve pvestatd[1093]: storage 'xyz' is not online
Feb 02 21:02:53 pve pvedaemon[4023934]: <root@pam> successful auth for user 'root@pam'
Feb 02 21:02:54 pve pvescheduler[4040846]: INFO: Finished Backup of VM 101 (00:02:27)

Also sollte ich das so machen:
Normale HDD für Proxmox & Backups oder je eine seperate?
SSD für die VMs selber als ZFS?

Gruß Simon
Click to expand...
Ich würd die HDD für Proxmox und die Backups (nicht für einen PBS hier werden ssd dringend empfohlen) verwenden. Auf die SSDs dann ZFS, wenn du SSDs mit PLP (Enterprise SSDs) und ECC RAM hast.
 
Guten Morgen,

zu den Festplatten:
Proxmox+Backup: 1x WD Gold WD1005FBYZ
ZFS: SSD 2x Kingston DC600M (960GB)

Gestern abend hatte ich beim Backup eine hohe Auslastung, eine für mich "unnormale" Auslastung hatte ich nicht.
IO-Delay_21-04.jpg
IO-Delay_21-04_Logs.jpg
 
Morgen,

Also ein iodelay von 80% würd ich nicht als normal ansehen, da ja auch die Hardware alle Anforderungen erfüllt. Ich denke dass dieser Spike mit der USB Stick zusammenhängen… eventuell schreibt er Logs oder was auch immer. Installiere Proxmox entweder auf der HDD oder auf dem Enterprise SSDs … ich denke dann wird dieser Spike nicht mehr auftreten…
 
Retro1982 said:
Installiere Proxmox entweder auf der HDD oder auf dem Enterprise SSDs … ich denke dann wird dieser Spike nicht mehr auftreten…
Click to expand...
Was hälst du denn von der Kombination?

Proxmox+Backup: 1x WD Gold WD1005FBYZ
ZFS: SSD 2x Kingston DC600M (960GB)

oder 3x die Kingston.
 
Wenn du keinen PBS für die Bsckups betreibst dann ist eine HDD mehr als ausreichend für Proxmox und Backup Storage (vz dumps).

Die SSDs sind besser bei den VMs aufgehoben.

Wenn noch eine SSD rumliegt und sonst nicht verwendet wird, dann kannst auch die nehmen, wobei für die Proxmox Installation eine Enterprise empfohlen wird (was aber eine Dc600 eh ist) da durch die Logs und den HA Service die Disk konstant mit kleinen Daten beschrieben wird( was tötlich für eine Consumer grade ssd ist).

Also how you like it.

Du kannst auch Proxmox auf die ZFS Platten installieren zu den VMs und die HDD rein für Backups (kein Problem in diesem Fall da die SSDs ja Enterprise mit PLP sind).

Backups sollten auf jeden Fall auf einer anderen Platte als die VMs liegen…
 
Guten Morgen, ich habe den Test-Server nun nochmal neu installiert. Jetzt habe ich ein "kleines" andere Problem. Meine Hauptfestplatte (500GB) wird automatisch aufgeteilt.
local (100GB - VZDump backup file, ISO image, Container template)
local-lvm (362 GB - Disk image, Container)

Aber eigentlich muss das lvm ja nicht so groß sein, da ich noch das ZFS mit 1x1TB habe.

Wie kann ich das ändern, oder wo muss ich das bei der Installation anpassen?

Hat sich erledigt, habe ein Video bei YT gefunden


Gruß Simon
 
Last edited:
  • Like
Reactions: Retro1982
You must log in or register to reply here.
Top Bottom