Guten Tag,
ich versuche die Situation meines Heim-Servers zusammenzufassen:
- Board: MSI A320
- Proc: AMD A10-9700E (quad-Core)
- 16GB RAM
- 2x Festplatten 2,5'', 5400U/min, à 1TB, als Mirror ZFS (RAID1), SATA2
- Standard Installation von Proxmox as Stand-alone, kein "tuning" - 8GB Swap
Ergebnis: Ich schaffe es nicht, eine 3. VM (Centos server) am Laufen zu bekommen. Sobald die Maschine etwas arbeiten muss (beim booten einer VM z.B.) geht der I/O-Ratio sofort hoch (>30% bis 70%) und die 3. VM kann nicht gestartet werden (friert ein). Selbst mit nur 2 VM merkt man, dass der I/O-Ration sehr empfindlich ist.
Hintergrund Infos:
- Ursprünglich wurde die Installation mit 2 SSD (à 240GB - Mirror ZFS RAID1) durchgeführt. Damit was das ganze viel schneller. Nur nach ein paar Wochen stieg die eine Platte ständig aus dem Pool und ich habe schnell bemerkt, dass die 240GB viel zu klein sind.
- ich habe dann die VM's auf meine proxmox Test-Maschine (J1900 miniiTX, 4x 1,9GHz, 8GB RAM und 2x Festplatten 2,5'' (die gleichen, die ich jetzt in der Produktionsmaschine habe) migriert. Damit lief es gar nicht so schlecht, wenn man die kleine Leistung berücksichtigt. Es läuft in jedem Fall viel besser als bei der stärkeren Produktionsmaschine.
- Ich habe bei der Produktionsmaschine die SSDs durch 2,5'' Festplatten ersetzt und /rpool/ROOT/pve-1 per "zfs send | zfs recv" kopiert => rpool hat die Konfiguration, die mit den SSDs installiert wurde.
Ein paar Werte - alle VMs aus:
- bei der Test-Proxmox:
- bei der Produktions-Proxmox:
wie ich es in diesem Forum gelesen habe, habe ich dann die Sync-Funktion ausgeschaltet (es stand, u.a. dass im Falle eines "Unfalles" die letzten ca. 5 Sek. Daten verloren gehen würden , was in meinem Fall OK wäre). Das ergibt bei der Produktions-Proxmox:
Damit läuft es schon viel besser, auch wenn der I/O-Ration weiterhin bei jeder Kleinigkeit hoch geht.
Ich konnte ein 3. VM und sogar eine 4. am Laufen bekommen, aber es bleibt instabil: die VMs dürfen nicht gleichzeitig, sodern in eine bestimmten reihenfolge gestartet werden, sobald der I/O wieder unter 5% gesunken ist. Manchmal muss ich die Proxmox neu starten, wenn die eine oder andere VM neu gestartet werden muss, weil der I/O über 25% bleibt und das Ganze so gut wie eingefroren ist.
Jede VM hat max. 3GB ram (=> bei 4 Stück bleibt was über für die Proxmox), eine davon hat 2 Cores, die 3 anderen nur 1 Core. Gebe ich mehr, verschlechtert sich die Situation.
Dieses Phänomen gibt es nicht bei der Test-Proxmox: ich kann alle 4 VMs gleichzeitig starten, natürlich gehen dabei alle Anzeige auf Rot aber nach 2 Minuten hat sich alles von selbst beruhig. Sogar bei eingeschalteter ZFS-Sync!
Fazit: irgendwo ist der Wurm in der "großen" Proxmox weil die "kleine" mit den selben VMs besser läuft!!!
=> woran kann es liegen?
Ich lese oft Begriffe wie "zfs_arc" oder "swappiness" auf zfs.....Setups mit separater log-Partition, SSD-Unterstützung für ZFS usw.... aber meine Kenntnisse ermöglichen mir z.Z. nicht den entsprechenden Durchblick zu bekommen und es für meinem Fall anzupassen.
=> meine Hauptfrage ist eingentlich sehr einfach: Wie kann ich diese sehr einfache Hardware-Konfiguration richtig am Laufen bekommen?
Ich habe noch eine funktionierende SSD (240GB) sowie 2 SATA-Ports zur Verfügung => vielleicht kann man damit einen besseren Setup aufbauen.
Nebenfrage: Ist es normal, dass die eine SSD nach 3 Wochen kaputt gegangen ist??
Vielen Dank für jeden Hinweis und Anregung.
Gruß Arnaud
ich versuche die Situation meines Heim-Servers zusammenzufassen:
- Board: MSI A320
- Proc: AMD A10-9700E (quad-Core)
- 16GB RAM
- 2x Festplatten 2,5'', 5400U/min, à 1TB, als Mirror ZFS (RAID1), SATA2
- Standard Installation von Proxmox as Stand-alone, kein "tuning" - 8GB Swap
Ergebnis: Ich schaffe es nicht, eine 3. VM (Centos server) am Laufen zu bekommen. Sobald die Maschine etwas arbeiten muss (beim booten einer VM z.B.) geht der I/O-Ratio sofort hoch (>30% bis 70%) und die 3. VM kann nicht gestartet werden (friert ein). Selbst mit nur 2 VM merkt man, dass der I/O-Ration sehr empfindlich ist.
Hintergrund Infos:
- Ursprünglich wurde die Installation mit 2 SSD (à 240GB - Mirror ZFS RAID1) durchgeführt. Damit was das ganze viel schneller. Nur nach ein paar Wochen stieg die eine Platte ständig aus dem Pool und ich habe schnell bemerkt, dass die 240GB viel zu klein sind.
- ich habe dann die VM's auf meine proxmox Test-Maschine (J1900 miniiTX, 4x 1,9GHz, 8GB RAM und 2x Festplatten 2,5'' (die gleichen, die ich jetzt in der Produktionsmaschine habe) migriert. Damit lief es gar nicht so schlecht, wenn man die kleine Leistung berücksichtigt. Es läuft in jedem Fall viel besser als bei der stärkeren Produktionsmaschine.
- Ich habe bei der Produktionsmaschine die SSDs durch 2,5'' Festplatten ersetzt und /rpool/ROOT/pve-1 per "zfs send | zfs recv" kopiert => rpool hat die Konfiguration, die mit den SSDs installiert wurde.
Ein paar Werte - alle VMs aus:
- bei der Test-Proxmox:
Code:
root@proxmox-miniITX:~# pveperf
CPU BOGOMIPS: 15993.60
REGEX/SECOND: 437320
HD SIZE: 419.04 GB (rpool/ROOT/pve-1)
FSYNCS/SECOND: 79.65
DNS EXT: 158.34 ms
DNS INT: 193.29 ms (guedel.eu)- bei der Produktions-Proxmox:
Code:
root@vindilis:~# pveperf
CPU BOGOMIPS: 24000.00
REGEX/SECOND: 1995610
HD SIZE: 719.18 GB (rpool/ROOT/pve-1)
FSYNCS/SECOND: 87.43
DNS EXT: 167.70 ms
DNS INT: 206.81 ms (guedel.eu)wie ich es in diesem Forum gelesen habe, habe ich dann die Sync-Funktion ausgeschaltet (es stand, u.a. dass im Falle eines "Unfalles" die letzten ca. 5 Sek. Daten verloren gehen würden , was in meinem Fall OK wäre). Das ergibt bei der Produktions-Proxmox:
Code:
root@vindilis:~# zfs set sync=disabled rpool
root@vindilis:~# pveperf
CPU BOGOMIPS: 24000.00
REGEX/SECOND: 1987960
HD SIZE: 719.18 GB (rpool/ROOT/pve-1)
FSYNCS/SECOND: 21689.96
DNS EXT: 188.64 ms
DNS INT: 184.90 ms (guedel.eu)Damit läuft es schon viel besser, auch wenn der I/O-Ration weiterhin bei jeder Kleinigkeit hoch geht.
Ich konnte ein 3. VM und sogar eine 4. am Laufen bekommen, aber es bleibt instabil: die VMs dürfen nicht gleichzeitig, sodern in eine bestimmten reihenfolge gestartet werden, sobald der I/O wieder unter 5% gesunken ist. Manchmal muss ich die Proxmox neu starten, wenn die eine oder andere VM neu gestartet werden muss, weil der I/O über 25% bleibt und das Ganze so gut wie eingefroren ist.
Jede VM hat max. 3GB ram (=> bei 4 Stück bleibt was über für die Proxmox), eine davon hat 2 Cores, die 3 anderen nur 1 Core. Gebe ich mehr, verschlechtert sich die Situation.
Dieses Phänomen gibt es nicht bei der Test-Proxmox: ich kann alle 4 VMs gleichzeitig starten, natürlich gehen dabei alle Anzeige auf Rot aber nach 2 Minuten hat sich alles von selbst beruhig. Sogar bei eingeschalteter ZFS-Sync!
Fazit: irgendwo ist der Wurm in der "großen" Proxmox weil die "kleine" mit den selben VMs besser läuft!!!
=> woran kann es liegen?
Ich lese oft Begriffe wie "zfs_arc" oder "swappiness" auf zfs.....Setups mit separater log-Partition, SSD-Unterstützung für ZFS usw.... aber meine Kenntnisse ermöglichen mir z.Z. nicht den entsprechenden Durchblick zu bekommen und es für meinem Fall anzupassen.
=> meine Hauptfrage ist eingentlich sehr einfach: Wie kann ich diese sehr einfache Hardware-Konfiguration richtig am Laufen bekommen?
Ich habe noch eine funktionierende SSD (240GB) sowie 2 SATA-Ports zur Verfügung => vielleicht kann man damit einen besseren Setup aufbauen.
Nebenfrage: Ist es normal, dass die eine SSD nach 3 Wochen kaputt gegangen ist??
Vielen Dank für jeden Hinweis und Anregung.
Gruß Arnaud
