Debian/Proxmox mit HP Proliant DL980 G7 Performance Probleme

[Niklas Terhorst]

Hallo Com,

wir haben zur Zeit einen HP Proliant DL980 G7 im Test mit Proxmox.
Der Server ist mit 20GBit/s an das Interne Netzwerk angeschlossen sowie mit 20GBit/s an ein SAN Laufwerk.
Der Server ist bestückt mit 8 x Intel(R) Xeon(R) CPU E7- 4870 (mit Hyperthreading) sowie 512GB DDR3 ECC Ram.

Unsere VMs liefen vorher auf ESXi, seit der Umstellung zu Proxmox zeigen sich im Intranet deutliche Performance Probleme (der Terminalserver mit Windows Server 2008 R2 braucht Ewigkeiten um Programme zu laden und es sind deutliche I/O Lags bemerkbar)

Den Fehler können wir leider nicht aus machen, es scheint aber ein Problem mit der RAM Adressierung zu sein, da diese Werte extrem niedrig bei diversen Benchmarks ausfallen.

Jemand eine Idee woran es liegen könnte?
Die VMs laufen alle mit VirtIO Scsi mit IO Thread und Single Scsi. Ohne Balooning

Das SAN Laufwerk ist mittels NFS über eine direkte Verbindung an den Server angeschlossen.
Die VMs laufen alle mit Cache Write Back

 

[Niklas Terhorst]

Welches dateinsystem hab ihr für die System Installation genommen?

Auf Hostsystem und SAN ext4

 

[fireon]

Poste doch bitte mal die Config des Terminalservers.

 

[Niklas Terhorst]

Hmm ok wie sieht die Netzwerk Last aus zwischen Host und nfs?

Wieviele Kisten Lauf über die Leitung?

Die Last ist nicht das Problem, da das Problem auch auftritt wenn die VMs auf der lokalen Platte liegen.
Es sind ca. 15 VMs im Betrieb. Selbes Problem tritt allerdings auch auf, wenn nur eine läuft.

agent: 1
balloon: 0
boot: cdn
bootdisk: scsi0
cores: 8
cpu: host
ide2: none,media=cdrom
memory: 65536
name: SRVTS
net1: virtio=C2:4C:4B:A46:6B,bridge=vmbr1
numa: 0
onboot: 1
ostype: win7
scsi0: san01:202/vm-202-disk-1.raw,iothread=1,size=300G
scsihw: virtio-scsi-single
sockets: 4

 

[Niklas Terhorst]

pveperf
CPU BOGOMIPS: 766118.40
REGEX/SECOND: 1267713
HD SIZE: 80.20 GB (/dev/sda2)
BUFFERED READS: 218.14 MB/sec
AVERAGE SEEK TIME: 0.35 ms
FSYNCS/SECOND: 1064.39
DNS EXT: 32.39 ms
DNS INT: 1.39 ms

 

[Niklas Terhorst]

Kannst du mal schauen ob bei debian alle hp Treiber geladen sind oder ob was nicht richtig geladen wurde?

Wie soll ich das machen?
Auf der Treiber Seite des Servers gibt es leider auch keine Treiber fur Debian.

 

[fireon]

Mach mal folgendes:
Ballon einschalten (Treiber auf der Windowsmaschine installieren), und das wichtigste NUMA einschalten. Du hast 4 Sockets also 4 PHY CPU*s angegeben, die Memoryaufteilung kann ohne den nicht funktionieren. Steht auch so in der Dokumentation im Webinterface. Versuch das mal bitte.

 

[Niklas Terhorst]

Mach mal folgendes:
Ballon einschalten (Treiber auf der Windowsmaschine installieren), und das wichtigste NUMA einschalten. Du hast 4 Sockets also 4 PHY CPU*s angegeben, die Memoryaufteilung kann ohne den nicht funktionieren. Steht auch so in der Dokumentation im Webinterface. Versuch das mal bitte.

Nach Aktivierung von NUMA und Balloning inkl. Installation der BalooningDriver ist kein merkbarer Unterschied festzustellen.

Vor Umstellung:
Passmark: 2281
CPU Mark: 6610
2D Mark: 299
Memory Mark: 820
Disk Mark: 9103

Nach Umstellung:
Passmark: 997
CPU Mark: 6670
2D Mark: 301
Memory Mark: 683
Disk Mark: 9995

 

[Niklas Terhorst]

Wir nutzen auch diese Server in der Ausbau Stufe. Und haben keine Probleme wir schauen halt nach der Installation erstmal ob und welche Treiber geladen worden sind. Sonst haben wir die gleich Probleme

Dann erklär mir doch mal bitte, wie du prüfst ob irgendwelche Treiber fehlen.

 

[fireon]

Dann erklär mir doch mal bitte, wie du prüfst ob irgendwelche Treiber fehlen.

Treiber sind ja im Kernel. Event. siehst du Fehler mit "dmesg" oder "journalctl -r -p3". Firmeware des Servers ist auf letzten Stand?

Nach Aktivierung von NUMA und Balloning inkl. Installation der BalooningDriver ist kein merkbarer Unterschied festzustellen.

Ok, dann bitte noch folgendes:
Iothread weg, virtio-scsi-single durch durch normales virtio-scsi ersetzen.

 

[Niklas Terhorst]

Treiber sind ja im Kernel. Event. siehst du Fehler mit "dmesg" oder "journalctl -r -p3". Firmeware des Servers ist auf letzten Stand?


Ok, dann bitte noch folgendes:
Iothread weg, virtio-scsi-single durch durch normales virtio-scsi ersetzen.

Danke für die Info, es brachte mir allerdings keine bemerkbare Veränderung.
Ich habe immer noch die Vermutung, dass es ein Treiber Problem ist und Debian deshalb den RAM nicht vernünftig adressieren kann.

Jemand eine Idee?