DC VM Kopiergeschwindigkeit geringer als im ESXi Host

[Sinux]

Hallo,

ich bin gerade bei einer Testmigration und habe 6 MS Windows 2019 Server von einem ESXi Host auf Proxmox migriert. Jetzt habe ich ein Phänomen.
Wenn ich probehalber eine Dateien vom Domänencontroller kopiere ist die Geschwindigkeit nur etwa halb so schnell wie unter dem ESXi Host. Die anderen MS VM's laufen gleich schnell oder höher.
Beispiel, ich kopiere eine DB vom DB Server auf den DC 200 rund MB, auf einen anderen Server der Mitglied in der Domäne ist, sind es 500-700 MB.
Nur der DC nicht, egal welche Richtung. Die Einstellungen, Gast Tools, Treiber sind alle die selben bei allen 6 VM's.
Ich habe mit dem BIOS, Netzwerktreibern VIrtio Treiber getestet egal was ich einstelle es funktioniert nur so mit 200 MB. Beim ESXi original sind es 400-500MB.
PVE VM's sind gleich den ESXi Eigenschaften.
Der ein zigste Unterschied zu den originalen VM's ist, alle Server haben keine Lizenz Aktivierung erhalten.
Bin gespannt auf eure Reaktion.

 

[ThoSo]

Ist die Hardware deines ESXi mit des Proxmox 1:1 identisch?
Man will ja keine Äpfel mit Birnen vergleichen.

 

[Sinux]

Danke ThoSo für deine Antwort, der neue Server (2023) ist bei weitem performanter der alte (2017) und da die anderen VM's schnell kopieren nur der DC nicht schließe ich die Hardware vom Hypervisor aus.

 

[Falk R.]

Hallo,

ich bin gerade bei einer Testmigration und habe 6 MS Windows 2019 Server von einem ESXi Host auf Proxmox migriert. Jetzt habe ich ein Phänomen.
Wenn ich probehalber eine Dateien vom Domänencontroller kopiere ist die Geschwindigkeit nur etwa halb so schnell wie unter dem ESXi Host. Die anderen MS VM's laufen gleich schnell oder höher.
Beispiel, ich kopiere eine DB vom DB Server auf den DC 200 rund MB, auf einen anderen Server der Mitglied in der Domäne ist, sind es 500-700 MB.
Nur der DC nicht, egal welche Richtung. Die Einstellungen, Gast Tools, Treiber sind alle die selben bei allen 6 VM's.
Ich habe mit dem BIOS, Netzwerktreibern VIrtio Treiber getestet egal was ich einstelle es funktioniert nur so mit 200 MB. Beim ESXi original sind es 400-500MB.
PVE VM's sind gleich den ESXi Eigenschaften.
Der ein zigste Unterschied zu den originalen VM's ist, alle Server haben keine Lizenz Aktivierung erhalten.
Bin gespannt auf eure Reaktion.

Am besten zeigst du mal die Konfiguration der VM. Das kann natürlich viele Ursachen haben.
Je nachdem was für ein Storage du nutzt, wirkt sich die Eigenschaft eines DCs, dass der Disk Cache im Windows abgeschaltet ist stärker aus.
Bei VMware hast du ein VMFS Dateisystem mit VMDK Dateien drauf und der ESXi nutzt Cache, egal was in der vM installiert ist.
Bei Proxmox nutzen wir in der Regel Block Device Speicher und das erste Dateisystem ist in der VM. Das bringt oft mehr Leistung, außer bei einem DC, weil die Einstellung, Cache aus, sich bis auch das Storage Backend auswirkt.

Kann natürlich auch am Netzwerk oder CPU liegen.

 

[Sinux]

Hier die config

agent: 1
balloon: 0
boot: order=scsi0
cores: 4
machine: pc-q35-8.1
memory: 4092
meta: creation-qemu=6.2.0,ctime=1657808378
name: DC
net0: virtio=c0:0c:13:ea:11:de,bridge=vmbr100,firewall=1
numa: 0
ostype: win10
scsi0: arlw1:vm-1000-disk-0,size=100G
scsi1: arlw1:vm-1000-disk-1,size=500G
scsi2: arlw1:vm-1000-disk-2,size=300G
scsihw: virtio-scsi-single
smbios1: uuid=8899d660-4cd2-413f-8fde-fa34fb9bf0e8
sockets: 1
vmgenid: fe235080-71e8-8e8e-b168-460754d989fd

Der Storage ist ein LVM Thin Pool und dort liegen alle VM's drauf.

Netzwerk und CPU schließe ich aus da es bei den anderen VM's funktioniert.
Wie schon erwähnt kopieren auch besser.

Im OS ist das Standardmäßig eingestellt.

 

[Falk R.]

Stell mal die CPU auf Typ host.
Ist die Performance auf allen Disks in der VM gleich? Ein DC deaktiviert den Schreibcache immer im Hintergrund und das kann man nicht aushebeln, denn die AD Datenbank soll immer konsistent sein.
Beim LVM Pool hast du keinen Cache für die VM und auch wenn man den Cache auf den vDisks aktiviert, kann man mal die Performance testen, aber niemals produktiv nutzen bei einem DC.

 

[Sinux]

Stell mal die CPU auf Typ host.

kein Unterschied

Ist die Performance auf allen Disks in der VM gleich?

ja

Ein DC deaktiviert den Schreibcache immer im Hintergrund und das kann man nicht aushebeln, denn die AD Datenbank soll immer konsistent sein.

ok aber im ESXi läuft es ja auch und das mit 500 MB....

Beim LVM Pool hast du keinen Cache für die VM und auch wenn man den Cache auf den vDisks aktiviert, kann man mal die Performance testen, aber niemals produktiv nutzen bei einem DC.

braucht es ja anscheinend auch nicht da es bei den andere VM's gut funktioniert.

 

[Falk R.]

Wie ich oben schon geschrieben habe, hat der ESXi in seinem Dateisystem ein Caching.
Wenn du den DC nativ auf Blech installierst wirst du wahrscheinlich genau so schlechte Ergebnisse bekommen.
Die Werte sind ja für einen DC vollkommen OK. Aber ihr habt anscheinend andere Dienste auf dem DC. Das mit der schlechten Performance von DCs war schon mehrfach ein Thema, aber wenn man den Microsoft Richtlinien folgt und auf dem DC nix außer AD, DNS und DHCP betreibt, gibt es ja kein Problem.

 

[Sinux]

Danke dir Falk, es sind keine weiteren Dienste der macht nur AD und DNS, DHCP macht ein Linux GW bei mir.
Gut dann werde ich damit leben müssen, am 3.10. Migriere ich. Kannst du mir bitte noch sagen wie ich das LVM mal testen kann ob es generell schnell genug ist. Das pveperf zeigt mir ja nicht das LVM Volume an.

 

[Falk R.]

Da gibt es einen Grundsatz: Wer viel misst, misst Mist.
Die große Frage, was benötigst du denn?
Du kannst ja Benchmarks in einer VM machen, aber die spiegeln selten den echten Workload wieder.
Das LVM ist genau so schnell wie die Disk im Unterbau. Das erste mal bremsen kannst du in deiner VM wenn du die falsche Blocksize beim formatieren wählst.

Was mich wundert, dein DC hat noch eine 300GB und 500GB Disk.

 

[Sinux]

Na ich wollte nur mal einen Überblick bekommen wie viel der Server eigentlich direkt im LVM kann.
Ich benötige am liebsten die selben Übertragungsraten wie unterm ESXi da ich dorthin meine DB sichere. Scheint der ESXi bis dato einen besseren (vmdk Cache) Job zu machen. Benchmark in der VM, nein ist mir klar das ist Schrott gelinde gesagt. Habe ja LVM explizit angefragt.
Blocksize ist auch die selbe da ja VM Import, keine Neu Installation.
Die 300 und 500 GB sind halt Freigaben wo Daten freigegeben sind. Fileserver alles wie im ESXi.

 

[Falk R.]

Fileserver auf einem DC macht man auf gar keinem Fall. 1. Security und 2. Kein Caching wegen AD Rolle.

Wenn du eine DB umziehen möchtest, solltest du eine VM aufsetzen und da drin einen Datenbank Benchmark laufen lassen.
Was nützt dir die Info, dass deine Disk im Hypervisor schnell ist? Wenn du durch das VM OS oder schlechte Konfiguration das wieder verschenkst?
Das Caching vom ESXi ist nichts besonderes, nur wenn du eine VM hast, die das explizit abschaltet kümmert sich der ESXi nicht drum. Das ist aus Datensicht eher ein schlechtes Verhalten. In der Regel ist PVE mit LVM immer deutlich schneller, weil du dir das extra Dateisystem sparst. Bei SQL Benchmarks habe ich oft sogar mehr als das Doppelte raus geholt. Natürlich nur wenn die Hardware das mitmacht.

 

[Sinux]

Na da hab ich es und viele andere die ich kenne wohl immer "falsch" gemacht denn Fileserver und DC war immer zusammen bei uns und hat er sehr gut funktioniert. Auch eben schnell genug und damit meine ich auch Bare Metal Installationen. Aber gut ist meine Meinung.
Die Info wollte ich generell und nicht auf VM OS Ebene. Ich wollte es ganz einfach mal vergleichen. Danke über die Informationen LVM und SQL Benchmark.

 

[Falk R.]

Na da hab ich es und viele andere die ich kenne wohl immer "falsch" gemacht denn Fileserver und DC war immer zusammen bei uns und hat er sehr gut funktioniert. Auch eben schnell genug und damit meine ich auch Bare Metal Installationen. Aber gut ist meine Meinung.
Die Info wollte ich generell und nicht auf VM OS Ebene. Ich wollte es ganz einfach mal vergleichen. Danke über die Informationen LVM und SQL Benchmark.

Das Problem bei deim Fileserver ist,m dass du immer mit einem Domänenadmin arbeiten musst. Also ich habe damals bei meinem MCSE 2003 schon ganz offiziell gelernt, das man das nicht tun sollte.
Nur weil manche Leute das immer so gemacht haben, muss das ja nicht zwingend gut sein.
Ich habe früher oft DCs als Fileserver gesehen, aber seit einigen Jahren nicht mehr, außer man stolpert mal wieder über einen alten Small Business Server.

 

[Sinux]

So habe am 3.10. migriert und das Phänomen das von 6 Windows Server 2 langsamen Netzwerkverkehr haben.
Nicht nur der DC wie o.g. sondern auch der Remote Desktop Service Server hat das Problem langsamer Traffic.
Soll bedeuten, Dateien die ich auf den anderen Server zu den beiden kopiere sind einfach langsam. Die anderen unter sich sind schnell genug. Die Virtio Treiber und Agenten sind alle gleich (selbe ISO) installiert. Aber egal welchen NIC Treiber ich nehme es wird nicht besser. Den VMware NIC hat auch nur 1 GB und nicht 10 wie im ESXi Host. Habe Processexlporer mit laufen lassen aber keine Auffälligkeiten von z.B. hoher CPU Last gefunden. Irgendwo ist da was mächtig faul und meine User werden ungeduldig, verständlicherweise.
Als File habe ich mal meine PVE Version angehängt.
Ich teste mal gleich noch in dem ich die ganze ausgeblendete Hardware aus dem Gerätemanager deinstalliere, so habe ich es früher bei ESX Migrationen gemacht. Irgendwie wird anscheinend nicht die ganze Bandbreite des NIC's erkannt oder ausgenutzt.

Hier die conf vom RD

agent: 1
bios: seabios
boot: order=scsi0
cores: 16
machine: pc-i440fx-9.0
memory: 65536
meta: creation-qemu=9.0.0,ctime=1727964858
name: RD
net0: virtio=00:0c:55:6a:1f:1c,bridge=vmbr100,firewall=1
numa: 0
ostype: win10
scsi0: arlw1:vm-1003-disk-0,iothread=1,size=300G
scsihw: virtio-scsi-single
smbios1: uuid=564df6f6-d945-f22f-e667-dc955e9a3f1c
sockets: 1
startup: order=8,up=60,down=60
vmgenid: 923549c93-5a1c-111e-5214-c1b5r001fb871

Die Geschwindigkeiten sind 200 MB/s und bei den funktionierenden Servern über 800 MB/s.

 

[Falk R.]

Bist du sicher, dass es am Netzwerk liegt?
Mach mal iperf3 zwischen den beiden.

 

[Sinux]

Hallo Falk,
auch wenn ich nicht immer deiner Meinung bin (DC File) möchte ich mich recht herzlich bedanken! Du scheinst ja hier zu wohnen und hilfst vielen hier!
Davon lebt das Forum. Also danke nochmal!!!
Ich denke schon dass es das NW ist da internes kopieren und die anderen Server eben das auch schnell arbeiten. Virenscanner Ausschlüsse haben nichts gebracht und ich habe auch keine erhöhte CPU Last beim kopieren. Ich teste das nachher unter Mittag da arbeitet keiner auf dem Servern.
Weißt du vielleicht warum die VMware vmnext NIC Treiber im Windows nur 1 GB anzeigen als im ESXi das sind es ja 10?
Denn mit denen wollte ich probieren und dort ging es auch nicht.
Habe von https://www.catalog.update.microsoft.com/Search.aspx?q=vmware die Treiber vnet genommen.
Auf allen Servern sind auch die Treiber und Tools der virtio-win 0.1.262 iso drauf.

 

[Jens_Le]

Evtl. ist bei den Dateisystem in der Windows VM auch die MFT zu stark fragmentiert.
Das hatte ich schon bei einigen alten oft umkopierten virtuellen Datenträgern.

 

[Sinux]

Danke Jens_Le, das mache ich immer, ein defrag laufen lassen, nur noch kein offline chdksk gemacht aber warum eigentlich auch, lokale Dateien werden sehr schnell kopiert.

 

[Jens_Le]

Ein MFT defrag geht nicht mit boardmitteln und ist etwas anderes als der notrmale Defrag.