qm import sehr langsam

[Aquator]

Moin.
Ich habe auf einem anderen PC ein Virtualbox vm laufen. Diese habe ich im raw Format exportiert/cloned.

Wenn ich diese (50GB) versuche in Proxmox zu einer VM zu importieren gehen die ersten 2 GB beim Import sehr zügig (zusammen vielleicht 10 Sekunden) dann von 2-4 GB schon sehr langsam (pro 500mb ca. 2 Minuten) und alle 500MB Schritt die danach kommen dauern exponentiell länger.

Die VM-Platte ist auf einer Festplatte von Proxmox abgelegt und wird mit

qm importdisk 100 /pfad/zur/quelldatei zielzfs --format qcow2" importiert.

importiert.

Ich dachte vielleicht liegt es am Konvertieren von raw nach qcow2. Auf einer anderen, viel schlechteren, Hardware habe ich das mal mit qemu-img laufen lassen. Da ist die Geschwindigkeit gleichbleibend wie die qcow2 erstellt wird und ist recht schnell abgeschlossen.

Was mache ich falsch? Woran könnte das liegen?

 

[foxpalace]

Entschuldigung - manchmal bin ich zu frech - aber hast du deine VM am Start? Wenn ja, wo ist das Problem? In deiner Hardwarekonstalation scheint es zu dauern, wie es dauert - also kalkurliere das und gut ist, oder?

 

[Falk R.]

Machst du das zufällig auf einer Consumer SSD?

 

[Aquator]

Entschuldigung - manchmal bin ich zu frech - aber hast du deine VM am Start? Wenn ja, wo ist das Problem? In deiner Hardwarekonstalation scheint es zu dauern, wie es dauert - also kalkurliere das und gut ist, oder?

Was meinst du mit "am Start"? Ob sie läuft? Nein. Sie ist heruntergefahren und auf eine neu Platte kopiert.
Wenn du die VM auf Proxmox meinst, nein die läuft auch nicht.

Wenn es "dauern" würde, gleichbleibende Zeiten zwischen den Schritten, würde ich warten und fertig. Tut es aber nicht.
Ich weiß nicht was Proxmox noch macht außer das .img (RAW) in .qcow2 umzuwandeln. Daher kann ich nur sagen das auf einer Asbach Desktopuraltmaschine (AMD 4000 irgendwas mit 4GB RAM und alten HDD), genau dieser Umwandelprozess, gestern in 20 Minuten durchlief.
Und ein HP Server mit XEON, 16 GB Ram SAS und SSD platten braucht dafür Tage... vielleicht wochen? Für ein 50Gb Image? Dann traue ich mich nicht das 250 Gb img zu starten. Das Ende davon werde ich dann wohl zu lebzeiten nicht mehrmitbekommen

Machst du das zufällig auf einer Consumer SSD?

Ich hatte es erst auf einer normalen Evo 860 SSD probiert. Jetzt habe ich SAS Platten und HP Server SSD drin und ... selbe in grün.

 

[Falk R.]

Bei Consumer SSDs, ist ein Einbruch auf deutlich unter HDD Niveau nicht ungewöhlich. pendelt sich aber dann meist bei ca. 30 MB/Sec ein (nach einer kurzen Pause).
Bei den SAS Disks darf das nicht passieren.
Auf was für ein Filesystem schreibst du denn? ZFS?

 

[Aquator]

Bei Consumer SSDs, ist ein Einbruch auf deutlich unter HDD Niveau nicht ungewöhlich. pendelt sich aber dann meist bei ca. 30 MB/Sec ein (nach einer kurzen Pause).
Bei den SAS Disks darf das nicht passieren.
Auf was für ein Filesystem schreibst du denn? ZFS?

Ich hatte es schon 12 Stunden laufen. Am Ende dauter ein Zyklus (512MB) ca. 1 Stunde. Da war ich bei ~26 GB von 50 GB.

Ja ist ein ZFS. RAIDZ.


Bin recht neu mit Proxmox unterwegs. Hatte immer viel gesehen und fand das Webend halt sehr net für die Übersicht. Bisher lief bei mir immer alles mit Ubuntu Server und virtualbox über Konsole. Funktinierte ohne Probleme.
Wollte nur umstellen, da ich eh gerade alles neu machen wollte.

 

[foxpalace]

Ui - sieht nach einem ZFS-Problem aus - hast du Komprimierung und Dedup an? Hast du die Möglichkeit das ganze an dem Rechner mit ext4 zu machen? Ein importdisk dauert bei mir immer nur ein paar Minuten

 

[Aquator]

Compression: on
Dedup: off

Ich erstelle das ganze bei einem Raid neu und mache die Compression aus.

Wenn das auch nicht läuft mache ich das wie du gesagt hast als einzelne Platte mit ext4. Danke für den Tipp.

 

[itNGO]

Hi,
wenn dein ZFS auf einem Raid-Controller läuft und nicht auf einem "echten" HBA, kein RAID-Controller im HBA-Mode, dann kann das schon mal passieren.... da hilft nur einen HBA einbauen.....

 

[Falk R.]

Hi,
wenn dein ZFS auf einem Raid-Controller läuft und nicht auf einem "echten" HBA, kein RAID-Controller im HBA-Mode, dann kann das schon mal passieren.... da hilft nur einen HBA einbauen.....

Hi, bei HPE RAID Controllern kann man tatsächlich einen echten HBA Modus einstellen. Dann ist der RAID Chip komplett umgangen und deaktiviert.
Andere ältere Controller machen einfach viele Raid0 was suboptimal ist.
Bei den Gen10 Controllern von HPE kannst du auch Mixed fahren (für HCI gedacht) OS im echten RAID und Datendisks im HBA Mode.

 

[Aquator]

Es lag an der Kompression. Ich habe jetzt zum "umwandeln" ein Platte eingebaut und die ohne Kompression erstellt. Dann lief es durch mit "Successful", aber leider funktioniert die VM nicht sauber. War eine Win Server 2k19. Hier kann ich diverse einstellungen, unter anderem den Geräte-Manager, nicht mehr öffnen.
Naja war ein Versuch wert.

Danke für eure Hilfe.