Erfahrungen mit ESXI Import (Transfer extrem langsam)

[Naumburger-Bauunion]

Hallo Zusammen,

ich habe heute zum ersten Mal versucht, ESXi VMs zu Proxmox zu importieren.
Die Hosts sind recht start (Xeon Gold, 1TB RAM, SSDs, mehrere 10GBit LAN).

Ablauf wie dokumentiert :

Auf Host bei ESXI-Storage die zu importierende VM ausgewählt, etwas konfiguriert und auf "import" geklickt.

Im Statusfenster sieht alles ok aus, die VM wird erstellt, das virtuelle Storage wird erstellt und der Transfer beginnt.
Und genau da liegt das Problem - trotz 10GBit-Verbindung und ohne irgendwelche Fehlermeldungen dauert dieser Vorgang ewig.

Als Info : Dauer 20min - übertragen 6,5GByte (ursprüngliche Größe 127GB) bzw. bei anderer VM (ursprüngliche Größe 500GB) habe ich nach 10min immer noch 0,0B transferred.

Das heißt, ich müsste Tage (!!) warten, um den Transfer hinzubekommen - da geht die Methode Backup / Restore mit z.B. Acronis oder Synology Backup um Welten schneller.

Das kann doch nicht normal oder gewollt sein.

Wo liegt denn hier mein Fehler ?

Grüße

Mike

 

[MrKampf]

Moin,

was sagt den die Netzwerkauslastung und Disk Auslastung auf den Systemen? Siehst du denn das etwas passiert, ggf. auch anhand der CPU Auslastung erkennt man ob da jetzt etwas grade passiert oder der Prozess irgendwo hängt.

Gruß
Daniel

 

[Naumburger-Bauunion]

CPU und Netzwerklast sind im Vergleich zum "normalen" Betrieb kaum verändert.
Ich kann es nicht eingrenzen und mir auch nicht erklären.
Zumal die Methode "Backup von ESXi zu Synology Active Backup bzw. Acronis --> Restore mit virtuellem Bootmedium auf dem Proxmox" um Welten schneller funktioniert. Das ist halt umständlicher. Und ich habe ein Mail-Gateway unter Linus, das geht mit dieser Methode nicht, das muss direkt importiert werden. Aber ich kann das auch nicht einen ganzen Tag lang ausgeschaltet lassen :-(

 

[Mason]

Hi, genau das gleiche Problem hatte ich letzte Woche auch, Import läuft mit knapp 30Mbyte.
Nach ewiger Recherche, lag es aber nicht am Proxmox Import sondern am ESXI.
Selbst wenn ich über den Esxi direkt auf eine externe Platte exportiert habe, mit OVF Tool exportiert habe, über Webbrowser exportiert habe, kam ich nicht schneller als 30MB/s.
Ich ging bei der Maschine (2TB) davon aus, das die VMDK zu voll war und deshalb alles so ewig gedauert hat.
Andere Maschinen mit mehr freiem Speicherplatz gingen deutlich zügiger.

CPU, RAM, Netz und Diskauslastung waren minimal. Der hatte einfach Probleme die zu exportieren.
Leider kann ich das nun nicht mehr nachstellen, da bereits alles umgezogen ist und der alte ESXI nicht mehr existiert.

Es handelte sich um einen ESXI 7.0

 

[MrKampf]

Was @Mason bereits geschrieben hatte war auch ungefähr meine Vermutung. Ich weiß nur nicht welche von beiden Seiten das Problem sein könnte. Da müsste man jetzt schauen welche Möglichkeiten man hat, z.B. VM's die nicht in einem Zentralen Storage z.B. Ceph liegen einfach mal zwischen Nodes hin und her schieben und schauen ob dabei auch so Probleme auftreten und ähnliches dann bei ESXi auch machen.

 

[devaux]

Ja, ESXi macht unter gewissen Konfigurationen Throttling.
Selber bin ich noch nicht dahinter gekommen, welche Einstellungen da alle involviert sind. Allerdings habe ich da nicht gross gesucht, da ich in einem solchen Fall die Uebertragung mittels sshfs mache.

Anleitung in kurz:
1. VM-Huelle mit dem "normalen" ESXi-Import-Tool erstellen lassen (dort alle Harddisks abwaehlen), dann hast Du die schon einmal die VM vorbereitet - und das in Sekundenschnelle
2. apt update && apt install sshfs && mkdir /mnt/sshfs
3. Falls noch nicht aktiv SSH auf ESXi aktivieren
4. sshfs -o allow_other,default_permissions root@[IP_ESX_HOST]:/vmfs/volumes/[VOLUMENAME] /mnt/sshfs/
5. qm disk import [VM-ID] [VMDK-FILE_IN_VMWARE_STORE] [PROXMOX-DATASTORE]
6. SSHFS wieder unmounten: umount /mnt/sshfs
7. Disk bei "unused Disks" in Proxmox in der VM anhängen und alls Boot-Device setzen
8. Windows-Optimierungen (Virtio, Write-Back...) durchführen

 

[Naumburger-Bauunion]

Ich habe jetzt mal etwas probiert.
Status Import einer 500GB Maschine : nach 1h15min hatte er 15GB geschafft.
Dann mal eine Datensicherung (Synology Active Backup) restored : (übrigens auf exakt den gleichen Maschinen)
Start : 09:54 VHD Größe : 500GB - bis jetzt nach 10min 25GB geschafft. Naja, das ist auch nicht besonders schnell, aber immer noch Faktor 15 schneller.

Info am Rande : Die Netzkarte in der Zielmaschine ist eine E1000, also auf Gigabit gedrosselt, da der Backup-Boot-Agent schnellere Karten nicht kennt.

 

[Naumburger-Bauunion]

Ja, ESXi macht unter gewissen Konfigurationen Throttling.
Selber bin ich noch nicht dahinter gekommen, welche Einstellungen da alle involviert sind. Allerdings habe ich da nicht gross gesucht, da ich in einem solchen Fall die Uebertragung mittels sshfs mache.

Anleitung in kurz:
1. VM-Huelle mit dem "normalen" ESXi-Import-Tool erstellen lassen (dort alle Harddisks abwaehlen), dann hast Du die schon einmal die VM vorbereitet - und das in Sekundenschnelle
2. apt update && apt install sshfs && mkdir /mnt/sshfs
3. Falls noch nicht aktiv SSH auf ESXi aktivieren
4. sshfs -o allow_other,default_permissions root@[IP_ESX_HOST]:/vmfs/volumes/[VOLUMENAME] /mnt/sshfs/
5. qm disk import [VM-ID] [VMDK-FILE_IN_VMWARE_STORE] [PROXMOX-DATASTORE]
6. SSHFS wieder unmounten: umount /mnt/sshfs
7. Disk bei "unused Disks" in Proxmox in der VM anhängen und alls Boot-Device setzen
8. Windows-Optimierungen (Virtio, Write-Back...) durchführen

Uiui, für jemanden, der die Linux Kommandozeile nicht wirklich kennt.....

 

[devaux]

Uiui, für jemanden, der die Linux Kommandozeile nicht wirklich kennt.....

NOCH nicht wirklich kennt...
Glaub mir. Je mehr Du weisst, wie es "unter der Haube" aussieht und welche Befehle was machen, desto schneller kommst Du voran und desto sicherer fuehlst Du Dich schlussendlich. Proxmox ist hier ein tolles Beispiel wie man sich ein bisschen in Linux reinfuchsen kann - wenn man ab und zu die WebUI verlaesst/verlassen muss.
Dieses *NIX-Wissen kommt Dir dann auch bei 80% aller Geraete/Server zugute.

Schau Dir einfach die einzelnen Befehle an und suche diese in Google. Dort gibt es sehr gute Beschreibungen und Beispiele was diese machen.

 

[Naumburger-Bauunion]

NOCH nicht wirklich kennt...
Glaub mir. Je mehr Du weisst, wie es "unter der Haube" aussieht und welche Befehle was machen, desto schneller kommst Du voran und desto sicherer fuehlst Du Dich schlussendlich. Proxmox ist hier ein tolles Beispiel wie man sich ein bisschen in Linux reinfuchsen kann - wenn man ab und zu die WebUI verlaesst/verlassen muss.

Schau Dir einfach die einzelnen Befehle an und suche diese in Google. Dort gibt es sehr gute Beschreibungen und Beispiele was diese machen.

Da hast Du sicher recht. Zumal ich ja - aufgrund des Alters und der Erfahrung - eigentlich noch die guten alten DOS Kommandos kenne. Die helfen allerdings heutzutage nur bedingt weiter ;-)
Ich bin immer dabei, wenn es um die Erforschung solcher Dinge geht - leider fehlt immer wieder die Zeit, da das Produktivsystem mittlerweile recht dringend von ESXi auf Proxmox wandern muss.
Alleine deshalb werde ich wohl oder übel die Backup-Restore Version verwenden.
Schade eigentlich - ich hätte gerne etwas "geforscht".

 

[Naumburger-Bauunion]

Ich habe jetzt mal etwas probiert.
Status Import einer 500GB Maschine : nach 1h15min hatte er 15GB geschafft.
Dann mal eine Datensicherung (Synology Active Backup) restored : (übrigens auf exakt den gleichen Maschinen)
Start : 09:54 VHD Größe : 500GB - bis jetzt nach 10min 25GB geschafft. Naja, das ist auch nicht besonders schnell, aber immer noch Faktor 15 schneller.

Info am Rande : Die Netzkarte in der Zielmaschine ist eine E1000, also auf Gigabit gedrosselt, da der Backup-Boot-Agent schnellere Karten nicht kennt.

Update : nach 27min (!!) war das Restore erledigt, nach weiteren 5min die Maschine für Proxmox angepasst. In diesem Fall stellt der direkte ESXI-Import für mich nicht mal annähernd eine Alternative dar.

 

[devaux]

Da hast Du sicher recht. Zumal ich ja - aufgrund des Alters und der Erfahrung - eigentlich noch die guten alten DOS Kommandos kenne. Die helfen allerdings heutzutage nur bedingt weiter ;-)
Ich bin immer dabei, wenn es um die Erforschung solcher Dinge geht - leider fehlt immer wieder die Zeit, da das Produktivsystem mittlerweile recht dringend von ESXi auf Proxmox wandern muss.
Alleine deshalb werde ich wohl oder übel die Backup-Restore Version verwenden.
Schade eigentlich - ich hätte gerne etwas "geforscht".

Probiers einfach mal aus. Eventuell einfach mit einer kleinen Test-VM mit 50-100GB.
Das kannst Du dann auch jederzeit waehrend der Produktiv-Zeit machen ohne jemanden zu stoeren. Wenn Du dann alle Befehle fuer Dich Dokumentiert hast und Dich sicher fuehlst (und die Import-Geschwindigkeit passt), kannst Du Dich dann an die "richtige" VM wagen.

 

[Linke]

Hat die ESXI-VM Snapshots? Bei mir hat der Import einer VM mit Snapshots 16 Stunden gedauert. Nachdem ich die Snapshots auf dem ESXi konsolidiert hatte, dauerte der Import nur noch wenige Minuten.

 

[mrmanuel]

Bei mir war es auch der Fall, dass wenn in VMware Snapshots aktiv waren der Import ewig gedauert hat. VM's ohne Snapshots gingen ruck zuck.

 

[Naumburger-Bauunion]

Bei mir war es auch der Fall, dass wenn in VMware Snapshots aktiv waren der Import ewig gedauert hat. VM's ohne Snapshots gingen ruck zuck.

OK, das ist mal ein Ansatz - werde ich bei Gelegenheit probieren. Klar habe ich Snapshots gemacht, als Sicherheit, falls der Import irgendetwas zerhackt.

 

[Falk R.]

Welche Version ESXi hast du denn?
Proxmox nutzt für die Migration das Backup VDDK von VMware und ist auf die Funktionen und Geschwindigkeiten angewiesen.
Mit ESXi 8 läuft das vernünftig. Mit ESXi7 ist das schon langsam aber kleine VMs gehen damit. Mit ESXi 6.5 oder 6.7 ist das so langsam, dass es in meinen Augen völlig unbrauchbar ist.
Bei meinen Kunden nutze ich daher meine alte Methode der letzten Jahre weiter. Diese ist auch im Wiki hinterlegt.
https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Attach_Disk_&_Move_Disk_(minimal_downtime)

Ich habe letztes Jahr auf der Kielux auch einen Vortrag dazu gehalten, der noch bei YouTube zu finden ist. Das funktioniert immer schnell und wenn die Disks schnell genug sind machst du auch gern mehrere 10GBit Links dicht.

 

[Naumburger-Bauunion]

Welche Version ESXi hast du denn?
Proxmox nutzt für die Migration das Backup VDDK von VMware und ist auf die Funktionen und Geschwindigkeiten angewiesen.
Mit ESXi 8 läuft das vernünftig. Mit ESXi7 ist das schon langsam aber kleine VMs gehen damit. Mit ESXi 6.5 oder 6.7 ist das so langsam, dass es in meinen Augen völlig unbrauchbar ist.
Bei meinen Kunden nutze ich daher meine alte Methode der letzten Jahre weiter. Diese ist auch im Wiki hinterlegt.
https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Attach_Disk_&_Move_Disk_(minimal_downtime)

Ich habe letztes Jahr auf der Kielux auch einen Vortrag dazu gehalten, der noch bei YouTube zu finden ist. Das funktioniert immer schnell und wenn die Disks schnell genug sind machst du auch gern mehrere 10GBit Links dicht.

Ich habe (noch) ESXI 8.0.0. Da ich nur einmal die ganzen VMs auf Proxmox bringen will, habe ich mich entschlossen, die "Backup-Restore" Methode anzuwenden. Da muss ich nicht erst noch irgendwelche Methoden lernen, die ich dann nie mehr benötige. Soll nicht heißen, dass ich gerne Neues dazulerne - aber hier fehlt einfach der Sinn für künftige Zeiten. Einzig eine VM muss ich wohl mit der langsamen Methode konvertieren - das Kaspersky Secure Mail Gateway - das ist eine Linux-VM.

 

[Falk R.]

Ich habe (noch) ESXI 8.0.0. Da ich nur einmal die ganzen VMs auf Proxmox bringen will, habe ich mich entschlossen, die "Backup-Restore" Methode anzuwenden. Da muss ich nicht erst noch irgendwelche Methoden lernen, die ich dann nie mehr benötige. Soll nicht heißen, dass ich gerne Neues dazulerne - aber hier fehlt einfach der Sinn für künftige Zeiten. Einzig eine VM muss ich wohl mit der langsamen Methode konvertieren - das Kaspersky Secure Mail Gateway - das ist eine Linux-VM.

Linux VMs sind ja noch einfacher zu migrieren, aber bei solchen Appliances muss man aufpassen, da dort oft das Betriebssystem modifiziert wurde. Hast du einen root oder sudo User? Manchmal ist es bei Appliances einfacher eine neue zu deployen und ein Konfigurationsbackup zurück zu spielen.

 

[Naumburger-Bauunion]

Linux VMs sind ja noch einfacher zu migrieren, aber bei solchen Appliances muss man aufpassen, da dort oft das Betriebssystem modifiziert wurde. Hast du einen root oder sudo User? Manchmal ist es bei Appliances einfacher eine neue zu deployen und ein Konfigurationsbackup zurück zu spielen.

Daran habe ich auch schon gedacht. Allerdings gibt es die Installationsvorlage nur als VMWare und ESXI Version. Mir bleibt also nichts übrig, als die direkte Migration mal zu probieren.

 

[devaux]

OVA-Dateien kannst Du sehr einfach importieren: https://www.networkshinobi.com/importing-ova-file-to-proxmox-6-1-3/