5 TB Daten von NTFS USB HDD kopieren

[Tom7320]

Moin!

Ich habe eine kurze, dummer Frage: ich müsste 5 TB Daten, die auf einer externen USB3 HDD liegen, auf ein NTFS formatiertes Proxmox disk image kopieren. Wie mache ich das am schnellsten/sichersten/besten:

1. Übers Netz, indem ich die Platte an einen separaten Windowsrechner anschließe, oder
2. Platte an Proxmox anschließen, mit ntfs-3g mounten, disk image ebenfalls mounten (wie?) und kopieren, oder
3. Platte an Proxmox anschließen und die USB3 HDD in die Windows VM durchreichen?

Was ist der beste Weg?

Danke Euch!

Grüße

Thorsten

 

[udo]

Hi,
willst Du die Daten kopieren oder soll die Win-VM-Disk "zufällig" auch so groß sein wie die jetzige USB-Platte und auch erstmal keine anderen Daten enthalten?

Wenn dem so ist, würde ich die Platte direkt am Server einfach mit dd auf die VM-disk kopieren.
Sonst würde ich die Platte auch am Server anschliessen und an die VM durchreichen, dort intern kopieren und dann die USB-Platte wieder entfernen.

Udo

 

[Tom7320]

Sonst würde ich die Platte auch am Server anschliessen und an die VM durchreichen, dort intern kopieren und dann die USB-Platte wieder entfernen.

Genau dies habe ich auch getan. Dann wollte ich ca. 5 TB Daten von der USB HDD auf ein Proxmox Laufwerk kopieren (unter Windows Server 2016). Die ersten paar Minuten ging das auch recht flott, doch dann kam es immer wieder zu Pausen von vielleicht 20 bis 30 Sekunden, in denen gar nichts mehr ging, also kein einziges Byte mehr kopiert wurde?! Dabei ist es egal, ob ich auf eine Partition kopiere, die physisch auf einer SSD oder einer HDD liegt. Die Pausen bleiben. Während einer solchen Pause ist die IO Delay recht hoch, manchmal >98%. Nur komme ich nicht darauf woran das liegen könnte und wie ich es evtl. beheben kann??? Daher die etwas seltsame Frage. Kann es an dem USB-3 Treiber von Proxmox liegen? Oder ein ganz anderes Problem? Ich experimentiere weiter. Wenn jemand eine Idee hat, nur her damit... ;-)

PS: Hier die Ziel HDD:


VirtIO SCSI auf dem Windows Server 2016 Version 100.77.104.16400 (latest).

 

[Tom7320]

PPS: Meine Annahme war falsch, dass das Problem die Performance der durchgereichten USB HDD bzw. des USB-3 Treibers ist. Die gleichen Pausen beim kopieren treten auch auf, wenn ich von einem Thinpool in einen anderen kopiere....

 

[Tom7320]

Letztes Update für heute: Problem scheint der Cache der virtuellen HDD zu sein: Mit "No cache" kopiere ich jetzt ohne Pausen. Dafür schnarchlangsam. Ca. 30 MB/s... :-(

 

[udo]

Hi,
wie sieht denn dein Storage aus?
Und wie hast Du die Platte durchgereicht? Als Platte, oder den USB-Port (das ist AFAIK usb 2.0)?

Udo

 

[Tom7320]

wie sieht denn dein Storage aus?

HP Microserver Gen 8 mit P410 RAID Controller mit 512 MB BBWC Cache.

Und wie hast Du die Platte durchgereicht? Als Platte, oder den USB-Port (das ist AFAIK usb 2.0)?

Den USB Port mit USB 3. Das war ja meine Ausgangsfrage. Besser USB 3 durchreichen oder NTFS HDD per NTFS-3G mounten...

 

[udo]

Hi,
der Raid-Cache ist schnell voll - was für Platten in was für'n Raid-level hast Du dahinter?

Reiche doch die Platte durch (z.B. /dev/sdc und nicht den USB-Port)

Udo

 

[Tom7320]

der Raid-Cache ist schnell voll - was für Platten in was für'n Raid-level hast Du dahinter?

4x WD Red für NAS (jetzt frag mich aus dem Kopf nicht nach der genauen Bezeichnung) im RAID 5.

Reiche doch die Platte durch (z.B. /dev/sdc und nicht den USB-Port)

Wäre ein Versuch wert. Allerdings scheint mir eher die Schreib-Performance der Flaschenhals zu sein. Kann man da etwas optimieren? Cache?

 

[Tom7320]

Reiche doch die Platte durch (z.B. /dev/sdc und nicht den USB-Port)

PS: Nur damit ich das richtig verstehe: Du meinst Platte unter Proxmox per "mount -t ntfs-3g /dev/sdx /mnt/usb" mounten und dann in Proxmox unter Datacenter -> Storage einbinden?

 

[udo]

4x WD Red für NAS (jetzt frag mich aus dem Kopf nicht nach der genauen Bezeichnung) im RAID 5.

Hi,
ich hab' die in der 2.5Zoll Version als Datengrab. Die sind wirklich lahm... da würde ich mir keine großen Hoffnungen machen.

Wäre ein Versuch wert. Allerdings scheint mir eher die Schreib-Performance der Flaschenhals zu sein. Kann man da etwas optimieren? Cache?

Due könntest als SCSI-Controller virtio-single einstellen, und iothread bei der Platte aktivieren und dann stoppen (nicht nur reboot) und neu starten.
Glaub aber nicht, dass das sehr viel bringt (wobei, dann ist der normale Thread für die USB-Platte frei).
Wie gesagt, dann noch die USB-Platte als Platte und nicht als USB-Port durchreichen und dann mal gucken, wieviel so geht.

Udo

 

[Tom7320]

Mich würde in dieser (meiner jetzigen) Konstellation mal die Performance von Win Server 2016 nativ interessieren. Also wie viel "kostet" die Virtualisierung mit Proxmox. Kann ich nur leider nicht ausprobieren ohne alles wieder platt zu machen....

 

[udo]

Mich würde in dieser (meiner jetzigen) Konstellation mal die Performance von Win Server 2016 nativ interessieren. Also wie viel "kostet" die Virtualisierung mit Proxmox. Kann ich nur leider nicht ausprobieren ohne alles wieder platt zu machen....

das hängt stark von der Hardware und den Treibern ab. Vor langer Zeit hatte ich so'n Test mal gemacht und hatte unterm nativen Windows deutlich schlechtere IO-Werte, als virtualisiert auf Proxmox. Der Areca-Treiber unter Linux plus das Cacheing sorgten für einen deutlichen Gewinn.
Cpu-mässig gehen so imho rund 8% flöten.

Udo

 

[Tom7320]

Echt? Du hattest einen IO-Gewinn durch die Virtualisierung? Interessant! CPU ist mir nicht so wichtig - die ist gefühlt schnell genug. Was in meiner Konstellation ein Dealbreaker sein könnte, ist die wirklich grottige IO Performance.

Zum Cache: mein Problem scheint ja der Cache zu sein. "Write Back" mache die Kunstpausen dazwischen, was inakzeptabel ist. "No cache" läuft durchgehend seit gestern aber lahm. Was ist denn der empfohlene Cache z.B. in meiner Konstellation? Und warum macht "Write back" diese Kunstpausen? Die Wikiseite Performance Tweaks habe ich gesehen; scheint aber etwas älter zu sein...

 

[udo]

Hi,
write cache nuzt Ram vom host zum schreiben, fix für kleine Mengen in Deinem Fall, bloss wenn der Cache gefüllt ist, muss der Inhalt ertmal auf die Platten - und wenn Dein Raid-System grottig lahm ist, was es wohl ist, dauert das halt, bis die Daten weggeschrieben sind.

Eine Möglichkeit wäre, auf ZFS zu setzen - dann sind die Platten immer noch lahm, aber Du kannst eine vernünftige SSD (da gibt's ne Seite für ceph welche SSD taugt) als Schreib und Lese-Cache verwenden (oder sogar zwei in Raid, dann ist's auch sicher).
ZFS braucht aber Ram - sonst wirst Du nicht glücklich.
Und ZFS muss die Platten direkt sehen - also nicht über'n Raidcontroller.

Udo

 

[HBO]

Aber bitte nicht mit dem P410(i), habe den mal auf HBA gestellt (gibts aber gewisser Firmware Version) und macht unter ZFS massiv Probleme. Scheint auch kein wirklicher HBA Modus zu sein sondern nur eine Deaktivierung der Raid Funktionalität. Mit einem richtigen LSI HBA klappte dann ZFS auch.

 

[Tom7320]

Hm. Verstehe. Du sagst also, mit no cache sehe ich die tatsächliche Geschwindigkeit des RAID Systems. Mit write back dagegen geht es schnell, bis der Cache voll ist. Danach Pause zum Wegschreiben.

ZFS ist sehr interessant, habe ich auch schon unter FreeNAS Erfahrungen mit gesammelt. Allerdings bräuchte ich dafür deutlich mehr RAM und einen HBA Adapter. Und auf lange Sicht die Lizenzierungsproblematik unter Linux....

Beim jetzigen Setup scheint das RAID tatsächlich langsam zu sein. Die Frage ist nur, warum? Die Platten sind sicher nicht die Schnellsten, aber mehr als 30 MB/s sollten sie schon schaffen. Also der P410 RAID Controller? Ob es sich wohl lohnt z.B. einen P420 mit BBU zu verbauen?

Letztlich handelt es sich um mein System zu Hause, sodass ich nicht all zu viel Geld da rein investieren möchte...

 

[Tom7320]

Weil mittlerweile eigentlich OT hier, mache ich mal einen neuen Thread auf bzgl. der IO Performance.

Danke herzlich für die hilfreichen Antworten!