Hilfe bei Migration einer 16TB Disk

[LEECH666]

Hallo Leute,

ich brauch mal eben eure Hilfe. Ich probiere gerade in meinem "Homelab" eine (für mich) große Disk (16TB LVM) auf auf meine neue, zentrale Speicherlösung (SMB Share auf Truenas Core mit ZFS als Dateisystem) zu verschieben.

Ich hatte es erst mit der Live Migration probiert aber das ist vorhin, nach 1 Tag und ca. 18 Stunden (hab nur 1Gbit/s hier) abgebrochen.

Autsch!

create full clone of drive scsi1 (Raid5x4x6TB:vm-201-disk-0)
Formatting '/media/smb/r5-tnc/proxmox//images/201/vm-201-disk-3.raw', fmt=raw size=17931488460800
drive mirror is starting for drive-scsi1
drive-scsi1: transferred 0.0 B of 16.3 TiB (0.00%) in 0s
drive-scsi1: transferred 92.0 MiB of 16.3 TiB (0.00%) in 1s
drive-scsi1: transferred 206.0 MiB of 16.3 TiB (0.00%) in 2s
drive-scsi1: transferred 350.0 MiB of 16.3 TiB (0.00%) in 4s
drive-scsi1: transferred 542.0 MiB of 16.3 TiB (0.00%) in 5s
drive-scsi1: transferred 654.0 MiB of 16.3 TiB (0.00%) in 6s
drive-scsi1: transferred 782.0 MiB of 16.3 TiB (0.00%) in 8s
drive-scsi1: transferred 910.0 MiB of 16.3 TiB (0.01%) in 9s
drive-scsi1: transferred 1.0 GiB of 16.3 TiB (0.01%) in 10s
drive-scsi1: transferred 1.2 GiB of 16.3 TiB (0.01%) in 11s
drive-scsi1: transferred 1.3 GiB of 16.3 TiB (0.01%) in 13s
drive-scsi1: transferred 1.5 GiB of 16.3 TiB (0.01%) in 14s
[Log hier gekürzt ...]
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.10%) in 1d 17h 56m 11s
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.10%) in 1d 17h 56m 12s
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.10%) in 1d 17h 56m 13s
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.10%) in 1d 17h 56m 14s
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.10%) in 1d 17h 56m 15s
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.10%) in 1d 17h 56m 16s
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.10%) in 1d 17h 56m 17s
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.10%) in 1d 17h 56m 18s
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.11%) in 1d 17h 56m 20s
drive-scsi1: transferred 16.0 TiB of 16.3 TiB (98.11%) in 1d 17h 56m 21s
drive-scsi1: Cancelling block job
drive-scsi1: Done.
'storage-r5-tnc-proxmox'-locked command timed out - aborting
TASK ERROR: storage migration failed: block job (mirror) error: drive-scsi1: 'mirror' has been cancelled

Ich hab zu dem Fehler leider nicht so viel gefunden, ausser das jeman erwähnte dass es mit der Live Migration zu tun hat. Also hab ich jetzt meine VM runter gefahren und hab es dann noch mal mit Offline Migration probiert. Leider kackt er wieder bei 98 Prozent ab.

create full clone of drive scsi1 (Raid5x4x6TB:vm-201-disk-0)
trying to acquire cfs lock 'storage-r5-tnc-proxmox' ...
trying to acquire cfs lock 'storage-r5-tnc-proxmox' ...
Formatting '/media/smb/r5-tnc/proxmox//images/201/vm-201-disk-3.raw', fmt=raw size=17931488460800
transferred 0.0 B of 16.3 TiB (0.00%)
transferred 167.0 GiB of 16.3 TiB (1.00%)
transferred 334.0 GiB of 16.3 TiB (2.00%)
transferred 501.0 GiB of 16.3 TiB (3.00%)
transferred 668.0 GiB of 16.3 TiB (4.00%)
transferred 835.0 GiB of 16.3 TiB (5.00%)
transferred 1002.0 GiB of 16.3 TiB (6.00%)
[Log hier gekürzt ...]
transferred 14.8 TiB of 16.3 TiB (91.00%)
transferred 15.0 TiB of 16.3 TiB (92.00%)
transferred 15.2 TiB of 16.3 TiB (93.00%)
transferred 15.3 TiB of 16.3 TiB (94.00%)
transferred 15.5 TiB of 16.3 TiB (95.00%)
transferred 15.7 TiB of 16.3 TiB (96.00%)
transferred 15.8 TiB of 16.3 TiB (97.00%)
transferred 16.0 TiB of 16.3 TiB (98.00%)
qemu-img: error while writing at byte 17592186044416: Invalid argument
'storage-r5-tnc-proxmox'-locked command timed out - aborting
TASK ERROR: storage migration failed: copy failed: command '/usr/bin/qemu-img convert -p -n -f raw -O raw /dev/Raid5x4x6TB/vm-201-disk-0 zeroinit:/media/smb/r5-tnc/proxmox//images/201/vm-201-disk-3.raw' failed: exit code 1

Ich bin ratlos. Kann mir jemand helfen wie ich meine 16 TB Disk ohne Absturz bei 98% wegmigrieren kann?

 

[mijanek]

Das sieht so aus, dass du auf dem Ziel auf die maximale Filegröße von 16TB stößt. Da bekommst Du wohl das Image mit 16.3TB nicht rein. Suche nach dem Fehler auf deiner NAS.

 

[LEECH666]

Bei einem ZFS Dateisystem halte ich es für sehr unwahrscheinlich, dass 16TB die maximale Dateigröße ist, allerdings kann es sein dass der SMB (Samba? CIFS?) Share nicht mehr als 16 TB kann. Würde ich ebenfalls sehr befremdlich finden aber ich kann dazu nichts finden. Dann werd ich wohl mal im Forum von TrueNAS fragen müssen.

 

[Falk R.]

Mal NFS getestet?

 

[Dunuin]

Also im Internet findet man haufenweise Threads wo Leute schon vor 10 Jahre berichtet haben, dass da SMB Shares mit über 16TB (z.B. 17 und 18 TB) klappen.

Laut TrueNAS Doku sollten 16,3 TiB für ZFS kein Problem sein:

As a 128-bit filesystem, the maximum filesystem or file size is 16 exabytes.

 

[Falk R.]

Das SMB Protokoll ist nicht das Problem, eventuell die Umsetzung vom TrueNAS. Obwohl das eigentlich ok sein sollte. Quotas oder sowas gibts nicht?
Eventuell fällt bei NFS was auf oder die Fehlermeldung anders aus.

 

[Dunuin]

Scheint so als wenn 16TB aber eine gängige Hürde ist. ext4 scheint z.B. mit einer 4K Blockgröße keine Dateien mit mehr als 16TB zu unterstützen wenn man nicht bigalloc aktiviert.

 

[LEECH666]

Mal NFS getestet?

Das könnte ich noch mal testen, allerdings hab ich noch nicht mit NFS gearbeitet.

Also im Internet findet man haufenweise Threads wo Leute schon vor 10 Jahre berichtet haben, dass da SMB Shares mit über 16TB (z.B. 17 und 18 TB) klappen.

Laut TrueNAS Doku sollten 16,3 TiB für ZFS kein Problem sein: As a 128-bit filesystem, the maximum filesystem or file size is 16 exabytes.

Danke für die Info. Das war so auch in etwa mein Verständnis von ZFS, bei SMB war ich mir allerdings unsicher.

Das SMB Protokoll ist nicht das Problem, eventuell die Umsetzung vom TrueNAS. Obwohl das eigentlich ok sein sollte. Quotas oder sowas gibts nicht?
Eventuell fällt bei NFS was auf oder die Fehlermeldung anders aus.

Ich hab nichts in der Richtung konfiguriert. Es ist nur ein ganz kleines Home Lab mit mir als single User. Von daher sind so erweiterte Einstellungen für mich nicht relevant.

Scheint so als wenn 16TB aber eine gängige Hürde ist. ext4 scheint z.B. mit einer 4K Blockgröße keine Dateien mit mehr als 16TB zu unterstützen wenn man nicht bigalloc aktiviert.

Ich hab einfach nur über Proxmox ein LVM Volume im Webgui angelegt auf dem zugrunde liegenden RAID5 Volume. Das ganze Unterfangen die Disk zu verschieben dient dem Zweck diesen alten 3ware 9650SE Raid Controller durch einen (im IT Firmware / HBA geflashten) Dell PERC H310 zu ersetzen um den proprietären RAID5 Layer zu eleminieren und auf ZFS umzusteigen. Deswegen hätte ich diese VM Disk gerne temporär auf meinem zentralen TrueNAS speicher. Außerdem will ich den Host von 6.4 auf 7.x updaten und dann die VM zurück auf den Host schieben.

Danke schon mal für eure Hilfestellungen.

 

[Falk R.]

NFS kann jedes NAS und ist genau so einfach wie SMB zu benutzen. Die meisten NAS sind mit NFS auch schneller als mit SMB.

 

[LEECH666]

Im speziellen ging es mir um die Unvertrautheit der nötigen Einstellungen und der Bedienung für NFS Shares auf TrueNAS und Proxmox Seite, aber ich scheine es hinbekommen zu haben und migriere gerade eine kleine VM auf ein neu angelegtes NFS Share.

//EDIT: Dann ist jetzt noch mal die 16TB Disk dran ...

 

[LEECH666]

Okay nach 2 Tagen und 8 Stunden ist es über NFS durchgelaufen. Super. Keine Ahnung warum SMB nicht geht aber ist dann halt wohl so. Schade das es nicht so schnell ist wie SMB aber nun gut, es ist zu verkraften und und vielleicht kann ich mit einer Intel NIC in beiden Rechnern noch was rausholen. Aktuell kommt in dem Proxmox Host noch eine onboard Realtek NIC zum Einsatz.

Kann es sein das NFS irgendwie nur ziemlich rudimentäre Authentifizierungs- bzw. Sicherheitsfeatures?

 

[Falk R.]

Eigentlich ist NFS unter LInux schneller als SMB, außer SMB3, da ist es eigentlich gleich.

Ja, das Thema Security funktioniert wetwas anders bei NFS, aber du kannst es trotzdem genau so gut absichern wie SMB. Man muss sich nur etwas umgewöhnen.

 

[Dunuin]

Ja, das Thema Security funktioniert wetwas anders bei NFS, aber du kannst es trotzdem genau so gut absichern wie SMB. Man muss sich nur etwas umgewöhnen.

Ohne ein AD mit Kerberos aufzusetzen wird das aber schwierig oder? Sonst hat man da ja nur die ACLs oder Besitzerrechte, was ja aber Null schützt, wenn man nach keinem Passwort gefragt wird, wenn man als eine bestimmte UID auf den Share zugreifen will. Und dann natürlich noch erlauben/verbieten von ganzen IPs-Ranges, aber das lässt sich dann ja umgehen indem man seine IP solange ändert bis man eine hat die rauf darf.
So richtig konnte ich mich da mit NFS auch noch nicht anfreunden.