Disk Passthrough by-ID, wenn mehrere Datenträger des gleichen Typs die gleich ID haben

[sly69]

Hallo Proxmox-Freaks,
ich möchte 4 NVMEs einer VM hinzufügen bzw. durchreichen, alle 4 SSDs haben aber die gleiche ID bzw. Seriennummer. Die 4 sind in einem DAS-Gehäuse, welches per USB 3.2 Gen. 2 angeschlossen an meinen Proxmox angeschlossen ist.
Bisher gelingt das nicht zufriedenstellend, den in der VM werden nur 3 angezeigt. Bei HDDs funktioniert es, da sie verschiedene Seriennummern haben (es sollen später noch 3 HDDs mit angeschlossen werden.).
Wie würdet ihr die NVMEs einbinden? Mit dem Befehl "ls -l /dev/disk/by-id" wird nur eine der 4 angezeigt.

Wie kann ich später die HDDs mit einbinden? Es soll bei Proxmox angeblich eine maximale Anzahl an durchreichbaren Disks per Sata und SCSI geben!

Danke!

 

[Falk R.]

Also gleiche ID ist je nach Hersteller gar nicht so unüblich, aber die Seriennummer muss verschieden sein, außer dein Gehäuse übergibt die Daten nicht korrekt. Hast du die NVMe mal im Rechner dirrekt getestet ob da auch die gleiche SN angezeigt wird?

 

[sly69]

Danke dir für deine Meldung!
Nein, hab leider dazu nicht die Möglichkeit! Hab die aber mal testweise per Passthrough in eine Windows-VM eingebunden, auch da das gleiche Spiel und alle haben die gleiche Serien-Nummer.
Im Proxmox-Shell wird immer nur eine NVME per disk-by-id angezeigt. Per disk-by-uuid werden sie garnicht angezeigt. Gibt es noch eine andere Möglichkeit, die NVMEs in eine Linux-VM einzubinden?

 

[Falk R.]

Wenn du die nicht umtauschen kannst gegen ein vernünftiges Modell, dann kannst du nur mal gucken ob du ein Tool findest wo du die UUID oder Seriennummer überschreiben kannst.

 

[sly69]

Danke für eure Mitteilungen.
Das benutzte DAS-Gerät ist ein Terramaster D8 Hybrid, die NVMEs sind Lexar NM790 4TB. Der Kauf war sehr teuer, nur ungern würde ich neue bestellen! Wenn´s nicht anders geht, werde ich aber in den sauren Apfel beissen müssen! Wie ist es denn bei Samsung NVMEs, haben die unterschiedliche Serien-Nummern bzw. IDs?
Gibt es eine Möglichkeit, die Serien-Nummern bzw. IDs zu überschreiben? Hab es über eine Windows-VM per diskpart versucht, ändert aber nichts. Kennt jemand ein brauchbares Tool?

 

[sly69]

Danke für den Hinweis! Das werde ich testen!

 

[Falk R.]

Jede vernünftige NVMe hat eine eigene UUID und Seriennummer. Das was du da gekauft hast ist vermutlich eine nicht ganz offizielle China Produktion. Manchmal stellen die Werke mehr her als der Hersteller abnimmt und dann wird das auf dem Graumarkt verscherbelt. Das die Dinger dann alle die gleiche Seriennummer haben liegt daran, dass der Hersteller keinen Nummernkreis zugeteilt hat. Wenn du nur eine kaufst, merkst du das gar nicht.
Ich habe das vor vielen Jahren schon einmal gesehen und wir hatten dann ein Tool gefunden womit man eigene IDs überschreiben konnte. Ich weiß aber nicht mehr wie das hieß. Ich hatte damals auch mehrere Tage gesucht.

 

[sly69]

Jede vernünftige NVMe hat eine eigene UUID und Seriennummer. Das was du da gekauft hast ist vermutlich eine nicht ganz offizielle China Produktion. Manchmal stellen die Werke mehr her als der Hersteller abnimmt und dann wird das auf dem Graumarkt verscherbelt. Das die Dinger dann alle die gleiche Seriennummer haben liegt daran, dass der Hersteller keinen Nummernkreis zugeteilt hat. Wenn du nur eine kaufst, merkst du das gar nicht.
Ich habe das vor vielen Jahren schon einmal gesehen und wir hatten dann ein Tool gefunden womit man eigene IDs überschreiben konnte. Ich weiß aber nicht mehr wie das hieß. Ich hatte damals auch mehrere Tage gesucht.

Ja, so etwas befürchte ich auch. Hab eine NVME reklamiert und bei einem anderen Anbieter eine neue bestellt ... und diese hat auch die gleiche Seriennummer. Es kann doch nicht überall alles aus einer Charge sein? Und ich kann wieder nicht alle 4 in die VM einbinden bzw. sie werden dort nicht richtig eingebunden. Übrigens testweise in Windows 11 eingebunden, das gleiche Problem!
Langsam reicht´s mir! Die Dinger haben ja auch nicht gerade wenig Geld gekostet. Ich hatte die Lexar genommen, weil sie gute Bewertungen bekommen haben, ein wenig günstiger waren als die Samsung und auch weniger Strom verbrauchen. Nun werde ich die wohl bei Ebay verkloppen können und hoffen, dass ich die zu einem halbwegs vernünftigen Preis loswerde. Dann müssen doch die überteuren Samsung ran.
Oder hat jemand eine Empfehlung für 4 TB NVMEs, die auch 24/7 vertragen?
Kennt jemand ein Tool, mit dem man die ID der NVMEs ändern kann? Alle Versuche dazu sind gescheitert!

 

[Neobin]

Hast du die NVMe mal im Rechner dirrekt getestet ob da auch die gleiche SN angezeigt wird?

Nein, hab leider dazu nicht die Möglichkeit! Hab die aber mal testweise per Passthrough in eine Windows-VM eingebunden, auch da das gleiche Spiel und alle haben die gleiche Serien-Nummer.

Was für ein Passthrough genau? PCIe-Passthrough?

 

[sly69]

Was für ein Passthrough genau? PCIe-Passthrough?

qm set <vm-id> -scsiX /dev/disk/by-id/<id>

 

[sly69]

Wenn ich mit dem Befehl "smartctl -a /dev/sdX" den Datenträger auslese, erhalte ich auch eine Angabe mit "Serial Number". Diese ist aber anders als die in der GUI in Proxmox und beim Befehl "ls -l /dev/disk/by-id" angezeigte ID bzw. Serien-Nummer und auch bei jeder NVME anders. Wie kann ich ein Disk-Passthrough mit dieser Nummer durchführen?

 

[Neobin]

Wenn ich mit dem Befehl "smartctl -a /dev/sdX" den Datenträger auslese, erhalte ich auch eine Angabe mit "Serial Number". Diese ist aber anders als die in der GUI in Proxmox und beim Befehl "ls -l /dev/disk/by-id" angezeigte ID bzw. Serien-Nummer und auch bei jeder NVME anders. Wie kann ich ein Disk-Passthrough mit dieser Nummer durchführen?

Es wäre generell hilfreich die (vollständige) Ausgabe von Befehlen hier ebenfalls zu posten.

qm set <vm-id> -scsiX /dev/disk/by-id/<id>

Damit kriegst du auch nur ein virtuelles Device in der VM.

Wie bereits erwähnt wurde, würde ich auch erstmal die NVMes (irgendwie / irgendwo) nativ anschließen und dann die Seriennummer bzw. generell die SMART-Werte/-Ausgabe jeweils checken.
Meine Vermutung wäre ebenso, dass es nicht (per se) an den NVMes liegt, sondern an dem externen Gehäuse...

 

[Falk R.]

Wenn ich mit dem Befehl "smartctl -a /dev/sdX" den Datenträger auslese, erhalte ich auch eine Angabe mit "Serial Number". Diese ist aber anders als die in der GUI in Proxmox und beim Befehl "ls -l /dev/disk/by-id" angezeigte ID bzw. Serien-Nummer und auch bei jeder NVME anders. Wie kann ich ein Disk-Passthrough mit dieser Nummer durchführen?

Wenn die Disks als sdX geführt werden, sind die als SCSI Devices gelistst und nicht als NVMe device. SCSI kann natürlich auch SATA oder SAS sein.
Von daher gehe ich mal davon aus, dass es am Gehäuse liegt.

 

[sly69]

Update:
Das Problem mit den Serien-Nummern ist erledigt! Ich hatte den Hersteller TerraMaster kontaktiert und sie haben mir per Teamviewer ein Firmware-Update eingespielt. Jetzt werden alle Nummern korrekt angezeigt und alle 4 NVMEs werden einzeln per "disk/by-id" aufgeschlüsselt. Allerdings werden alle NVMEs immer noch als sdX angezeigt. Ich kann sie aber per Passtrough in die VMs einfügen, sie haben dann die von Hersteller versprochene Geschwindigkeit, die das USB-C zulässt (10 GBit). Allerdings stellt sich für mich die Frage: Werden sie in den VMs als NVMe erkannt und wird dann TRIM unterstützt und ausgeführt?
Was schlagt ihr vor? Lieber ein NVMe-RAID per mdadm in Proxmox erstellen oder das RAID in der VM erstellen? Was ist besser?
Nächstes Problem: Nach einem Speedtest mit Blackmagic bringen die Lexar NM790 die höchstmögliche Geschwindigkeit, allerdings nur kurz, dann bricht die Geschwindigkeit drastisch auf ca. 40-50 MB/s ein. An was kann das liegen? Ich habe das Gefühl, dass ich die doch gegen SAMSUNGs tauschen muss.

Andere Frage noch: Wenn ich den 10 GBit-Ethernetanschluss des PCs (SFP+) per GUI durchreiche, kann ich in der VM keine Jumbo-Frames auf 9000 einstellen. Gibt es da einen Trick?

 

[Falk R.]

Update:
Das Problem mit den Serien-Nummern ist erledigt! Ich hatte den Hersteller TerraMaster kontaktiert und sie haben mir per Teamviewer ein Firmware-Update eingespielt. Jetzt werden alle Nummern korrekt angezeigt und alle 4 NVMEs werden einzeln per "disk/by-id" aufgeschlüsselt. Allerdings werden alle NVMEs immer noch als sdX angezeigt. Ich kann sie aber per Passtrough in die VMs einfügen, sie haben dann die von Hersteller versprochene Geschwindigkeit, die das USB-C zulässt (10 GBit). Allerdings stellt sich für mich die Frage: Werden sie in den VMs als NVMe erkannt und wird dann TRIM unterstützt und ausgeführt?

Da es SSDs sind funktioniert Trim auch.

Was schlagt ihr vor? Lieber ein NVMe-RAID per mdadm in Proxmox erstellen oder das RAID in der VM erstellen? Was ist besser?

Kommt drauf an was für eine VM das ist, wenn du die Disks durchreichst ist es vermutlich besser das Raid in der VM zu machen.

Nächstes Problem: Nach einem Speedtest mit Blackmagic bringen die Lexar NM790 die höchstmögliche Geschwindigkeit, allerdings nur kurz, dann bricht die Geschwindigkeit drastisch auf ca. 40-50 MB/s ein. An was kann das liegen? Ich habe das Gefühl, dass ich die doch gegen SAMSUNGs tauschen muss.

Bei Consumer SSDs ganz normal, die nutzen einfach Zellen im SLC Modus als Cache, wenn das Limit erreicht wird, wird direkt im TLC oder QLC Modus weiter geschrieben.

Andere Frage noch: Wenn ich den 10 GBit-Ethernetanschluss des PCs (SFP+) per GUI durchreiche, kann ich in der VM keine Jumbo-Frames auf 9000 einstellen. Gibt es da einen Trick?

Das musst du dann in der VM machen.

 

[sly69]

Bei Consumer SSDs ganz normal, die nutzen einfach Zellen im SLC Modus als Cache, wenn das Limit erreicht wird, wird direkt im TLC oder QLC Modus weiter geschrieben.

Das musst du dann in der VM machen.

Welche NVMe-SSDs kannst du empfehlen? Sind die Samsung 990 Pro dafür geeignet oder bringen sie das gleiche Problem?

 

[Falk R.]

Auch die Pro sind nur einfache Consumer SSDs für mehr Geld. Nimm am besten SSDs mit PLP (Power Loss Protection). Enterprise SSDs haben das immer. Sonst bei Geizhals kann man einen Filter auf PLP setzen.