Engpass bei neuer Hardware Auswahl (X13SAE-F)

[74m]

Hallo zusammen,

nach nun über 10 Jahren, möchte ich meinem Proxmox Server mal ein Upgrade verpassen. Dabei sollen eigentlich nur zwei 12TB HDDs als ZFS Mirror für eine NAS KVM bestehen bleiben. Die restliche Hardware soll komplett aktualisiert werden. Da das bisherige Supermicro Board nun schon sehr lange tadellos läuft, fiel meine Wahl erneut auf Supermicro, um genau zu sein auf das X13SAE-F mit einem i5 13600T und 64 oder 128GB ECC Ram. Meine Frage bezieht sich nicht auf die Performance, bzw. die Notwendigkeit dieser Hardware-Auswahl, sondern auf die mögliche Nutzung in meinem Szenario:

Mein ursprünglicher Gedanke war, die beiden 12TB SATA Platten an eine KVM durchzureichen und als NAS laufen zu lassen. Mit dieser Lösung war ich bislang sehr zufrieden. Nun bin ich zunächst davon ausgegangen, dass damit alle 8 Ports durchgereicht sind, da ich die Festplatten 1:1 in die virtuelle Maschine für ZFS haben möchte. Gehe ich recht in der Annahme, dass dem so ist und diese 8 SATA Ports dann nur in der virtuellen Maschine zur Verfügung stehen? Zumindest früher schien es keine gute Option zu sein, für ZFS einzelne Platten selektiv für ZFS durchzureichen...

Somit würden nur noch 3x M.2 PCIe Anschlüsse für NVMes übrig bleiben. An diesem Punkt drehe ich mich gedanklich seit einiger Zeit im Kreis, da ich damit nicht wirklich glücklich bin.

Ich möchte gerne 2 NVMes als ZFS Mirror für Proxmox nutzen und weitere 2 als ebenfalls als ZFS Mirror für die VMs und ISOs. Ist meine o.g. Annahme falsch, hätte ich immer noch einige SATA Ports für SSDs übrig. und das alles wäre kein Problem. Wenn mir diese aber nicht mehr zur Verfügung stünden, sehe ich folgende Möglichkeiten:

• Eine PCIe Adapterkarte für eine weitere NVMe nutzen - gefällt mir nicht so richtig.
• Ein PCIe HBA für SATA/SAS und diese komplett an die NAS VM durchreichen. Somit würden die 8 onboard SATA Anschlüsse Proxmox frei zur Verfügung stehen und ich nutze evtl. zwei davon für das ZFS Mirror mit "normalen" SSDs für Proxmox selbst, anstelle der geplanten NVMes.
• Ich nutze zwei größere NVMes für Proxmox und die VMs/ISOs auf einem einzigen ZFS-Mirror. So habe ich keinen Engpass mehr in den Anschlüssen, aber die logische Trennung von Proxmox und den VMs geht mir Abhanden. Dies würde sicherlich funktionieren, aber so richtig zufrieden bin ich mit dieser Idee bis jetzt auch nicht.

Nun meine Frage: Habe ich mich gedanklich irgendwie verrannt? Welchen Weg würdet ihr wählen oder habt ihr vielleicht ganz andere Lösungsvorschläge oder Denkanstöße?

Vielen Dank im Voraus und viele Grüße
74m

 

[74m]

Hmmm, schade. Niemand da, der eine Idee dazu hat?

 

[Falk R.]

Ich würde Szenario 3 bevorzugen. Ist simpler und daher auch weniger anfällig.
Szenario 2 finde ich auch OK, wird aber teurer.
Ist aber alles wie immer, Geschmacksache. Da das dann jedes mal die eigene Meinung nach Bachgefühl ist, antwortet wohl niemand.

 

[74m]

Ich würde Szenario 3 bevorzugen. Ist simpler und daher auch weniger anfällig.
Szenario 2 finde ich auch OK, wird aber teurer.
Ist aber alles wie immer, Geschmacksache. Da das dann jedes mal die eigene Meinung nach Bachgefühl ist, antwortet wohl niemand.

Danke Dir, auch wenn es nur eine Meinung ist. Es hilft es mir trotzdem, um sicher zu gehen, dass ich die Situation richtig eingeschätzt habe. Langsam freunde ich mich gedanklich auch mit Szenario 3 an…

 

[sb-jw]

Ich persönlich würde gar nichts an eine VM durchreichen, ich würde das alles auf HV ebene erledigen. Das reduziert die Komplexität und genau solche möglichen Probleme wie du diese hier beschreibst.
Ich habe bisher nie wirklich den Sinn darin verstanden, warum ich eine Platte an eine VM durchreichen will, denn letztlich kann der HV das alles genauso übernehmen und zusätzlich kann ich freie Speicherbereiche noch für andere VMs benutzen und beschränke mich nicht selbst damit.

Tatsächlich würde ich aber die Option 2 wählen, damit es einfach sauber getrennt ist. Aber auch bei 3. sehe ich keine Probleme und 1. könnte man mit einer Dual NVMe Karte tauschen, wenn Bifurcation zur Verfügung steht und der Port ausreichend Lanes hat.
(Es gibt auch NVMe Karten die kein Bifurcation brauchen, da der Chip onboard das regelt, diese kosten dann aber ~160 EUR aufwärts)

Wie @Falk R. aber so schön schrieb, das ist eben auch mein Geschmack
Letztlich muss sich jeder mit seiner Lösung identifizieren können, weder muss ich deine Lösung bezahlen noch administrieren, daher solltest du für dich eine optimale Lösung finden.

 

[74m]

Ich persönlich würde gar nichts an eine VM durchreichen, ich würde das alles auf HV ebene erledigen.

Da habe ich auch schon drüber nachgedacht, da ich dies während der letzten Jahre auch auf einer Debian VM nur mit CLI gelöst habe. Letztlich ließe sich diese Lösung vermutlich 1 zu 1 auf den Proxmox HV übertragen. Bislang wollte ich Proxmox außerhalb der Settings in der GUI möglichst unangetastet lassen, falls ich mal schnell den HV neu aufziehen muss oder um potentielle Upgrade-Probleme zu vermeiden. Vermutlich entspricht das aber nur meinem "Ordnungsbedürfnis im Kopf", da ich zugeben muss, dass es noch nie bei einem Debian Upgrade Probleme bei mir gab.

Tatsächlich würde ich aber die Option 2 wählen, damit es einfach sauber getrennt ist. Aber auch bei 3. sehe ich keine Probleme und 1. könnte man mit einer Dual NVMe Karte tauschen, wenn Bifurcation zur Verfügung steht und der Port ausreichend Lanes hat.

Das wäre schön, leider scheint das X13SAE-F keine Bifurcation zu unterstützen. Hast du eine Empfehlung bzgl. einer dieser teureren Karten, die ohne Bifurcation auskommen?

Aktuell tendiere ich eher zu NAS auf Proxmox HV Ebene. Aber dazu ändert sich mein Gefühl nach Wochen täglich.

 

[sb-jw]

Da habe ich auch schon drüber nachgedacht, da ich dies während der letzten Jahre auch auf einer Debian VM nur mit CLI gelöst habe. Letztlich ließe sich diese Lösung vermutlich 1 zu 1 auf den Proxmox HV übertragen.

Davon ist wahrscheinlich auszugehen, denke auch nicht, dass es da zum Problem mit PVE kommen wird.

Bislang wollte ich Proxmox außerhalb der Settings in der GUI möglichst unangetastet lassen, falls ich mal schnell den HV neu aufziehen muss oder um potentielle Upgrade-Probleme zu vermeiden.

Es gibt in PVE 8 unter Datacenter den Punkt "Ressource Mappings", womöglich würde dir das Feature da auch helfen, dass du es direkt in der GUI konfigurieren kannst.

Vermutlich entspricht das aber nur meinem "Ordnungsbedürfnis im Kopf", da ich zugeben muss, dass es noch nie bei einem Debian Upgrade Probleme bei mir gab.

Das entspricht aber auch meinem Bedürfnis. Ich bevorzuge den Weg mit einem Produkt zu arbeiten und nicht dagegen. Es sorgt nur für Probleme oder eine schlechte Wartbarkeit / Portierbarkeit. Auch aus deinem genannten Grund bzgl. Upgrades würde ich so was nicht machen, man weiß nie wo es deshalb mal hängt. Auch ist eine Live Migration von einer VM so nicht möglich (mag bei dir ggf. nicht nötig sein).
Ich betreibe zumindest die Cluster im RZ und versuche möglichst keine Abhängigkeiten zu haben, was auch in der Vergangenheit sehr gut funktioniert hat - so konnte ich einfach durch umstecken der SSDs das Blech von einem R620 auf R630 tauschen. Letztens sind mir auch mal beide SSDs in einem Node abgeraucht, auch kein Thema mit der Neuinstallation, ansible drüber und CEPH wieder herrichten. Hatte mich um die 4 Stunden gekostet, da ich zeitgleich noch den Server getauscht habe. Das ist aber halt auch nur möglich, wenn nichts an der VM etc. tatsächlich hängt und es getrennt läuft.

Hast du eine Empfehlung bzgl. einer dieser teureren Karten, die ohne Bifurcation auskommen?

Mangels alternative wirst du gar keine wirklich Auswahl haben. Bisher konnte ich aber noch keine persönlichen Erfahrungen damit sammeln.

Es handelt sich dabei um die Karten mit dem Chipsatz "PLX", hauptsächlich scheint es die bisher auf Amazon zu geben.

2x NVMe als LP für 179,90 EUR: https://www.amazon.de/Controller-Chipsatz-8747-32GB-insgesamt-Profile/dp/B093X12PNF/
4x NVMe als LP für 224,90 EUR: https://www.amazon.de/Controller-Chipsatz-8747-64G-insgesamt-Profile/dp/B093X19ZYT/
4x NVMe als Standard für 259,50 EUR: https://www.amazon.de/PCIe-Controller-Karte-Chipsatz-8747-32-insgesamt/dp/B093WJNRLN/

Auf eBay gibts da auch eine für knapp 100 EUR: https://www.ebay.de/itm/144658122003

Die Bewertungen sind (rein technisch betrachtet) alle positiv, einer stört sich am etwas lauteren Fan.

Ich würde dir raten von einem gewerblichen Händler zu kaufen, da du die Karte im zweifel einfach zurückschicken kannst.

 

[74m]

Danke für die ausführliche Antwort.

Es sorgt nur für Probleme oder eine schlechte Wartbarkeit / Portierbarkeit. Auch aus deinem genannten Grund bzgl. Upgrades würde ich so was nicht machen, man weiß nie wo es deshalb mal hängt. Auch ist eine Live Migration von einer VM so nicht möglich (mag bei dir ggf. nicht nötig sein).

Ein nachvollziehbarer Punkt, von dieser Seite aus habe ich das bisher nie betrachtet. Vermutlich auch, weil es bislang immer problemlos lief.

Ich würde dir raten von einem gewerblichen Händler zu kaufen, da du die Karte im zweifel einfach zurückschicken kannst.

Vielen Dank für die Links, bzw. den Hinweis mit dem Chipsatz PLX. Ich werde mich damit mal auseinandersetzen. Sollte ich mich letztlich aber für den Weg der NAS-Nutzung auf Proxmox HV Ebene entscheiden, würde ich vermutlich erstmal alle VMs auf einem NVMe ZFS-Mirror laufen lassen und Proxmox selbst auf einem Sata SSD ZFS-Mirror (oder doch umgekehrt? ). Denn in diesem Fall hätte ich ja ausreichend freie Sata Ports zur Auswahl und aufrüsten könnte ich später immernoch, falls ich wider Erwarten nicht zufrieden sein sollte.