Planungshilfe - Umstieg von ESXi auf Proxmox

[brightrgb]

Hallo,

ich habe vor Jahren schon mit Proxmox geliebäugelt und dann einiges getestet.
Leider bakam ich damals einen HBA (IBM Lenovo M1215) für einen TrueNAS VM nicht ohne Fehlermeldungen durchgereicht. Ich habe viel probiert, es leider am Ende nicht geschafft.
Mit ESXi lief es damals direkt fehlerfrei und ich bin dank der kostenlosen Version dort gelandet. Das ist nun Geschichte.
Aus diesem Grund plane ich meinen neuen Homeserver.
Gelesen habe ich auch schon viel, ob für mich TrueNAS Scale als Hypervisor in Frage kommt, aber hier bin ich inzwischen auf dem Stand, dass ich am Ende nicht glücklich damit werden würde. Somit wird es dieses mal Proxmox und es wird so lange gebastelt bis es läuft.
Dennoch wäre es natürlich super, wenn ihr mir ggf. Tipps geben könntet, dass das Basteln nicht Jahre in Anspruch nimmt.

Die Anforderung an den Homeserver wären Storage und VM-Host sowie zwingender ECC-Support.

Thema VM:
Hier bräuchte ich folgende VMs:

• TrueNAS Scale
• Windows 11
  Haupt-Rechner u.a. zur Fotobearbeitung über RDP
• Linux Mint
• Linux Ubuntu
• Home Assistant
• Frigate NVR

Thema Storage:
Da ich mit TrueNAS sehr zufrieden war, würde ich als Storage wieder auf TrueNAS setzten wollen und TrueNAS Scale in einer VM installieren. Dann muss ich natürliche einen HBA mit IT-Mode einsetzten um den HBA nativ der Proxmox VM per Passthrough zuzuweisen.
Zieh wäre ein RaidZ1 mit 4 Platten oder ein RaidZ2 mit 6 Platten.

Als HW würde ich gerne folgendes einsetzen:

• Mainboard: Gigabyte MC12-LE0 (schon gekauft)
• CPU:
  • AMD Ryzen 5 PRO 4650G, 6C/12T: ca. 100 Euro
  • AMD Ryzen 5 PRO 5650G, 6C/12T: ca. 150 Euro
  • AMD Ryzen 7 PRO 4750G, 8C/16T: ca. 250 Euro
  • AMD Ryzen 7 5700X, 8C/16T: ca. 150 Euro
    
    Hier bin ich nicht sicher, ob ich einen großen Nutzen durch die iGPU in Proxmox habe. Generell würde ich sie gerne der Win11 VM zuweisen um z.B. über RDP oder bei der Bildbearbeitung mehr Performance zu haben.
• RAM:
  • 64 – 128 GB DDR4 ECC RAM
• Boot-Storage:
  • Samsung SSD 980 250GB, M.2 2280 / M-Key / PCIe 3.0 x4
• VM-Storage:
  • 2 x Samsung SSD 870 EVO 2TB, 2.5" / SATA 6Gb/s
    Diese im Mirror am HBA an die TrueNAS VM und per NFS dann Proxmox zur Verfügung stellen.

Fragen:

• Könnt ihr mir einen HBA empfehlen, den ich ohne Probleme einer TrueNAS Scale-VM per Passthrough zur Verfügung stellen kann?
• Seht ihr einen Vorteil für die Performance der Win11-VM durch die iGPU im Ryzen PRO oder würdet ihr auf die iGPU verzichten und auf mehr Kerne zu weniger Preis setzen?
• Reichen zum Start 64 GB RAM oder sollte ich gleich in 128 GB investieren?
• Wenn ich Proxmox auf der Samsung SSD 980 250GB installiere, dann habe ich leider keine Redundanz für den Ausfall. Seht ihr einen Möglichkeit das System hier gegen den Ausfall von einer Platte irgendwie abzusichern. Leider habe ich nur einen M.2-Slot auf dem Board.
• Kann ich gut und ohne Probleme den VM-Storage aus der TrueNAS-VM Proxmox per NFS zur Verfügung stellen oder ist das nicht so einfach wie in ESXi?

Sorry das sind jetzt viele Fragen.
Ich bin auch sehr dankbar, wenn ggf. jemand auch nur zu einzelnen Fragen einen Tipp oder Erfahrungswert hat.

 

[UdoB]

ECC Ram für Homeanwendungen und ZFS Nutzung sind nicht mehr notwendig.

"Nicht mehr"? ECC war noch nie notwendig. Er war aber schon immer - und ist es auch immer noch und weiterhin - sehr empfehlenswert.

Für die gerne verwendeten Mini-PC im Homelab ist ECC aber leider nicht immer eine Option und dann wird eben darauf verzichtet. Wenn die kleinen Dinger ECC könnten, würde ich gerne einen angemessenen Aufpreis für ECC zahlen. (Meine dicken Xeon-Server mit ECC habe ich Dank der perversen Strompreise durch Miniatur-Rechner ersetzen müssen...)

Um es noch einmal anders zu formulieren: der Rat zu ECC hat rein gar nix mit ZFS zu tun. Jedem anderen Dateisystem (bzw. PC-Konstrukt im Allgemeinen) nutzt das ebenso. ECC stellt lediglich sicher, dass Daten, die in das RAM geschrieben werden, unverfälscht gelesen werden können.

 

[brightrgb]

Also, warum diese Einschränkung?

Kannst du bitte ein bisschen mehr Input geben.
Findest du das Board nicht gut oder wie muss ich das verstehen?

Deine CPU Vorstellung passt nicht

Die CPUs würden doch auf dem Board laufen. Wie meinst du bitte, dass es nicht passt?

"Nicht mehr"? ECC war noch nie notwendig. Er war aber schon immer - und ist es auch immer noch und weiterhin - sehr empfehlenswert.

Danke das sehe ich auch so und ich will kein System ohne ECC.
Leider ist bei mir auch der Strom ein großes Thema und ich muss an jeder Ecke schauen, dass ich da so langsam runter komme mit dem Verbrauch und bei 24/7 sind halt 10-20 Watt pro Stunde im Jahr gut und gerne 60 Euro Strom. Nur bei einem Gerät!

 

[brightrgb]

Sorry, es macht mich ein wenig verwundern, extra gebe ich die Links zu meinen Aussagen an, und dann - Fragen?

Ein Forum ist da um zu Fragen und die Übersicht kenne ich. Mit Respekt, deine Aussage widerspricht sich selbst in Anbetracht der "Qualification Vendor List".
Diese Listen sind meines Wissens nur als Hilfe zu sehen, dass eine Kombination sicher geht, dass ein ähnlicher Prozessor nicht laufen sollte, lässt sich daraus nicht ableiten.
Auch verstehe ich nicht was du mit der Leistung meinst.
Ich habe CPUs mit 65W TDP aufgeführt in deiner "Qualification Vendor List" sind 105W CPUs. Wo siehst du jetzt das Problem bei meinem CPUs bzgl. der Leistung.
Klar gibt es bessre Boards und CPUs, aber nicht jeder kann/will 2000-5000 Euro für seinen Homeserver ausgeben!

 

[cwt]

Das Board ist schon ok, hab ich mehrfach für SMB PVEs verbaut, allerdings immer mit ECC RAM (der Preisunterschied ist da nicht sonderlich groß). Bei der Wahl der CPU gibts nicht „DIE“ Empfehlung. Eine Version mit iGPU kann man nehmen, das Durchreichen der selbigen ist aber immer etwas frickelig. Viel Punch und Reserve und gleichzeitig geringstmögliche TDP schließt sich meistens aus. Im letzten verbauten Board habe ich einen 5800X genommen, 105W. Rennt gut, Storage sind ausschließlich Kingston DC600M (Mirror für PVE, striped mirror für VMs). Aber es kommt halt auf Deine Vorlieben an. Bei den HBA kannst Du die üblichen Verdächtigen von LSI/Broadcom nehmen. Bis jetzt ist mir noch keine Karte untergekommen, die in Proxmox Probleme machte. Gebraucht gibt es die relativ günstig.
NAS Storage über NFS geht, die Performance steht und fällt aber über den verwendeten Storage. Willst Du diesen dann anderen VMs zur Verfügung stellen? Als Backuplösung für den PVE selbst würde ich sowas nicht verwenden.

 

[brightrgb]

NAS Storage über NFS geht, die Performance steht und fällt aber über den verwendeten Storage. Willst Du diesen dann anderen VMs zur Verfügung stellen? Als Backuplösung für den PVE selbst würde ich sowas nicht verwenden.

OK, ich verstehe denke ich was du meinst. Das klingt für mich eigentlich besser. Nur eine Gegenfrage, wäre das so umsetzbar?

Sowohl beim NAS-Storage (TrueNAS-VM) als beim VM-Storage ist mir Datensicherheit (Bitrot, etc.) sehr wichtig, also hier muss mindestens ein ZFS-Mirror oder Z1-, Z2-Pool sein.
Ist dieser ZFS-Mirror auch für PVE (Boot Device) aus Datensicherheitsgründen nötig oder ist der Mirror hier nur aus Redundanzgründen nötig (falls gewünscht)?

 

[cwt]

Wenn Du ZFS im PVE selbst einrichtest und keinen HBA mit allen HDDs an TrueNAS durchreichst, solltest Du später in TrueNAS selbst kein ZFS verwenden (ZFS on ZFS). Wenn Dir Datensicherheit in Verbindung mit ZFS wichtig ist, wäre ECC RAM eine sinnvolle Ergänzung. Die Z-RAIDs in Verbindung mit HDDs sind keine Performancebringer, für cold storage oder virtuelle NAS mit wenig concurrent access aber ok.
Den PVE selbst installiere ich persönlich immer als ZFS Mirror auf 2x SSDs mit PLP, ergo „enterprise“ Klasse (wobei die erwähnten DC600M oder Samung PMA vollkommen ausreichend sind). Das müssen auch keine großen Laufwerke sein.

 

[brightrgb]

Den PVE selbst installiere ich persönlich immer als ZFS Mirror auf 2x SSDs mit PLP, ergo „enterprise“ Klasse (wobei die erwähnten DC600M oder Samung PMA vollkommen ausreichend sind). Das müssen auch keine großen Laufwerke sein.

Kann ich den ZFS Mirror auch als VM Speicher nutzen, wenn ich größere SSDs kaufe oder sollte man hier zwei verschiedene Pools haben?
Also einen für PVE und einen für die VMs?

 

[UdoB]

Kann ich den ZFS Mirror auch als VM Speicher nutzen, wenn ich größere SSDs kaufe oder sollte man hier zwei verschiedene Pools haben?

Ja, man sollte separate Storages für das Betriebssystem und für die Nutzdaten (hier: VMs) haben. Das hat aber vor allem "historische" und vor allem auch organisatorische Gründe: das OS kann man dann einfach neu installieren, ohne dass es die wichtigen Daten beeinflussen kann. Und man kann die Daten (as Festplatten-Images) sichern, ohne dass man das OS ebenfalls sichern muss. Diese Probleme sind mit ZFS obsolet, wie gesagt: historische Aspekte - und etwas an den Haaren herbei gezogen...

Empfehlungen sind Empfehlungen, kein Zwang. (Siehe auch "brauche ich ECC-Ram für ZFS?")

Gerade im Homelab, auf Mini-PC hat man ja oft Einschränkungen hinsichtlich der anschließbaren NVMe/SSDs. Und natürlich kann man einfach den Standard-Installations-"rpool" so groß machen und mit guten SSDs ausstatten (Enterprise SSDs mit PLP), dass da problemlos auch die VMs drauf abgespeichert werden können!

 

[brightrgb]

Und natürlich kann man einfach den Standard-Installations-"rpool" so groß machen und mit guten SSDs ausstatten (Enterprise SSDs mit PLP), dass da problemlos auch die VMs drauf abgespeichert werden können!

Nein, dann werde ich zwei Pools machen.
SSDs mit PLP sind Enterprise Platten und haben dementsprechend viel TBW.
Leider sind sie auch teuer und große Prosumer SSDs haben auch große TBW. Nicht pro Zelle, aber gesehen auf das ganze Laufwerk.
Ist bei einem ZFS-Mirror eine PLP für die Datensicherheit relevant, dass sich keine Fehler einschleichen oder eigentlich nur bei einem ZFS-Stripe aus zwei Laufwerken oder einem Laufwerk alleine?

 

[cwt]

PLP ist prinzipiell wichtig für den Fall eines power-loss (Daten können noch geschrieben werden). Schöner Nebeneffekt: der wesentlich größere Cache. Dieser muss alleine für das PLP-Feature größer sein als in consumer SSDs. Das kommt Dir dann beim Einsatz von ZFS im Sinne der Performance zugute. Verwendet man consumer SSDs mit ZFS, wird der Cache schnell vollgeschrieben und dann dropt die Performance, weil ein Direktzugriff auf die Zellen stattfindet (das Forum ist voll von Fragen zu dem Thema). Zusätzlich dazu wird eine consumer SSD dann recht fix kaputtgenudelt.

Sooo teuer sind kleine SSDs im Enterprise-Bereich nun auch nicht. Ich meine die kleinste PM893 mit 240GB (reicht für PVE mehr als aus) liegt brutto momentan bei 70€ das Stück. Das Modell nur als Beispiel. Gebraucht gibts die natürlich auch. Müsste dann nur ein halbwegs vertrauenswürdiger Händler sein, der keinen kaputtgeschriebenen Schrott verkauft.

 

[brightrgb]

Sooo teuer sind kleine SSDs im Enterprise-Bereich nun auch nicht. Ich meine die kleinste PM893 mit 240GB (reicht für PVE mehr als aus) liegt brutto momentan bei 70€ das Stück. Das Modell nur als Beispiel. Gebraucht gibts die natürlich auch. Müsste dann nur ein halbwegs vertrauenswürdiger Händler sein, der keinen kaputtgeschriebenen Schrott verkauft.

Nee gebraucht ist bei SSDs nicht gut, außer Abholung bei Kleinanzeigen mit Smart-Wert Analyse vor Ort.
Du hast recht für den Boot Pool bei zwei 240GB SSDs, ist es nicht wirklich preislich so schlimm!

Wenn man beim VM-Pool allerdings 1 bzw. besser 2 TB will. Also beim Mirror am Ende 2 bzw. 4 TB SSD Speicher mit PLP bräuchte, dann fängt man leider das überlegen an, ich jedenfalls!

 

[UdoB]

Ist bei einem ZFS-Mirror eine PLP für die Datensicherheit relevant, dass sich keine Fehler einschleichen

Nein, eigentlich nicht. Wichtig ist für mich generell, dass Redundanz existiert. Darum ist bei mir praktisch alles in einem Mirror (für OS+
VMs) oder im RaidZ2 (für Daten auf Blech).

Aber PLP ist eine Voraussetzung, dass bei langsamen Schreibvorgängen bereits "Daten sind geschrieben" gemeldet werden kann, obwohl die Daten nur im internen Cache abgelegt wurden - ohne PLP geht das schlicht nicht. Für VMs ist das dringend empfehlenswert, denn dies bringt spürbar IOPS. Billige Consumer-SSD bieten diesen Luxus generell nicht - und diese generieren dann stattdessen viele Problemberichte.

Nee gebraucht ist bei SSDs nicht gut,

Manche (viele?) Firmen wechseln ihre Hardware turnusmäßig, auch wenn die Hardware noch nicht "verbraucht" ist. Ich habe @home ein halbes Dutzend gebrauchter Intel-SSDs, die einwandfreie Smart-Daten vorweisen (10% Wearout nach einem Jahr Nutzung hier bei mir). Gekauft als "Refurbished", was immer das auch (außer Daten-Reset) bedeuten soll - von einem deutschen Händler zu korrekten Konditionen. Aber zugegebenermaßen immer noch deutlich teurer als neue, ungebrauchte Consumer-SSDs. Das werde ich auch in Zukunft so machen.

 

[brightrgb]

Gekauft als "Refurbished", was immer das auch (außer Daten-Reset) bedeuten soll - von einem deutschen Händler zu korrekten Konditionen

Kannst du ggf. sagen, nach welchen Bezeichnungen man da sucht bzw, mir einen guten Händler per PN nennen?

 

[UdoB]

Kannst du ggf. sagen, nach welchen Bezeichnungen man da sucht bzw, mir einen guten Händler per PN nennen?

Ich selber habe einfach nur bei servershop24.de nach "gebraucht ssd" gesucht Es gibt definitiv diverse andere Wiederverkäufer.

Eine bestimmte SSDs mag ich nicht empfehlen, dazu ist mein persönlicher Erfahrungsschatz viel zu klein.

Momentan ist beispielsweise "Intel DC-S4600 1.92TB" für 220 Taler zu haben, was ganz grob die Hälfte des regulären Preises zu sein scheint. Bevor man "irgendeine" SSD bestellt, schaut man natürlich im Datenblatt des Herstellers nach, was die so kann...

Viele Grüße

 

[brightrgb]

Eine bestimmte SSDs mag ich nicht empfehlen, dazu ist mein persönlicher Erfahrungsschatz viel zu klein.

Ja, danke für den Einstieg. Durch die Datenblätter muss ich selbst durch!

Kann ich um PCIE-Solts zu sparen Proxmox auch auf zwei SSDs installieren die ich je durch einen USB3 ==> SATA Adapter anbinde?
Also das es geht ist mir eigentlich klar, aber ist das eine gute Lösung oder Pfusch und macht nur Ärger?

 

[brightrgb]

Oder noch ein anderer Ansatz.
Macht es beim VM-Storage einen großen Unterschied, ob ich meine SSDs per M2.PCIE (NVME) oder per SATAIII anbinde.
Geplant wäre für den VM Storage ein ZFS-Mirror aus 2 SSDs ggf. auch ein Striped-Mirror aus 4 SSDs.

Bei der PCIE Anbindung sind gut und gerne 5000 MB/s und mehr möglich bei SATAIII "nur" gute 500 MB/s.
Allerdings denke ich braucht man diese hohen Schreibgeschwindigkkeiten fast nie.
Bzgl. der IO, also bei kleinen Daten müssten die beiden Anbindungen doch fast gleich auf sein oder ist auch hier die NVME-Lösung weit überlegen?
Lange Rede kurzer Sinn, ich denke man merkt den Unterschied im wahren Betrieb nicht. Liege ich hier beim Homeserver richtig oder ist das ein Irrglaube?

 

[UdoB]

Lange Rede kurzer Sinn, ich denke man merkt den Unterschied im wahren Betrieb nicht. Liege ich hier beim Homeserver richtig oder ist das ein Irrglaube?

Also..., den Faktor ~10 bei SSD <--> NVMe merke ich sehr wohl. Beispielsweise beim Updates einspielen, innerhalb der VMs.

Ob die Langsamkeit für dich tolerierbar ist, kann dir niemand sagen. Das hängt einfach von viel zu vielen Faktoren wie der realen Last und dem eigenen Wohlfühlbereich ab. Sorry...

"USB": mache ich an einer Stelle selber @home, kann ich aber nicht empfehlen. Ich hatte ziemlich viele "Aussetzer" (in etwa im Wochentakt) damit und verwende nun nur noch ein paar wenige relativ teure USB3-->NVMe Adapter, kein SATA. Dank Mirroring habe ich in keinem einzigen Fall auch nur ein einziges Bit verloren. Daher kommt meine persönliche "ohne Redundanz will ich nicht arbeiten. Niemals!"-Regel.

Ymmv!