[SOLVED] [Anfänger] Proxmox Speicherfrage und Konzept

T

totally_sane

New Member
Jan 2, 2025
6
1
3
Sehr geehrte Damen und Herren,
Liebe Community,

aufgrund meiner häufigen OS-Wechsel - (Danke Windows das du mich schmerzen lehrtest)
und dem Wunsch heraus alte Spiele ohne Emulation spielen zu können habe ich mir ein kleines Konzept überlegt.

Wofür soll der Server dienen[ZWECK]:

Großteilig "Gaming" unter den verschiedensten Systemen:
  • Windows 11 pro (später Upgrade auf LTS)
  • Windows 7 (Ultimate)
  • Windows XP pro
  • SteamOS (irgendwann mal)
Aufbewahrung aller Spiele Downloads und die Verteilung unter den Entsprechenden Systemen.
  • TrueNas
Vorhandene Hardware:

  • CPU Ryzen 5900 - 12 Kerne 3,7 GHZ - Overdrive Disabled
  • 64 GB ECC Ram "3200" MHz
  • KFA 4070 - weitere Grafikkarten eine 750 für XP und eine Intel Arc für zum teilen für Proxmox müssen noch beschafft werden (Sinnvoll?)
  • Micron 480 gb Mixed Usecase ca 3.8 pb TBW
  • Crucial & Lexar SSD 2TB M2 - Rein für die VMS
  • 3 x 10 TB gebrauchte Enterprise HDDs gemischte Hersteller um 20k Stunden pro Festplatte - SMART gut
Layout des Speichers:

Enterprise SSD - BTRFS ohne RAID für Proxmox - Da nicht verschlüsselt leicht zu Klonen mit Clonezilla.
Crucial & Lexar SSD 2TB M2 - Rein für die VMS - ZFS Mirror
3 x 10 TB ZFS Mirror Entweder an TrueNas durchreichen oder in Proxmox den ZFS Pool bauen lassen? Was ist Sinnvoller?

Habe ihr Anregungen, Anmerkungen oder Tipps für mich?
Habe ich dort schon einen Denkfehler drin?
vGPU ist ohne Lizenzbestimmungen zu brechen wohl nicht möglich. (Selbst mit entsprechender Karte)?

Wenn man sich den ganzen Tag nur mit 0,5 Support und Firstlevel Support rumschlägt verlernt man mit der Zeit einfach zu viel.
Vielen Dank für euerer Feedback im voraus!

Mit freundlichen Grüßen
totally_sane
 
Last edited:
BTRFS auf dem OS drive ist Geschmackssache. Allerdings ZFS mirror auf 2 verschiedenen NVME unterschiedlicher Hersteller/Modelle und dann auch noch consumer drives mit mehreren Windows VMs drauf, das ist wie sich die Augen reiben mit Chili an den Fingern. Kann man machen, funktioniert auch, aber bringt keinen Spaß.
Beim HDD RAID hast Du einen kleinen Denkfehler. 3x10 als Mirror geht schlecht. Wenn alle 3 dann RAIDZ oder mirror + 1 als spare. Durchreichen kannst Du die sinnvoll nur mit einem HBA, an welchen Du diese anschließt.
 
Erstmal vielen Dank für eure Beiträge:
@cwt Magst du das genauer erläutern?
- allein durch die schiere Größe der NVMEs sollte es mit dem Verschleiß doch ganz ok sein? - Oder hast du anderes im Kopf?
- alternativ ein SW Raid 1 vom Motherboard her? /oder gabs da noch andere Möglichkeiten?

- ZFS kann zumindest laut den meisten Foren ein Mirror mit 3 Platten - Dann halt den Pol True Nas zuweisen, das sollte gut klappen, oder?
Einmal zu Reddit Can a two-way mirror be upgraded to 3-way , dort fand ich auch weite interessante Anmerkungen.

@maxim.webster ich vertraue Windows mit seiner Qualitätskontrolle nicht mehr. Und Windowsserver Lizenzen kaufen nur für Virtualisierung?
Ist mir zu teuer bei Proxmox bekomme ich doch alles und auch PCI Passthrough ist ausreichend auf Youtube vorhanden.

Nochmal vielen Dank :)
 
Ja, ZFS Mirror kann man so betreiben. Aber ob das so sinnvoll ist? Wenn es ein Datengrab werden soll, reicht auch das Z1 (mehr Kapazität). Allerdings dann kein ZFS auf ZFS in TrueNAS. Wird allgemein von abgeraten.

Das Thema ZFS auf consumer drives ist ein Dauerthema (siehe Forensuche). Im Gegensatz zu enterprise drives haben die consumer Dinger wenig cache und nebenbei keine PLP. Bei gemischten Laufwerken wirst Du sehr wahrscheinlich auch noch unterschiedliche Cachegrößen und -typen haben. Dann ist der marginal vorhandene cache fix voll und die NVMEs droppen schnell in den Keller. Sprich: Du müsstest Deine Performance-Erwartungen runterschrauben.
 
@cwt
Das ist eine gute Frage, aber ich habe gerne lieber mehr Redundanz als weniger.
Rätst du denn generell von TrueNas ab, oder meinst du nur von ZFS auf ZFS - TrueNas sollte ja auch ext4 können. (ext4 auf ZFS).
Wobei dann auch Open Media Vault infrage käme - soll DAUs geeignet sein, also genau richtig.

Wenn ich von 3000 Mb per s nur 1000 übrig habe macht mir das nichts.
Aber würdest du dann eher ein SWRaid vom Mainboard nehmen?

Wozu würdest du mir raten?
Nochmal an dieser Stelle herzlichen Dank für deine schnellen Antworten:)
 
Wenn Dir OMV reicht, ist das vollkommen ok.

Das Thema ZFS & consumer drives hingegen ist etwas komplexer, als Du es Dir ggf. vorstellst. SoftRAID vom Board kannst Du eh knicken. Das bringt Dir nix und der PVE wird beide Laufwerke „normal“ erkennen. Bei ZFS bricht Dir der Speed weitaus drastischer ein, wenn der cache voll ist. 1.000MB/s wären ja noch „schön“. Zudem bringt es hohe I/O-Last mit, wofür die Laufwerke nicht ausgelegt sind (wear out). Sobald Du also mehrere VMs parallel betreibst und diese auch in gewisser Weise auslastest, steigt entsprechend die Last auf Deinem ZFS. Durch die Natur des copy-on-write von ZFS ist dann schnell die Grenze erreicht. Das merkst Du dann bspw. auch am steigenden I/O-delay, weil das System auf Daten warten muss.

Alternative wären bspw. klassisches md (Linux RAID, wird aber von Proxmox nicht supported bzw von abgeraten) oder jede NVME als LVM Thinpool.
 
Last edited:
@cwt - Erstmal wie schon zuvor vielen Dank das du die Zeit nimmst mir zu antworten.
Ich brauche wirklich nur "NAS" - Ein Datengrab, Hauptsächlich für GOG -

ZFS - hat auf Consumer Hardware zu viele Nachteile. - Dann werd ich das mal wieder zerstören :cool:
SoftRaid geht nicht :oops: - ok
Linux Raid - Warum wird davon abgeraten?
LVM Thinpool hieße auf Raid zu verzichten? - auch kein Weltuntergang.

Wenn du "gute" Quellen kennst zum dazulernen wäre das super. Die Qualität und Aktualität von Guides und Erklärvideos ist manchmal nicht ganz das wahre.

Beste Grüße
 
  • Like
Reactions: cwt
totally_sane said:
ZFS - hat auf Consumer Hardware zu viele Nachteile.
Click to expand...
ZFS hat knapp eine Million Vorteile und genau einen Nachteil: man sollte möglichst "Enterprise Class" SSDs (mit PLP) verwenden.

Falls dir noch andere Nachteile einfallen, die noch nicht diskutiert und widerlegt wurden, können wir das gerne diskutieren. (Beispielsweise ist "braucht viel Ram" so pauschal nicht haltbar.)

totally_sane said:
SoftRaid geht nicht :oops: - ok
Click to expand...
SoftRaid funktioniert sehr wohl, es wird nur nicht offiziell unterstützt und ist nicht per Web-Gui greifbar. PVE ist Debian, und Debian kann fast alles ;-)

Damit würden dann die fehlenden Vorteile von "knapp eine Million" auf "wenige hunderttausend" sinken...


Disclaimer: die Zahlen sind geringfügig übertrieben ;-)
 
Du kannst es mit ZFS ja mal ausprobieren. Weghauen (VMs natürlich vorher sichern) kannst Du das immer noch und umsatteln. Es ist halt auch abhängig von der Last. Würdest Du denn wirklich permanent alle Winblöd VMs zeitgleich nutzen bzw. auslasten? Wenn Du immer nur eine VM nutzt, könntest Du die anderen ausschalten und nur bei Bedarf starten. Das würde schon mal die permanente Hintergrundlast reduzieren.

Wie @UdoB auch schon schrieb: der große Haken ist die Anforderung enterprise class drives mit PLP.
 
Man seit ihr schnell^^
@UdoB - Tja und genau diese Enterprise SSD hab ich nicht und werde ich auch nicht kaufen.
Es ist halt kein Enterprise was ich will sondern eine Zeitmaschine, bin halt nur eine Privatperson und kein Unternehmen dass das Ganze auch noch von der Steuer absetzen könnte :-) , kein Neid nur ein Schulterzucken.

@cwt Naja ist die Frage ich will es einmal einrichten und dann soll es erstmal 5 Jahre laufen ;-)
Maximal würden 2 VMs gleichzeitig laufen. Ein NAS und ein Windows.
Das NAS würde den Speicher für kleinere Spiele stellen und die Installationsdateien halten.
Ich schau mir grade an was genau LVM Thin ist. Erstellt sind die 2 Poole schon mal.

Hast du nicht auch Spiele aus deiner Kindheit /Jugend? - Die Gilde, Gothic 1/2/3 oder Lernspiele die man gern gespielt hat.
Für mich ist das eine Zeitmaschine ;-), ich habe nur nicht den Platz mir die original Hardware hinzustellen. Dafür Proxmox.

Vielen Dank für eure Zeit :)
 
Einrichten und ggf. wiederherstellen kann man die VMs jederzeit. Von daher wäre austesten und umsatteln nicht das Problem. Wie wolltest Du denn Backups machen? Zur Not reicht auch anfangs eine externe USB-HDD. Dann könntest Du die Windows VMs sowie die virtuelle OS HDD von OMV darauf sichern und wenn es mit den NVME und ZFS nix ist, auf ein anderes Plattenlayout zurücksichern.

Klar kenne ich noch jede Menge alte Spiele. Ich habe damals (tm) mit Systemen wie Pong, C4, CPC464, Sony MSX, später dann dem C64, Amiga 500 etc. angefangen ;-) Da merkt man mal wieder, wie alt man ist…
 
Last edited:
Backup o_O?
Spaß beiseite ich habe noch ein altes NAS rumfliegen was dafür reichen sollte.
Das ZFS hab ich bereits zerstört und zwei Thin LVM angelegt - ich habe keine Eile bin nur etwas ungeduldig.
Ich vertraue auf die Erfahrungen die Andere gemacht haben, ich muss nicht die gleichen Leiden erleiden,
Außerdem cwt bist du mir recht sympathisch.

Fehlen dir diese alten Spiele nicht ab und an? Durch meine Frau habe ich RainBow Island kenngelernt bescheuert aber macht Spaß.
Ich bin mit Win95 und den Lernspielen von Diagostini groß geworden, danach aufm 98er Age of Empires, Mythologie, Submarine Titans, Super Nintendo, GameBoy u.v.m.
XP waren noch schöne Zeiten weil die Entwickler sich noch mühe gegeben haben denn Ressourcenbedarf zu optimieren.

Heute: X,Y,Z läuft nicht? Universalantwort: Kauf dir einen neuen PC.
 
You must log in or register to reply here.
Top Bottom
Back