Dateisysteme bei Neueinrichtung

[sarna]

Ich bräuchte mal eine Einschätzung bzw Empfehlung wie ich mein neues Setup hier im homelab am besten einrichten soll.
Bin mal irgendwann vor Jahren von vsphere auf proxmox umgestiegen und wahrscheinlich teilweise ganz schön am frickeln.

Mein bisheriges Setup sieht folgendermaßen aus:
Ich nutze einen dedizierten 10G switch für den storage. Die server sind alle per dac mit iscsi angebunden.
Xigmanas (2 Xeons/128GBRAM, SSDs mit plp) stellt zwei LUNs zur Verfügung. Eines aus 4 SSDs (2 striped mirrors mit darauf angelegtem volume) und eines aus 6 HDDs (raidz2).
Proxmox (2 Xeons/128GBRAM, alter dl360g8) hat das System auf 2 SSDs (raid1 vom hp controller). Vom SSD Volume bekommt er per iscsi ein extent als vmspeicher durchgereicht. Die ist im LVM verfügbar für die virtuellen Maschinen. Es laufen so 15 Maschinen plus immer wieder Testumgebungen aus bis zu 5 Maschinen. Einige mit Windows, einige mit Linux.
Da ich eine AD mit Windows Server für die Clients nutze, setze ich NTFS Dateiberechtigungen ein. Daher ist ein extent im HDD Pool per iscsi an eine vm angebunden, auf der Windoof Server läuft. Diese stellt das NTFS formatierte Datengrab per cifs mit DFS-Namespaces den Clients zur Verfügung.
Funktioniert so alles seit 5 Jahren. Geschwindigkeit vom Datengrab ist so bei 80MB/s über Gigabit von den clients aus. Datenträger können ohne Probleme im xigmanas ersetzt werden. Snapshots nutze ich bisher nicht aber nach meiner Meinung hab ich durchs ZFS einen Schutz vor bitrot. Die Homevideos der letzten 50 Jahre (auch digitalisierte super8 aus den 70ern) liegen sicherer als im hw-raid. Backups finden extern statt.
Ja, wie gesagt ist gefrickelt...

Jetzt zum neuen Setup, ich habe folgende HW zur Verfügung:
neues Blech mit 2 AMD 16 core Epics / 256GB RAM. Netzwerk belibt erstmal bei 10G. Für die vms 4 U2 NVME SSDs (2 weitere als coldspare im Schrank) und zwei SATA SSDs mit plp fürs System. Im Server bringe ich auch noch ein RMS-200 (8GB) unter. Das Radian liegt hier sonst nur rum und ein Slot ist frei. Datengrab mit 6x HDD könnte direkt in den Proxmox, einfach wieder an einen HBA.
Idee war jetzt das Proxmox System auf die 2 SSDs. Welches System zsf mirror oder lieber sw raid? Mit swap scheint es da Probleme zu geben. Gelesen hab ich schon einiges, aber wohl nicht genug. Die 4 NVME sollen als striped mirrors direkt im proxmox als VMstorage genutzt werden.
Den HBA mit den HDDs wollte ich an ein virtualisiertes xigmanas durchreichen, dort wie gewohnt ZFS und wieder ein extent als Ziel für den Windows Fileserver per iscsi raus. Oder sollte man eher per NFS/Samba an die Clients. Allerdings hätte ich dann wieder das Problem mit der Rechteverwaltung. Das geht halt mit den NTFS Rechten schon sehr schnell.
Den 8GB Radian hatte ich mal testweise als SLOG eingesetzt. War jetzt nicht wirklich notwendig, außerdem fehlt für den Dauereinsatz die Redundanz. Würde ihn aber an eine virtuelle Windowsmaschine durchreichen als scratch disk.
Insgesamt spare ich mir einen dauernd laufenden Server (altes xigmanas) bzw kann das für backupzwecke mal gezielt hochfahren.

Und nu? Welches Dateisystem für pve? Gesamtaufbau komplett daneben? Welche ZFS Features gehen mir flöten, sollte ich aber nutzen?
Bin für alles offen.

 

[Falk R.]

Hi,
ich finde das Setup immer noch etwas umständlich. Ich hätte bei 2 Nodes einfach ZFS Pools mit Replikation konfiguriert. Ein virtuelles NAS zu bauen um dann wieder iSCSI an VMs zu geben, ist auch von hinten durch die Brust ins Auge. Ich würde für die Fileserver VM auch einfach einen ZFS Pool gebaut und die Windows VM so wie sie ist, drauf migrieren.
Wenn du alles mit ZFS machts, ist alles einheitlich zu managen und wenn du zufällig kleine schnelle SSDs hast, kannst du die als Special Device für den HDD Poll benutzen.

 

[sarna]

Merci für die Antwort.
Allerdings bleiben es nicht dauerhaft zwei Nodes. Der alte wird nach Inbetriebnahme des neuen abgeschaltet.
Sollte ich allen storage physisch im pve unterbringen, wird auch das xigmanas irgendwann mal ausser Betrieb genommen.
Replikation vom storage ist so mittel möglich. Sind 6 16TB Platten im raidz2. Zweimal wollte ich den jetzt nicht vorhalten. Von den wichtigen Files Backups zu halten ist schon heftig.
Schnelle Special Devices wären ja da (Hab tatsächlich noch nen zwoten Radian 8GB gefunden. War schon vergessen) Allerdings hilft mir das SLOG ja nur bei sync und als ARC hab ich genug Ram. Sind ja vor allem große Files in der storage.
Der Schuss von Fußsohle zum Hirn ist klar. Das meinte ich mit Gefrickel. Die Überlegung war den storage trotz Virtualisierung vom pve zu trennen. Die xigmanas VM und die Fileserver vm selbst liegen ja im ZFS vm Pool. Im Fehlerfall klopf ich den controller sammt Platten in einen anderen Proxmox, starte die Backup VMs und reiche den controller ans Backup xigmanas wieder durch. Der Windows Fileserver bekommt halt irgendwie die storage. Iscsi ist schon zum externen xigma problemlos daher dachte ich gerade für den Übergang ists einfach weil die Fileserver VM nur ein neues Ziel bekommt und sonst alles beim alten bleibt. Würde am liebsten auf die verzichten, aber ich brauche irgendwie die NTFS Berechtigungen. Andernfalls müsste ich komplett Samba aufziehen und hätte die nächste Baustelle.
Wie siehts aus mit dem Filesystem für den pve? Hab zwei Intels SSDs mit wenig Wearout. ZFS würde also von der hw gehen. Aber macht es Sinn den pve im zfs mirror? Oder besser klassisch raid1 und halt ein image vom pve Systemdatenträger extern (Debian auf USB z. Bsp)?

 

[Falk R.]

Merci für die Antwort.
Allerdings bleiben es nicht dauerhaft zwei Nodes. Der alte wird nach Inbetriebnahme des neuen abgeschaltet.
Sollte ich allen storage physisch im pve unterbringen, wird auch das xigmanas irgendwann mal ausser Betrieb genommen.
Replikation vom storage ist so mittel möglich. Sind 6 16TB Platten im raidz2. Zweimal wollte ich den jetzt nicht vorhalten. Von den wichtigen Files Backups zu halten ist schon heftig.

Du weißt schon, Kein Backup = kein Mitleid.

Schnelle Special Devices wären ja da (Hab tatsächlich noch nen zwoten Radian 8GB gefunden. War schon vergessen) Allerdings hilft mir das SLOG ja nur bei sync und als ARC hab ich genug Ram. Sind ja vor allem große Files in der storage.

Das Special Device bringt viel performance, weil da die Metadaten geschrieben werden. Du musst dann bei einem Write nicht einmal die Metadaten und dann einmal die Daten auf deine HDDs schreiben, sondern die Metadaten werden parallel zu den Daten auf dein Special Mirror geschrieben.
Das merkst du bei HDDs extrem, egal wie viele hundert GB ARC du hast.

Der Schuss von Fußsohle zum Hirn ist klar. Das meinte ich mit Gefrickel. Die Überlegung war den storage trotz Virtualisierung vom pve zu trennen. Die xigmanas VM und die Fileserver vm selbst liegen ja im ZFS vm Pool. Im Fehlerfall klopf ich den controller sammt Platten in einen anderen Proxmox, starte die Backup VMs und reiche den controller ans Backup xigmanas wieder durch. Der Windows Fileserver bekommt halt irgendwie die storage. Iscsi ist schon zum externen xigma problemlos daher dachte ich gerade für den Übergang ists einfach weil die Fileserver VM nur ein neues Ziel bekommt und sonst alles beim alten bleibt. Würde am liebsten auf die verzichten, aber ich brauche irgendwie die NTFS Berechtigungen. Andernfalls müsste ich komplett Samba aufziehen und hätte die nächste Baustelle.
Wie siehts aus mit dem Filesystem für den pve? Hab zwei Intels SSDs mit wenig Wearout. ZFS würde also von der hw gehen. Aber macht es Sinn den pve im zfs mirror? Oder besser klassisch raid1 und halt ein image vom pve Systemdatenträger extern (Debian auf USB z. Bsp)?

Das einzige Dateisystem hast du für das OS. Da kannst du gern auf ZFS Mirror gehen, wenn du eh schon ZFS im Einsatz hast. Wenn du eine andere Raid Technik nutzen willst und Ext4 für den PVE , dann ist das auch valide, solange du dich mit der genutzten Raid Technik gut auskennst.
Ich weiß ja nicht ob du HW Raid oder SW Raid nutzen möchtest.
Ob du ein Image vom Sytstem, ein Backup der Konfigurationsdateien oder eine gute Dokumentation der Einstellungen nutzt ist egal.