Proxmox install richtig

[Shepherd]

Hallo an alle,
habe jetzt seit einiger Zeit Proxmox am laufen.
Jetzt möchte ich eine neuinstall machen und diesmal gleich richtig was zu mir passt.

Hardware ist Intel 4770s mit 24GB Ram und 1TB SSD (optional noch vorhanden 1TB SSD und 5TB WD red 5400 RPM)

momentan ist Situation:
Proxmox installiert Ext4 auf 1TB SSD mit Backup der VM und Container auf NFS DS918+

VM:
Win 10 pro
Win 11 pro

LCX:
2 x Adguard / 2xpihole
iobroker
homebridge
wireguard
plex (media auf NFS an der 918+ per fstab gemountet)

Anliegen.
Wie ist am besten meine Installation für meine Bedürfnisse?
alles auf SSD und als EXT4 oder doch irgendwie per ZFS (ZFS neu für mich) oder BTRFS,
mit der SSD 1TB oder hdd die aber nur 5400 RPM hat.

habe gemerkt dass ich kein snapshot machen kann denke wegen Datei System.
Dies möchte ich in Zukunft machen können, Backups sollen weiterhin auf meine synology per NFS.

Ich wäre euch dankbar wenn die Profis sich mal dazu äußern, auch wenn es eine einfache anfängerfrage ist.
Habe per google schon gesucht, aber finde nix das dies mir richtig erklärt, was als Privat auf consumer Hardware am Sinnvollsten wäre.

Wäre auch noch toll mir in einfachen Worten zu erklären unterschied local(pve) und local-lvm.

Liebe Grüße Shepherd

 

[aaron]

Wenn dir Ausfallsicherheit wichtig ist, nimmst du am besten 2x eine gleiche / ähnliche Disk und machst darauf ein RAID, dass dir diese spiegelt (RAID 1), z.B. mit ZFS, dann hast du auch für VMs wie auch Container die Möglichkeit Snapshots zu erstellen.

Die Storages local und local-lvm bzw. local-zfs (je nachdem wie installiert wird) legt der Installer automatisch an um schon mal etwas zu haben in dem man Iso Dateien, Backups und ähnliches ablegen kann (local) und VM und Container Disk images (local-lvm/local-zfs). Das local ist ein Storage vom Typ Directory und liegt im /var/lib/vz Pfad.

Wenn du local-lvm hast, ist dies ein Thin LVM das sich den Platz der Installationsdisk mit dem Dateisystem des PVE hosts teilt. Thin LVM ermöglicht es, Snapshots und thin provisioning zu verwenden. Du kannst die die Situation mit lvs, vgs bzw. lsblk ansehen. Das Root FS des PVE hosts liegt in einem logical Volume genauso wie der thin LVM für die Gäste.

Bei local-zfs verhält es sich ähnlich, nur dass sich bei ZFS alle Datasets den gleichen freien Platz teilen, und somit der freie Platz dynamisch zwischen Root FS und den Disk Images der Gäste aufgeteilt werden kann.
Du kannst dir die ZFS Datasets mit zfs list anzeigen lassen.

Ich hoffe das beantwortet dir ein paar Fragen

 

[Shepherd]

Also wäre es so, dass ich gleich am Anfang 2x 1tb ssd anschließe und darauf beim installieren zfs raid 1 auswähle und drauf installier?
Backups kann ich weiterhin noch aufs nas machen per nfs und Snapshot mache ich in thin lvm?

Oder lieber 2x hdd als zfs?

 

[aaron]

Also wäre es so, dass ich gleich am Anfang 2x 1tb ssd anschließe und darauf beim installieren zfs raid 1 auswähle und drauf installier?

Genau, dann hast du einmal ein Storage local-zfs für die Gäste das auch Snapshots unterstützt. Ein Thin LVM brauchst du in dem Fall nicht.

Ob du da jetzt 2x SSDs oder 2x HDDs verwendest, musst du entscheiden. Du kannst natürlich auch extra Disken für das System selbst und dann andere für das Storage der Gäste nehmen. Hat alles Vor- und Nachteile bzw. hängt es stark davon ab, was die Hardware zulässt.

 

[Shepherd]

Sind Consumer ssd geeignet für zfs?
Kann ich bei der Neuinstallation thin lvm abwählen das er es nicht anlegt?

Muss ich nochmals schauen am besten beim installieren.

Vielen Dank schonmal für deine lehrreichen Infos.

 

[aaron]

Sind Consumer ssd geeignet für zfs?

Kommt drauf an was für welche das sind. Zum einen was die Performance angeht (auch wenn sie länger als ein paar Sekunden beschrieben werden) und wie viel sie aushalten. Bei Geizhals hast du fast immer die TBW (Terrabyte written) angegeben. Wenn man dann zB eine 240GB SSD her nimmt die eine TBW von 300TB hat, sollte man diese 1250 mal vollschreiben können bevor sie (wahrscheinlich) kaputt geht.

Also lieber genauer schauen was man kauft und nicht das ganz billige Zeug nehmen, dann sollte es wahrscheinlich auch eine Zeitlang halten. In der GUI unter Node->Disks sollte auch das Wearout angezeigt werden.

Kann ich bei der Neuinstallation thin lvm abwählen das er es nicht anlegt?

Wenn du im Installer ZFS auswählst, wird das ganze System auf ZFS installiert -> local-zfs.
Wenn du ext4 oder xfs auswählst, wird das System mit LVM und dem entsprechenden Dateisystem in der root-LV installiert und eine weitere LV für das local-lvm (thin) erstellt.

 

[Shepherd]

Ok, also würde aber zfs dann für meine Bedürfnisse dann das richtige sein?

 

[Dunuin]

Ja, kannst du nutzen, du solltest dir nur im klaren sein, dass da die SSDs wegen dem deutlich höheren Overhead vielleicht nicht sehr lange leben werden. Du hast da sonst für Raid1 aber auch nicht viele Alternativen wenn du PVE von der PVE Iso installieren willst. Sonst geht da höchstens Raid1 über einen externen/onboard Raid-Controller mit etx4/xfs (LVM-thin) obendrauf. Ist halt die Frage wie wichtig es dir ist, dass da dein Server einfach fehlerfrei weiterläuft, selbst wenn dir mal eine SSD wegstirbt.

 

[Shepherd]

Super, dann sag ich mal vielen Dank für eure Hilfe bei meinen Fragen.

 

[Dadsun]

Was auch noch schön ist mit ZFS. Wenn Du die root Platte gleich als ZFS Raid1 angelegt hast und Dir verreckt im laufenden Betrieb eine Platte:
- Du kannst dann immer noch rebooten
- Du kannst einfach eine ähnliche Platte ( Größe ) dazu stecken und dem ZFS zuweisen und dann proxmox-boot-tool verwenden damit das wieder beide Platten verwendet
- Snapshots

 

[Shepherd]

denke werde ZFS mal installieren,
nur noch eine frage:

Dunuin schrieb werden die SSD evtl nicht so lange halten.
Über was für einen Zeitraum sprechen wir hier? Monate oder Jahre?
Die zwei SSD die ich habe sind von Crucial MX500 1TB.

denke mal durch iobroker wird auch einiges auf die SSD geschrieben weil die states ja regelmäsig empfangen werden.

 

[Dunuin]

Dunuin schrieb werden die SSD evtl nicht so lange halten.
Über was für einen Zeitraum sprechen wir hier? Monate oder Jahre?
Die zwei SSD die ich habe sind von Crucial MX500 1TB.

denke mal durch iobroker wird auch einiges auf die SSD geschrieben weil die states ja regelmäsig empfangen werden.

Kann beides der Fall sein. Bei manchen sind die SSDs im Homeserver nach einigen Monaten kaputt, bei manchen halten die viele Jahre. Hängt halt immer ganz vom Workload ab. Sync Writes (z.b. von Datenbanken) nutzen die SSDs z.B. echt höllisch ab. Viele kleine Writes sind schlechter als wenige große Writes etc. Und dann darf man die Write Amplification nicht vergessen. Ich hatte knappe 200 Benchmarks gemacht mit verschiedensten ZFS Konfigurationen und Pool-Layouts und da habe ich eine totale Write Amplification von Faktor 3 bis 82 gesehen. Real über viele Monate gemittelt liegt die Write Amplification von meinem Homeserver (der meist Idle ist) bei rund Faktor 20.
Schreibe ich also 1 TB in einer VM, werden da je nach Workload 3 bis 82TB als Folge auf die SSDs geschrieben mit 20TB im Mittel.
Deine SSD ist mit 360TB TBW angegeben. Hättest du da eine Write Amplification wie ich hier von Faktor 20, dann würde es heißen deine SSD könnte schon hin sein, nachdem du 18 TB (360TB/20) an Daten in einer VM geschrieben hast. Mein Homeserver schreibt hier im Idle gute 45GB am Tag in den Gästen, das wird dann wegen der Write Amplification zu 900GB am Tag, also würde deine SSD bei mir gute 400 Tage halten.
Garantie ist bei deiner SSD "fünf Jahre oder bis Erreichen der TBW", was anders gesagt heißt du darfst im Schnitt nicht mehr als 197GB am Tag auf die SSD schreiben oder anders gesagt darfst du im Schnitt nur mit 2,2MB/s auf die SSD schreiben, weil du sonst vorzeitig deine Garantie verlierst.
Und da kommt dann ja noch die Write Amplification oben drauf. Mit einer Write Amplification von Faktor 20 wie bei mir würde das heißen man dürfte im Schnitt nur mit 110kb/s auf die SSD schreiben was echt nicht viel ist, wenn man bedenkt, dass man ja viele Gäste haben will. Hätte man z.B. 10 VMs würde das bedeuten, dass da jede VM nur noch im Schnitt mit 11kb/s schreiben dürfte und das reicht dann je gerade so im Idle für die Logs etc.

Also du siehst schon warum man im Server eigentlich zu deutlich teureren aber auch haltbareren Enterprise SSDs greifen sollte. Je 1 TB Kapazität haben meine Enterprise SSDs z.B. eine TBW von 18000 TB, wo hingegen deine Consumer SSD bei gleicher Größe nur 360 TB verträgt.

 

[Shepherd]

Kann beides der Fall sein. Bei manchen sind die SSDs im Homeserver nach einigen Monaten kaputt, bei manchen halten die viele Jahre. Hängt halt immer ganz vom Workload ab. Sync Writes (z.b. von Datenbanken) nutzen die SSDs z.B. echt höllisch ab. Viele kleine Writes sind schlechter als wenige große Writes etc. Und dann darf man die Write Amplification nicht vergessen. Ich hatte knappe 200 Benchmarks gemacht mit verschiedensten ZFS Konfigurationen und Pool-Layouts und da habe ich eine totale Write Amplification von Faktor 3 bis 82 gesehen. Real über viele Monate gemittelt liegt die Write Amplification von meinem Homeserver (der meist Idle ist) bei rund Faktor 20.
Schreibe ich also 1 TB in einer VM, werden da je nach Workload 3 bis 82TB als Folge auf die SSDs geschrieben mit 20TB im Mittel.
Deine SSD ist mit 360TB TBW angegeben. Hättest du da eine Write Amplification wie ich hier von Faktor 20, dann würde es heißen deine SSD könnte schon hin sein, nachdem du 18 TB (360TB/20) an Daten in einer VM geschrieben hast. Mein Homeserver schreibt hier im Idle gute 45GB am Tag in en Gästen, dass wird dann wegen der Write Amplification zu 900GB am Tag, also würde deine SSD bei mir gute 400 Tage halten.

Oha, das macht mir jetzt doch ein bisschen sorgen wenn die hdd nicht mal 1,5 Jahre halten würde.
Wollte eigentlich performance + stabilität und dass es erst mal läuft ohne sorgen zu machen in einem Jahr neue SSD´s zu tauschen.
Jetzt tendiere ich eher wieder weg von ZFS auf den SSD´s.
Oh man, dann wäre es vielleicht doch besser mit meinen consumern Teile auf ext4 zu bleiben oder evtl. auf BTRFS zu gehen für snapshots.

Jetzt bin ich unsicher.
Hoffe ihr versteht mich darum den Post bei euch Profis.

 

[Dunuin]

Write Amplification hast du immer, auch ohne Raid und ZFS. Dann ist deine Write Amplifiction aber vielleicht nur 1/4 davon und die SSDs halten dann halt 4 mal länger und sind erst nach 5 Jahren statt 400 Tagen kaputt. SSDs und HDDs sind halt leider Verbrauchsgegenstände die sich je mehr abnutzen, desto mehr man sie nutzt, bis sie dann letztendlich den Geist aufgegben und man sie tauschen muss. Im Gegensatz zum ConsumerPC, der nur ein paar Stunden am Tag an ist und wo dann nur ein Betriebsystem drauf läuft, hast du beim Hypervisor-Server halt 24/7 Betrieb und dann noch massig Betriebssysteme parallel am Laufen die alle regelmäßig schreiben wollen. Also da nutzt sich in einem Server von hause aus die SSD schon um vielfaches schneller ab.

Im Zweifelsfall halt einfach testen, dir mir smartctl mal die Abnutzung der SSDs ansehen und die Ausgabe irgendwo speichern und dann nach einem Monat oder so noch einmal das gleiche machen und vergleichen. Dann siehst du ja wie sehr sich die SSD in einem Monat abgenutzt hat und du kannst dann hochrechnen, wann deine TBW in etwa überschritten sein würde. Wenn die TBW noch für ein paar Jahre reichen würde dann bleib bei ZFS, ansonsten setz PVE nochmal neu auf und nimm LVM-thin oder so.

 

[aaron]

Plus, wenn man sich diesen Artikel hier anschaut, kann es in er Praxis auch deutlich länger dauern bis die SSDs tatsächlich den Geist aufgeben.

Wie genau es bei dir sein wird mit deinen SSDs, musst du beobachten. Deshalb am besten Redundanzen und Backups haben. Wenn man es auf die Spitze treiben will, mitunter auch andere Modelle verwenden in der Hoffnung, dass beide nicht gleichzeitig (oder sehr zeitnah) den Geist aufgeben und man somit Zeit hat, die kaputte zu ersetzen. Das skaliert für größere Installationen dann nur nicht ganz so gut

 

[Shepherd]

OK werde ZFS testen,
Vielen Dank an euch.