Layout? ZFS, SSD, Wearout, PLP?

[Mineralwasser]

Hi,

ich plane aktuell einen kleinen Heimserver mit Proxmox als Basis.

Ziemlich oft habe ich jetzt schon gelesen, dass Proxmox sich duch viele kleine Schreibvorgänge sehr schnell durch SSDs frisst.
Vor allem betrifft das consumer SSDs.

Von was für Lebensdauern sprechen wir hier?
Klar kann man das so pauschal wahrschinlich nicht sagen, aber generell eher von 2 Monaten oder 2 Jahren?

Teilweise wird empfohlen, man solle Ordner wie /var/log auf eine HDD legen um die Lebensdauer der Boot SSD zu verlängern?
Also sind HDDs nicht von diesem "Phänomen" betroffen?
Demnach wäre es auch sinnvoll, alle Logs etc. der VMs auf eine HDD zu legen?

Da Proxmox als OS vermutlich sowieso kein allzu schnelles Laufwerk benötigt, wäre es dann nicht schlauer Proxmox gleich auf einer HDD zu installieren?

Mein ursprünglicher Plan war eigentlich folgender:
- 2x 2,5" SATA SSDs als ZFS Mirror für die Proxmox Installation
- 2x M.2 PCIe NVMe SSDs als ZFS Mirror für die VMs
- HBA durchgereicht an eine NAS-VM. Daran HDDs als ZFS-Mirror. Shares via NFS in VMs mounten für Nutzdaten (z.B. Datenverzeichnis der Nextcloud VM)

Für den VM-Storage wird empfohlen, SSDs mit PowerLoss-Protection zu verwenden und in ZFS "Sync Writes" zu aktivieren.
Gleiches gilt dann wohl auch für die SSDs für die Proxmox Installation?
Das würde ich so schon gerne umsetzen.

Solches SSDs (Vor allem als M.2 NVMe) werden sehr schnell sehr teuer.
Vor allem in Richtung Enterprise SSDs (womit man aber wohl deutlich längere Lebenszeiten hätte?)


So. Mit diesem ganzen Thema bin ich nun etwas überfordert und hoffe ihr könnt mir ein wenig weiterhelfen.
Vielleicht mache ich mir auch viel zu viele Gedanken für einen Heimserver der nicht allzu viel Auslastung hat?

Wie könnte ein sinnvolles Layout aussehen?

 

[wolfgang]

Hi,

Von was für Lebensdauern sprechen wir hier?

So ca 10GB in 24 Stunden mit HA an.

Also sind HDDs nicht von diesem "Phänomen" betroffen?

Doch nur haben alle eine gleich hohe TBW.
Bei aktuellen SSD ist die TBW auch sehr hoch und damit kein Problem mehr.
Du solltes halt kein USB-Stick oder eMMC Karte nehmen.

Da Proxmox als OS vermutlich sowieso kein allzu schnelles Laufwerk benötigt, wäre es dann nicht schlauer Proxmox gleich auf einer HDD zu installieren?

Kann man auch machen. Wie du richtig gesagt hast braucht das OS keine schnelle Festplatte.

Für den VM-Storage wird empfohlen, SSDs mit PowerLoss-Protection zu verwenden und in ZFS "Sync Writes" zu aktivieren.
Gleiches gilt dann wohl auch für die SSDs für die Proxmox Installation?
Das würde ich so schon gerne umsetzen.

Das sind deine Daten also musst du einschätzen können wie wichtig die sind.
Die Empfehlung sind so gemacht das du keine Daten im worst case verlierst.
Bei der OS Disk kann mann sagen es ist egal weil es wieder schnell installiert ist.
Wichtig sind die Konfigurationen der VM und die VM images.

Vor allem in Richtung Enterprise SSDs (womit man aber wohl deutlich längere Lebenszeiten hätte?)

Enterprise SSD sind die premium Chips eine Produktion von NAND.
Also ja in der regel längere Lebenszeiten und schneller.

Vielleicht mache ich mir auch viel zu viele Gedanken für einen Heimserver der nicht allzu viel Auslastung hat?

Gedanken machen ist immer gut.
Aber da du eh alles redundant im designe vorgesehen hast würde ich für eine Heimserver normale gute SSD/NVMe nehmen.
z.B. SATA Samsung 860 EVO, WD Blue oder Crucial MX500
NVMe Samsung 970 EVO Plus, WD SN 550 oder WD SN750

Wie könnte ein sinnvolles Layout aussehen?

Da Du ZFS verwenden willst ist es eh dynamisch und du musst dir darum keine Gedanken machen.

 

[hackmann]

Hallo,

ich finde ZFS sehr gut.

Aber für einen Homeserver etwas zu viel, gerade was ZFS angeht.
Wenn dann noch die verschiedenen Versionen dazu kommen, gerade was ZFS angeht.

in Sachen import export "ZFS Versionen und was die Hardware angeht,
NFS bei älterne NAS hatte ich nur Probleme.

einen kleinen Home Server würde ich empfehlen

Raspberry Pi 4.

File System, Seafile = CLOUD.

die Aussage

"Da Du ZFS verwenden willst ist, es eh dynamisch und du musst dir darum keine Gedanken machen. !"

kann ich nur sagen, SCHWACHSINN!

Lieber
Proxmox Staff Memb!

kommt mal ein ZFS mit Bacula, Webserver Debian oder Ubuntu in Frage?

Dann kommt noch die IPFIRE dazu",- dann noch eine Windwos 10 pro, HYPER per ssh Login, die per reboot einen SSh Server starten kann, dass ganze mit einem DYNDNS!.

Werden die ZFS Laufwerke verschlüsselt " mit LUKS" und diese diese per Storage im Webgui eingebunden, als Directory.
Nach einem Reboot vom Proxmox kommt die Meldung "device is busy?

Und sehr vieles mehr!

Dass geht alles, aber bitte dich nicht bei einem kleinen Home Server.
ZFS ist supper, dass erfordert aber jede menge Übung!

lg

 

[KLez]

Das Swaping schreibt ständig auf die SSD / HDD, was bei ausreichend RAM eigentlich nicht nötig ist.
Ich habe bei mir daher die swapiness auf 1 gesetzt (es wird nur dann geswapt, wenn RAM wirklich knapp wird).

Dazu in der Datei /etc/sysctl.conf folgendes eintragen:

# Reduce excessive swap usage
vm.swappiness = 1

Das machst Du auf dem Host, sowie in allen VMs. Die Container besitzen die gleiche Einstellung wie der Host, weil nur OS-virtualisiert.

P.S.: Ich weiß, dass das eine eher "paranoide" Maßnahme ist.

 

[Mineralwasser]

Danke für die Tipps.
Das mit der "swappiness" werde mich mal machen, kann ja nicht schaden.
RAM sollte ausreichen.

@hackmann also ich finde auch dass ZFS recht leicht erweiterbar ist?
Verstehe im großen ganz nicht sehr viel von deinem Beitrag.

kann ich nur sagen, SCHWACHSINN!

Warum? Argumente?

Und dass ein Raspberry Pi als Server zur Virtualisierung empfohlen wird... habe ich so auch noch nicht erlebt.

 

[KLez]

Ich finde es auch erstaunlich was einem Raspberry mittlerweile alles zugemutet wird. Das Gerät ist absolut super wenn man 1-2 kleinere Dienste darauf laufen lassen will und das ganze als Appliance betrachtet. Ein Server wird dadurch aber nicht daraus. Meiner Ansicht nach hat das Gerät dafür zu wenig RAM und keine vernünftige Unterstützung einer SSD / HDD. Natürlich kann man die mit etwas Umstand über USB anbinden, aber das ist letztendlich auch nur Gefrickel.

Ich habe neuerdings ein Intel NUC 8i7 mit 32GB RAM und einer 500GB SSD im Betrieb. Für mich und meinen Anwendungsbereich ist das die perfekte Plattform. Allerdings sprechen wir hier auch von den 10-Fachen Kosten eines Raspberry PI 4....