LVM vs ZFS

[xxstasxx]

Hallo zusammen!

Ich plane Neuinstallation von ProxmoxVE und Backup Server.
Zur Verfügung habe ich zwei identische Dell micro PCs mit i5-8500T und 32GB non ECC RAM.
Proxmox Server bekommt eine Samsung 980 Pro nvme fürs Betriebssystem und 4TB SSD als Storage Backup Server ein Crucial CT250 m.2 SSD fürs Betriebssystem und ebenfalls eine 4TB SSD für Storage.
Mit welchem Dateisystem sollte ich die root Platten anlegen?
Lohnt sich ZFS bei einer single-disk Installation?
Welche Vor und Nachteile hätte ich?

Danke euch schon mal!

 

[UdoB]

Lohnt sich ZFS bei einer single-disk Installation?

Das lohnt sich immer. Zumindest sobald "wichtige" Daten im Spiel sind, also so etwas wie selbst erstellte Dokumente oder Familienfotos.

Natürlich ist ZFS mit nur einer Disk suboptimal, weil eben keine Redundanz vorhanden ist. Damit werden Lesefehler und Verfälschungen zwar dennoch zuverlässig erkannt, sie können aber nicht repariert werden. (Mit vorhandener Redundanz ist ZFS "self-healing".)

ZFS stellt jedenfalls sicher, dass nächstes Jahr dieselben Daten gelesen und präsentiert werden, die du letztes Jahr geschrieben hattest. Bei den meisten anderen Systemen ist das nicht der Fall; dieses Problem wird gerne "weg-ignoriert", weil es nur selten (aber dennoch gelegentlich!) auftritt.

Das Hauptargument gegen ZFS ist in meinen Augen ausschließlich: die SSD/NVMe verschleißt schneller. Diesem einen Aspekt stehen ein Dutzend positiver Aspekte entgegen. Mit guten Disks ("Enterprise Class", mit "PLP") eliminiert man auch dieses Problem.

Weiteres hatte ich mal in englischer Sprache erläutert: https://forum.proxmox.com/threads/f...y-a-few-disks-should-i-use-zfs-at-all.160037/

 

[jan-t]

ZFS ist in meinen Augen ausschließlich: die SSD/NVMe verschleißt schneller.

Kann man das nicht mit einer Server HDD (ist natürlich langsamer, evtl. ein Cache) vermindern?

 

[UdoB]

Kann man das nicht mit einer Server HDD (ist natürlich langsamer, evtl. ein Cache) vermindern?

Naja, die beste Blechplatte ist pauschal betrachtet viel langsamer als eine normale SSD. (Von ultra-billigen SSDs abgesehen, die sind (waren?) zum Teil langsamer als Blech!)

Und ein (ZFS-) Cache hilft hilft sowieso nur unter bestimmten Bedingungen. (Und auch wieder nur, wenn das Cache-Device viel schneller ist, als der Datenbereich.) Das will man alles nicht...

Wenn man NUR Blech hat, kann theoretisch eine separate, weitere solche (als Special Device, und gespiegelt) helfen, die IOPS des Pools zu erhöhen. Es sind dann einfach mehr Spindeln gleichzeitig in Betrieb, was insbesondere das hin- und herfahren des Lese-/Schreib-Kopfes reduziert und somit nennenswert Zeit spart.

Aber eine ähnliche Performance wie bei SSD kann man so wohl kaum erreichen. Die Zeiten sind schlicht vorbei. In meinem Homelab hat jedes System, welches noch HDD hat (auschliesslich PBS's) mindestens ein "Special Device" auf SSD. Das hat sich für mich definitiv gelohnt.

Sogar die Zeiten von SATA-SSD scheint dem Ende entgegen zu gehen, SATA ist für viele Anwendungen längst unbrauchbar langsam, zumindest für "richtige" Server.

 

[news]

Im Home- und Hobbybereich.
Mit Werbung über die Links.

Schreibe ich deshalb von diesem Mainboard:
* Biostar B760MX2-E Pro D4, 4x SATA3 (SSD), 4x SATA3 (HDD), 2x NVMe PCIe 4.0 x4, 1x 2.5 GBit/s NIC

# https://www.biostar-europe.com/app/en/mb/export/spec_export.php?S_ID=1127
# https://www.biostar-usa.com/app/en-us/mb/introduction.php?S_ID=1127

Rein für einen Proxmox Backup Server ist eine Intel LGA 1700 CPU 12100(T) ausreichend:
* Intel® Core™ i3-12100

Für einen Proxmox VE Server könnte man auf diese Intel LGA 1700 CPU setze:
* Intel® Core™ i5-13500

# https://www.intel.de/content/www/de...-24m-cache-up-to-4-80-ghz/specifications.html

- Kerntyp 1 Performance, 6 Kerne, 12 Threads, Basistakt 2.500 MHz, Boost-Takt 4.800 MHz
- Kerntyp 2 Efficiency, 8 Kerne, 8 Threads, Basistakt 1.800 MHz, Boost-Takt 3.500 MHz
- Grafik GPU Intel® UHD Graphics 770

So erreicht man, dass das BS Proxmox VE genügend Kerne zur Verfügung hat und man kann das BS die P und E-Kerne auf die Prozesse verteilen lassen. Merke nur wenn ein LXC oder VM seine eigene CPU P- oder E-Kerne hat, kann er mit 100% Leistung abrufen.

Für einen Proxmox Backup Server würde ich DDR4 Ram mit 2x 16 GB, 32 GB wählen:
* G.Skill DIMM 32 GB DDR4-3200 (2x 16 GB) Dual-Kit Ripjaws V (F4-3200C16D-32GVK)
* G.Skill DIMM 32 GB DDR4-3200 (2x 16 GB) Dual-Kit Aegis (F4-3200C16D-32GIS)
* Kingston FURY DIMM 32 GB DDR4-3200 (2x 16 GB) Dual-Kit Beast (KF432C16BB1K2/32)

Als Speichermedien für ZFS gibt es sehr gut und bezahlbare SSDs:
* 2x Kingston DC600M 480 GB
* 2x Kingston DC600M 960 GB

# https://www.kingston.com/de/ssd/dc600m-data-center-solid-state-drive

Hierauf installiert man, nach eigener Partitionierung,
a) den ZFS Pool rpool, 3 Partitionen als ZFS Mirror BIOS, EFI, 240 GB / 760 GB
b) dann die 4 Partition, 200 GB - 400 GB für der Pool dpool, als ZFS Mirror Special Device

Als Speichermedien für ZFS gibt es sehr gut und bezahlbare HDDs:
* 2x Seagate IronWolf Pro NAS 2 TB CMR
* 2x Seagate IronWolf Pro NAS 4 TB CMR

# https://www.seagate.com/files/www-c.../ironwolf-pro-20tb-DS1914-21-2206US-en_US.pdf

Durch die insg. 8 x SATA 3 Schnittstellen, kann man im Bedarfsfall die 2x SSDs (ZFS Mirror), so wie auch 2x HDDs (ZFS Mirror) nachrüsten und einfach den unterschiedlichen ZFS Pool hinzufügen.
Man erhöht durch die Nutzung der SSDs als ZFS Special Device die gesamt IOPs des ZFS Pools massiv und z.B. ein ls -lA #(dir) arbeitet "sofort".

Kingston DC600M 480/ 960 GB: IOPS Lesen 94.000 (Herstellerangabe)
Seagate IronWolf Pro NAS 4 TB CMR: IOPS Lesen ca. 125 (nach meinen Erfahrungen)

Man bedenke eine ZFS Mirror mit 2x Datenspeichern, hat eine ca. 2x hohe IOPS rand 4k read und 1x IOPS rand 4k write.

Nutz man später, VDEV0 ZFS Mirror 2x HDD + VDEV1 ZFS Mirror 2x HDD, als ZFS Stripe, so verdoppelt sich jeweils die IOPS im Lesen und Schreiben weiter! Und natürlich der nutzbare Datenspeicher.

So kann man einfach eine 2.5 GBit/s Schnittstelle mit ca. 250 MB/s auslasten.

Und denkt man an die beiden 2x NVMe PCIe 4.0 x4 auf dem Mainboard, so können diese, wenn man das passenden Klengeld hat, als ZFS Read-Cache für den ZFS Pool dpool verwendet werden.
ZFS sorgt selbst für die Verwaltung, es brauch nur noch ein paar GB Ram mehr; 1 GB ~ 1TB Speicher.

Als rundum ein skallierbares System im nicht gewerblichen Bereich.

Und klar: es kostet Geld und dass sind mir meine Daten und Programminstallationen wert!

 

[news]

So ein Dell micro PCs mit i5-8500T ist nach meiner Meinung, nicht für einen Servereinsatz gemacht.
Er ist eher ein kleiner Desktoprechner ohne Langzeit Datenspeicher oder eine Multimedia PC am Fernseher.
Da geht auch jede Intel LGA 1150 CPU ab 4 Kerner mit 8 - 16 GB DDR3 Speicher.

 

[TErxleben]

Da ist sie wieder. Die Angst vor plötzlich sterbenden Bits und Bytes. Ich habe das in 40J noch nie erlebt aber es gibt auch Leute, die Bigfoot als real betrachten. Man muss bedenken, das man sich mit jeder zusätzliche HW einen SPOF an Bord holt. ZFS auf einer Platte ist wie bereits beschrieben suboptimal. ZFS ist auch noch ein Stück komplexer. Bei Brot und Butterservern würde ich immer LVM wählen. Oder noch rudimentärer nacktes EXT4.

 

[UdoB]

Da ist sie wieder. Die Angst vor plötzlich sterbenden Bits und Bytes.

Jetzt habe ich zweimal angefangen, inhaltlich zu antworten. Ich lasse es besser einfach...

 

[TErxleben]

Jetzt habe ich zweimal angefangen, inhaltlich zu antworten. Ich lasse es besser einfach...

Es ja auch eine ewige und kaum diskutable Erfahrungs-/Meinungssache.
Ich frage mich aber wie die armen Bits und Bytes auf Bändern vor dem befürchteten Szenario geschützt werden.

 

[xxstasxx]

So ein Dell micro PCs mit i5-8500T ist nach meiner Meinung, nicht für einen Servereinsatz gemacht.
Er ist eher ein kleiner Desktoprechner ohne Langzeit Datenspeicher oder eine Multimedia PC am Fernseher.
Da geht auch jede Intel LGA 1150 CPU ab 4 Kerner mit 8 - 16 GB DDR3 Speicher.

Es soll ein kleines Homelab werden für HomeAssistant etc. sowie ein kleiner Fileserver

 

[xxstasxx]

Da ist sie wieder. Die Angst vor plötzlich sterbenden Bits und Bytes. Ich habe das in 40J noch nie erlebt aber es gibt auch Leute, die Bigfoot als real betrachten. Man muss bedenken, das man sich mit jeder zusätzliche HW einen SPOF an Bord holt. ZFS auf einer Platte ist wie bereits beschrieben suboptimal. ZFS ist auch noch ein Stück komplexer. Bei Brot und Butterservern würde ich immer LVM wählen. Oder noch rudimentärer nacktes EXT4.

Wie schaut es mit der Performance von ZFS und LVM aus?
Homeassistant mit MQTT schreibt gerne

 

[jan-t]

Es soll ein kleines Homelab werden für HomeAssistant etc. sowie ein kleiner Fileserver

Was für VMs und welche LXC Containers planst Du?

 

[Johannes S]

Lohnt sich ZFS bei einer single-disk Installation?

Ja, alleine wegen so Sachen wie Snapshots. Die sind mit LVM zwar auch möglich, kosten dort aber Performance, wen man die zu lange aufbewahrt. Plus die von Udo in seinen verlinkten Beitrag genannten Sachen ( Kompression, Skalierbarkeit etc):

[TUTORIAL] Thread 'FabU: This is just a small setup with limited resources and only a few disks, should I use ZFS at all?'

Jan 3, 2025

Should I use ZFS at all?​

For once this requires a disclaimer first: I am using ZFS nearly everywhere, where it is easily possible, though exceptions do exists. In any case I am definitely biased pro ZFS.

That said..., the correct answer is obviously: “Yes, of course” ;-)

Integrity​

ZFS assures integrity. It will deliver exactly the very same data when you read it as was written at some point of time in the past.

“But all filesystems do this, right?” Well, there is more to it. ZFS works hard to actively assure the correctness. An...

• UdoB
• consumer class enterprise class integrity mirror raidz storage zfs
• Replies: 1
• Forum: Proxmox VE: Installation and configuration

• 

Für mich ein entscheidender Punkt: Bei meinen Mini-Cluster im Homelab kann ich damit Storage-Replication nutzen, das geht nur mit ZFS:

https://pve.proxmox.com/wiki/Storage_Replication

Welche Vor und Nachteile hätte ich?

Vorteile wurden ja schon genannt, Nachteile können die höhere Schreiblast ( und damit höherer Verschleiß) sowie schlechtere Performance bei Consumer-SSDs sein. Aber das sind mir die Features wert.
Und die Nachteile lassen sich kompensieren, wenn man gebrauchte Enterprise-SSDs mitbpower-loss-protection für SATA nimmt, die sind preislich vom Budget vertretbar. Hast du in den Dells nur m2-Slots? Meine Lenovo-Mini-PCs haben einen M2- und SATA-Slot, woraus sich bei mir folgendes Setup ergeben hat:

• Eine gebrauchte Server-SSD im SATA-Slot
• Eine Consumer-SSD im m.2 Slot ( die Enterprisevariante passt leider meistens nicht und gibt es so gut wie gebraucht )
• Beide bilden zusammen einen ZFS-Mirror für Betriebssystem und VMs/Daten. Größere Datenmengen werden als Netzwerkordner von der NAS eingebunden
• Früher oder später wird eine der beiden die Grätsche machen, die wird dann getauscht: https://www.thomas-krenn.com/de/wiki/Boot-Device_Replacement_-_Proxmox_ZFS_Mirror_Disk_austauschen#ZFS_Datenträger_austauschen

Vorteil des Vorgehens: Ich kriege trotzdem das ZFS Feature für Autoheilung und die erhöhte Ausfallsicherheit eines mirrors, Nachteil: Die Consumer-SSD wird wohl eher ausfallen als in einen anderen Setup, keine Trennung von Betriebssystem und Daten/VMs, pick your poison

Wobei sowas natürlich auch je nach SSD-Modell sich unterscheidet, auf den einen Mini-PC ist die M2-SSD schon bei 20% Wearout, auf den Anderen ( bei gleichen Setup und Last aber anderer M2-SSD) bei 5%.

 

[TErxleben]

Wie schaut es mit der Performance von ZFS und LVM aus?
Homeassistant mit MQTT schreibt gerne

ZFS ist definitiv langsamer und erfordert mehr Ressourcen. Du wirst den Unterschied aber aller Wahrscheinlichkeit nicht bemerken. Bei HA sowieso nicht. HA ist zwar dafür bekannt, die Speicherkarten von Raspis "hinzurichten", ist aber hier nicht zutreffend. Ich setze auch sehr gerne Dell Optiplex 8060 SFF ein. Klein und leistungsfähig. Der einzige Wermutstropfen und Flaschenhals ist die nicht wechselbare 1GB-Netzwerkkarte. Das unterbindet den Betrieb von Clustern im Produktiveinsatz.

 

[jim_os]

Dell Optiplex 8060 SFF ein. Klein und leistungsfähig. Der einzige Wermutstropfen und Flaschenhals ist die nicht wechselbare 1GB-Netzwerkkarte.

Der SFF Dell hat m.W. doch auch PCI Steckplätze. Meiner Fujitsu SFF Kiste hier habe ich einfach noch eine Realtek 2.5G PCI NIC spendiert, die mich rund € 15 gekostet hat.



Das Teil läuft absolut stabil. Im Gegensatz zu den Realtek 2.5G USB NICs die den Tag über mal ganz gerne die Verbindung verlieren.

Edit: PCI Steckplätze bei meiner Esprimo D957 E90 Kiste.





VG Jim

 

[TErxleben]

Der SFF Dell hat m.W. doch auch PCI Steckplätze. Meiner Fujitsu SFF Kiste hier habe ich einfach noch eine Realtek 2.5G PCI NIC spendiert, die mich rund € 15 gekostet hat.

View attachment 86462

Das Teil läuft absolut stabil. Im Gegensatz zu den Realtek 2.5G USB NICs die den Tag über mal ganz gerne die Verbindung verlieren.

VG Jim

Stimmt in den SFF bekommt man Karten mit halber Höhe. Ich tüdel immer mit der Bezeichnung und meinte die Micro Darreichungsform. Da ist eben Essig mit PCI-Karten.

 

[jim_os]

Ja bei den Tiny-Teilen ist das etwas anders. Da würde ich dann zu den Lenovo Tiny-Teilen greifen, sprich den ThinkCentre Teilen. Z.B. das M910x Modell hat dann z.B. 2 x m.2 NVMe 2280 Slot und einen PCI Steckplatz für eine Riser-Karte, mit der dann eine zusätzliche NIC verbaut werden kann. Hier z.B. mit einer Intel I350-T4 die ich hier auch noch "herumliegen" habe.




Ist hier in dem Text zu einem aktuellen Lenovo ThinkCentre M910x Angebot bei Mydealz.de - aus dem auch das Bild stammt - ganz gut beschrieben, aber zu dem Thema gibt es im I-Net natürlich auch noch jede Menge Infos und Anleitungen.

VG Jim

 

[TErxleben]

Die Thinkcentre setze ich auch gerne ein. Hatte allerdings nicht auf dem Zettel, dass es die auch mit Riserkarte gibt. Danke für den Tipp.

 

[jim_os]

Jepp - allerdings muss man dabei dann das Thema Netzteil noch beachten, weil das 65 und 90W Netzteil bei einer Vollausstattung mit 2 x NVMe, + SATA + zusätzlicher NIC dann zu schwach sein, bzw. werden könnte.

Bei den X-Modellen davon - also dem M910x und M920x - ist halt ab Werk der zweite NVMe Steckplatz vorhanden. Ich spekuliere im Moment auch noch auf eine gute, günstige refurbished M920x Kiste die ich noch zusätzlich gebrauchen könnte.

VG Jim

 

[TErxleben]

Jepp - allerdings muss man dabei dann das Thema Netzteil noch beachten, weil das 65 und 90W Netzteil bei einer Vollausstattung mit 2 x NVMe, + SATA + zusätzlicher NIC dann zu schwach sein, bzw. werden könnte.

Bei den X-Modellen davon - also dem M910x und M920x - ist halt ab Werk der zweite NVMe Steckplatz vorhanden. Ich spekuliere im Moment auch noch auf eine gute, günstige refurbished M920x Kiste die ich noch zusätzlich gebrauchen könnte.

VG Jim

M920x macht schon einen schlanken Fuß. Muss ich auch mal probieren. 2NVMe, SATA und 10GBit in einem 1l-Gehäuse klingt schon recht elegant. Zu untersuchen wäre zum einen die Wärmeentwicklung und ob die Kiste sich mangels PCI-Lanes womöglich selbst ausbremst.