Welches Raid und Dateisystem für folgende Installation

[MrSpoocy]

Hi,

Ich bin dabei meine Synology in den Ruhestand zu schicken und möchte nach ersten guten erfahren mit Proxmix auf meinem Hetzner Server, dieses nun auch Privat einsetzen. Als Hardware möchte ich jetzt nicht gerade Server Hardware nehmen, sie ist einfach für den Privaten Bereich unverhältnismäßig. Ich dachte daran, meine alte PC Hardware zu nutzen, wenn ich diese austausche. Folgende Hardware wird zum Einsatz kommen:

Hardware:
MSI MPG Z390 Gaming Pro Carbon
Intel i7-8700K
32-64GB Non ECC Speicher
4x Seagate IronWolf 8TB (ST8000VN0022) (aktuell in der Synology mit BTRFS Raid 5, vermutlich aber NICHT native)
1x 2TB Samsung 980 PRO M.2 NVMe SSD (ich wer bereit eine 2te zu Kaufen, wenn es wirklich sin ergibt, z.b. Raid 1?)
1x Google Coral AI Edge TPU M.2
Keine USV derzeit

Verwendungszweck:
Der HomeServer soll 24/7 laufen, lediglich die HDD's sollen in den Ruhezustand gehen.

Auf der/den Samsung SSD sollen alle wichtigen Daten liegen, LXC Container, VM , Docker etc. Auch wird hier die Aufzeichnungen der Kameras drauf lagern. Snapshot Funktion wer wünschenswert aber nicht lebenswichtig.

Auf den HDD sollen ausschließlich Filme, Musik (keine Fotos) lagern und die Platten sollen auch in den Ruhezustand gehen wenn sie nicht genutzt sind. Die Daten selbst sind nicht so wichtig, wenn sie verloren gehen ist es ärgerlich aber kein Weltuntergang.
Es wird hier kein Snapshot benötigt. Einzig Verschlüsselung wer wünschenswert aber nicht verpflichtend.

Der Server wird per Bioseinstellung möglichst stark gedrosselt, denn das Ziel soll sein, möglichst Sparsam zu arbeiten.

Backup:
Es gibt einen separaten Nano PC mit einer 2 TB SSD auf dem Proxmox Backup Server läuft wo die Daten der Samsung SSD gesichert werden sollen.


Ich hab jetzt schon recht viel gelesen was mögliche Probleme und Konfigurationen angeht. Aber komme nicht zu einer wirklichen Lösung. Folgendes ist mir bereits bewusst:

• Ich sollte kein ZFS nehmen weil kein ECC Speicher
• Ich werde log2ram oder folder2ram nutzen um die SSD nicht zu schnell in den Tot zu treiben

Ich würde gern für die HDD ein Raid 5 nehmen damit ich wenigstens ein bisschen Schutz davor habe, dass wenn eine Platte mal kaputt geht. Und wenn der rebuild dann 3 Tage dauert ist es auch nicht schlimm.

Ich bin mir aber unschlüssig ob z.B. bei der Samsung SSD ein Raid 1 überhaupt lohnt (wegen dem Backup Server), denn auch beim Raid 1 kopiere ich Bit flip einfach mit auf die 2te SSD (weil kein ECC RAM).

 

[floh8]

Ich sollte kein ZFS nehmen weil kein ECC Speicher

Das eine hat nichts mit dem anderen zu tun. ECC RAM ist wichtig, wenn dein Server durchgängig läuft.

Ich bin mir aber unschlüssig ob z.B. bei der Samsung SSD ein Raid 1 überhaupt lohnt (wegen dem Backup Server),

Raid 1 ist eigentlich nur wichtig, wenn man hochverfügbar sein muss oder kein Backup hat. Da du backupen willst, reicht eine Single Disk.

denn auch beim Raid 1 kopiere ich Bit flip einfach mit auf die 2te SSD (weil kein ECC RAM).

Bit Flip oder Bit Rotate kann entstehen, wenn der Server durchgängig läuft. Im RAM existieren auch Speicherzellen, deshalb kann es dort auch passieren. Wenn du deinen Server durchgängig laufen lassen willst und dich vor solchen Manipulationen schützen möchtest, ist zfs im Raid1 mit einem regelmäßigem Scrub zu empfehlen .

 

[fowr0yl]

Leider schreibst du nicht wieviel RAM deine Maschine hat. Für ZFS ist ausreichend RAM auf jeden Fall wichtig. Ansonsten wird das System hakelig ...
Ich nutze ZFS jetzt seit mindestens 5 Jahren ohne ECC und meine Heimserver laufen praktisch um die Uhr.
Da gab es noch nicht ein einziges Problem, das auf RAM zurückzuführen war.
Bei deiner Synology scheinst du ja auch nicht so sicherheitsbewußt zu sein. Ansonsten würdest du dort doch wohl nicht das viel riskanktere BTRFS Raid5 einsetzen, von dem praktisch jeder abrät.
Wenn es die Performance deines Systems hergibt, dann würde ich auch auf der 1. Platte auf ZFS setzen.
Das solltest du aber meßtechnisch überprüfen. Mache Board-Platten Kombinationen liefern praktisch 0 Performance in dieser Kombi ab. Bei mir hatte ZFS gerade mal 10% des Durchsatzes von BTRFS und das bei deutlich höherem CPU Verbrauch. Tatsächlich kann man auch mit nur einer Platte auf BTRFS setzen. Dann kann man zumindest die Snapshot Funktion nutzen. BTRFS Raid1 erfordert leider einiges an manuellem Eingriff in das System, da man die notwendigen Dinge nicht einfach bei der Installation von Proxmox konfigurieren kann.

 

[floh8]

Bei deiner Synology scheinst du ja auch nicht so sicherheitsbewußt zu sein. Ansonsten würdest du dort doch wohl nicht das viel riskanktere BTRFS Raid5 einsetzen, von dem praktisch jeder abrät.

Synology setzt keine Raidfunktion von btrfs ein, sondern mdraid+btrfs ontop.

 

[fowr0yl]

4x Seagate IronWolf 8TB (ST8000VN0022) (aktuell in der Synology mit BTRFS Raid 5)

@floh8
Da steht aber nichts von mdraid, sondern eindeutig BTRFS Raid5. Und ich weiß nicht ob und was MrSpoocy auf seiner Synology herumoptimiert hat. Daher glaube ich ihm erst mal was er schreibt, bis das Gegenteil bewiesen ist ...

 

[fowr0yl]

Meine Empfehlung wäre ohnehin zuallererst eine USV zum Einsatz zu bringen!

 

[floh8]

Da steht aber nichts von mdraid, sondern eindeutig BTRFS Raid5. Und ich weiß nicht ob und was MrSpoocy auf seiner Synology herumoptimiert hat. Daher glaube ich ihm erst mal was er schreibt, bis das Gegenteil bewiesen ist ...

Synology verrät nicht, was drunter passiert, sodaß es der Anwender nicht wissen kann. Er sieht nur Raid5.

 

[MrSpoocy]

Ich habe die Angaben im Post mal verbessert.

• Es kommen 32-64 GB RAM zum Einsatz.
• Der BTRFS Raid 5 wird sicher das besagte "fake" (https://kb.synology.com/en-nz/DSM/t...entation_for_Btrfs_File_System_on_SynologyNAS) sein weil ich diesen über den Wizard eingerichtet hatte

Du schreibst "bei der 1ten Platte", sollen es dennoch 2 SSD's sein oder wirklich nur eine? Das bedeutet auch das, dass root system auf dem ZFS liegt.

Ich sehe gerade, kann es sein das jedes mal wenn ich den #1 Post bearbeite ein Admin den erneut freigeben muss (Awaiting approval before being displayed publicly.)?

 

[MrSpoocy]

Wenn es wirklich helfen würde, würde ich auch bereit sein die Samsung OEM Datacenter SSD PM9A3 1.92TB zu kaufen (und die 980 Pro weg zu lassen).

 

[fowr0yl]

Moin, moin,

ja das ist (leider) so, das Posts anfänglich durch einen Admin freigegeben werden müssen. Passiert aber ab und an auch später mal....

Nach meinem Wissensstand werden grundsätzlich 3 Partitionen auf der ersten Platte eingerichtet. Das sieht dann z.B. so aus:

# fdisk -l /dev/nvme0n1
Disk /dev/nvme0n1: 465.76 GiB, 500107862016 bytes, 976773168 sectors
Disk model: SanDisk Extreme Pro 500GB               
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: D7C5BDDB-D050-46E6-B368-565B20346E5D

Device           Start       End   Sectors   Size Type
/dev/nvme0n1p1      34      2047      2014  1007K BIOS boot
/dev/nvme0n1p2    2048   1050623   1048576   512M EFI System
/dev/nvme0n1p3 1050624 976773134 975722511 465.3G Linux filesystem

Die ersten beiden Partitionen liegen nicht in einem Raid, weil z.B. die ESP (EFI System Partition) wegen UEFI vfat sein muss. Diese Partitionen müssen also grundsätzlich über andere Tools wie. z.B. das proxmox-boot-tool syncron gehalten werden.

Die 3. Partiton ist die root Partition deren Format im Installer ausgewählt werden kann.
Ob man im Installer auch bei nur einer Platte ZFS auswählen kann, und ob das zu einer funktionsfähigen Installation führt, weiß ich nicht. Ich habe mich aus Performance Gründen von ZFS auf der root Partition vor langer Zeit verabschiedet und setze auf BTRFS als akzeptable Alternative.
Ob ZFS mit nur einer Platte als root geht müsstest du also ausprobieren.

BTRFS als Dateisystem ist im Installer definitiv nicht als Option verfügbar. Egal ob man eine oder 2 Platten einsetzt. Aber BTRFS Raid1 oder Raid0 kann man auch mit nur 1 Platte auswählen.
Das bedeutet natürlich nicht, das man ein voll funktionsfähiges BTRFS Raid erhält, wenn man nur eine SSD einsetzt.
Da aber BTRFS installiert wird, erhält man automatisch dessen Vorteile wie z.B. CoW, Snapshots, Backups via send/receive usw. Und das ganz ohne irgendwelche aufwendigen Konstrukte mit LVM.
Und alle Proxmox internen Funktionen stehen genau wie bei einem "vollständigen" BTRFS Raid bereit.
Ich würde daher beim Einsatz nur einer Platte BTRFS immer den Vorzug gegenüber Ext4 und LVM geben.

Nicht das ihr mich falsch versteht. Wenn es die Hardware und die Systemperformance her gibt würde ich immer auf ZFS setzen! Leider ist das auch bei Enterprise SSD's bei vielen Mainboards nicht so.

 

[Dunuin]

Ob man im Installer auch bei nur einer Platte ZFS auswählen kann, und ob das zu einer funktionsfähigen Installation führt, weiß ich nicht.

Ist dann ein 1 Disk "zfs (Raid0)".

 

[MrSpoocy]

Ich möchte an der Stelle sagen, dass mir ZFS nicht so wichtig ist. Die Performance für lesen/schreiben könnte auch die einer normalen HDD sein und würde ausreichen. Mir geht es eher um Datensicherheit. Wenn nichts wirklich dagegen spricht, würde ich das jetzt so machen:

• 1x Samsung 980 Pro mit BTRFS als Dateisystem für Proxmox und deren LXC/VM's.
• 4x HDD mit mdadm raid5 und ext4 als Dateisystem

Oder wenn ihr jetzt sagt, "HALT, auch mit BTRFS ist die Chance hoch, dass beim Stromausfall alles futsch ist, nimm lieber die Samsung PM9A3 mit Power-Loss Protection", dann würde ich diese halt kaufen.

Oder zur not 2x Samsung 980 Pro im Raid1 (mdadm oder wie?) mit btrfs.

 

[Dunuin]

Oder wenn ihr jetzt sagt, "HALT, auch mit BTRFS ist die Chance hoch, dass beim Stromausfall alles futsch ist, nimm lieber die Samsung PM9A3 mit Power-Loss Protection", dann würde ich diese halt kaufen.

Da geht es nicht nur um Datenverlust bei Stromausfall. Ohne Power-loss Protection kann die SSD keine Sync Writes im DRAM Cache cachen und du hast dann nur so 1/100 der Performance wenn du kleine Sync-Writes machst.

Bezüglich btrfs sollte man man anmerken, dass das gerade erst frisch hinzugefügt wurde und eher noch experimentell ist.

Mir geht es eher um Datensicherheit.

Dann würde ich btrfs oder ZFS nehmen und kein mdadm. Die wurden ja gerade entwickelt, um eine höhere Datenintegrität zu schaffen als was HW Raid oder traditionelles SW raid ala mdadm lieferten. Journaling, mehrere Kopien von Metadata, Checksumming um Datenkorruption übverhaupt erst erkennen zu können, automatische Reperatur von korrupten Daten (nicht bei einzelner Disk), eingebrautes Versioning über Snapshots, ...