Welche Hardware und Software Konfiguration ist sinnvoll

[KrawallKurt]

Hallo zusammen,
Ich bin gerade dabei, mir Gedanken um einen Homeserver zu machen, um von meinem Pi mit USB Festplatte mal upzugraden. Der Homeserver soll 24/7 laufen und hauptsächlich als NAS, Webserver, Wireguard und noch ein bisschen mehr fungieren. Da werde ich sicher noch ein bisschen meinen Spieltrieb ausleben.

Nachdem ich jetzt echt viel gelesen und gelernt habe, habe ich doch noch einige offene Fragen. Meine Fragen richten sich hauptsächlich auf die sinnvolle Konfiguration als NAS. Aktuell plane ich mit 1x NVMe für den Proxmox Host und die VMs, 1x HDD als NAS Speicher, 1x HDD als NAS Backup.

1. Macht es Sinn, für die NVMe noch eine zweite Platte als Backup oder Mirror zu haben? Würde ein Mirror überhaupt funktionieren, wenn ich die andere Platte über SATA anschließe?
2. Macht es Sinn, die HDD an TrueNAS oder OpenMediaVault durchzureichen und damit zu verwalten, oder lieber direkt in Proxmox und die Freigaben dann bspw über einen Container organisieren?
3. Bringt ZFS überhaupt etwas bei nur einer Platte? So, wie ich es verstehe, ist das auch sehr RAM-hungrig. Da lieber dann doch ein anderes Filesystem nutzen? Ich plane mit einem RAM von 32-48 GB, je nachdem, für welchen Rechner ich mich entscheide.
4. Ich lese immer "Raid ist kein Backup". Die Kritikpunkte sind immer "aus Versehen löschen" und "Ransomware".
   1. Zum aus Versehen löschen:
      1. Mit einer Backup Platte hätte ich da auch nur Zeit bis zum nächsten rsync, um die Daten wieder herzustellen, oder?
      2. Was ist mit testdisk? Könnte man damit auch bei einem RAID gelöschtes wiederherstellen?
   2. Ransomware: Wäre dann wahrscheinlich nicht gut, die Backup Platte im gleichen System zu haben, oder?
5. Macht ECC RAM wirklich SInn? Wenn ich die Daten auf das NAS kopiere, sagt mir doch auch mein Explorer, wenn etwas schief geht, oder? Dann schreib ich es einfach nochmal. Wann kann da wirklich etwas kaputt gehen?
6. Sind Helium-HDDs feheranfälliger als Luft-HDDs, oder gibt sich das nicht viel? Ich habe ein paar Sachen gelesen, dass das Helium irgendwann entweicht und dann die Platte hinüber ist. Allerdings waren die Diskussionen immer schon ein paar Jahre alt. Wie sieht das aktuell aus?
7. Kann ich auch Self-encrypted Drives mit Proxmox/TrueNas/OMV benutzen, oder wäre das eher störend? Wie stelle ich mir das dann vor? Muss man nach jedem Boot ein Passwort eingeben?
8. Besser 5400er oder 7200er Platten? Erstere scheinen leiser und stromsparender zu sein. Von der Geschwindigkeit würden die wahrscheinlich auch nicht den Flaschenhals bilden. Ich nutze im Haus nur GBit LAN. Was spräche denn trotzdem für 7200er? Die scheinen auf jeden Fall deutlich weiter verbreitet zu sein.
9. Kann man auch eine USB HDD an eine VM durchreichen? Eventuell würde ich so eine als Backup Platte nutzen, da die dann eh nur 1x pro Woche am laufen wäre.

Edit:
10. Welches Dateisystem benutzt man am besten für den Proxmox Host auf der SSD und die Daten-HDD?
11. Ich habe irgendwo gelesen, dass Stromausfälle potentiell das ganze Dateisystem zerschießen können. Da bringt RAID ja auch nix mehr. Wie sichert ihr euch dagegen ab? USVs brauchen ja gerne mal >20W im idle, sprich, wenn sie voll geladen sind. Das wäre für mich keine Option.

 

[W3isserWolf]

Tachjen.
1. Sinn macht es wenn du ein HA Server haben willst.
Ich beispielsweise habe 2 Sata SSDs in der Installation als Mirror eingerichtet um im Falle eines Hardwaredefekts die Sicherheit zu haben.
Aber wenn dann am besten 2x Sata nicht 1xNVME und 1x Sata
2. Wenn du die Platte direkt durchreichst hast du mehr Speicherplatz verfügbar (So meine Erfahrung).
3. Bei nur einer Platte kannst besser ein LVM erstellen. Aber es empfiehlt sich immer zumindest ein Mirror zu haben.
Ohne Mirror = Platte kaputt, alles weg
4. Raid ist kein Backup, das ist korrekt. Es ist nur ein Ausfallschutz.
4.1. Du kannst im Proxmox einen Backupschedule einstellen. Hier kannst du verschiedene Storages eintragen. (Schau dir aber mal den Proxmox Backup Server an)
Hier eine Beispielconfig:


4.2. RAIDs sind da eigen. Ich würd immer ein dedizierten Backupserver haben. Denn Backup auf dem gleichen System ist wie kein Backup.
5. ECC macht bei einem Server immer sinn. Im Consumerbereich kann man sich drüber streiten.
6. Kann ich leider nichts zu sagen, aber meines Wissens nach sind die gerade in Servern mit VIELEN Platten angesiedelt.
7. Würd ich die Finger von lassen.
8. 7200er haben meist minimal schnelleres RW aber macht eigentlich wenig unterschied. Am besten Nimmst NAS Platten oder direkt Flash also SSDs.
9. Ja kann man mach ich selber auch so:

Wichtig, ich schreibe nur aus eigener Erfahrung, es können Falschaussagen auftreten, aber dann mach ich es bei mir im Homelab auch falsch

Grüße
W3isserWolf

 

[KrawallKurt]

Vielen Dank schonmal für deine Einschätzung und Tipps. Kannst du noch auf den Punkt mit ECC eingehen? Warum macht das Sinn, ich verstehe es wirklich nicht.. Wenn ich eine Datei übertrage und die fehlerhaft ist, schicke ich sie doch einfach nochmal...

Außerdem habe ich oben noch 2 Fragen hinzugefügt, über die ich nachdenke

 

[KrawallKurt]

3. Bei nur einer Platte kannst besser ein LVM erstellen. Aber es empfiehlt sich immer zumindest ein Mirror zu haben.

Wie meinst du das? LVM ist ja kein Dateisystem, oder? Also wie gesagt, ich plane mit mindestens 2 Platten, davon eine (evtl mit Mirror) für Proxmox und die VMs, die andere rein für Daten.

 

[Falk R.]

Wie meinst du das? LVM ist ja kein Dateisystem, oder? Also wie gesagt, ich plane mit mindestens 2 Platten, davon eine (evtl mit Mirror) für Proxmox und die VMs, die andere rein für Daten.

Du sollst ja auch kein Dateisystem nutzen für virtuelle Disks. Somit sparst du dir eine Schicht und gewinnst Performance.

 

[KrawallKurt]

Ich verstehe es nicht.. Kannst du mir das genauer erklären? Wie kann ich eine Festplatte ohne Dateisystem nutzen?!

 

[Falk R.]

Wenn du bei Proxmox LVM nutzt, wird für eine vDisk ein LogicalVolume erzeugt und das erste Filesystem erzeugst du dann in der VM.
Bei ESXi oder HyperV hast du immer Dateien in einem Filesystem was natürlich deutlich Overhead erzeugt.

 

[KrawallKurt]

Also nochmal zum Verständnis:
- SSD mit Proxmox und den VMs/LXCs. Hier muss ein Dateisystem drauf, richtig? Da bin ich mir noch nicht sicher, ob ext4 oder ZFS.
- HDD, die an eine VM durchgereicht wird. Die VM erzeugt hier das Dateisystem.

Wo wird da jetzt ein LV erzeugt?

 

[Falk R.]

Also du kannst beim Installer einfach ext4 angeben, dann wird ein Teil für den PVE mit ext4 formatiert und der Rest wird als LVM-Thin Pool angelegt.
Wenn du eine VM erzeugst, wählst du einfach den LVM-Thin Pool aus und der Rest wird automatisch erledigt. HDDs durchreichen direkt als Disk, geht natürlich auch.

 

[KrawallKurt]

Ahh, verstehe. Ich dachte, die komplette Platte wird als ext4 formatiert und dann werden darauf dann die ISOs der VMs abgelegt. Wieviel Platz sollte ich denn dem Proxmox Host einräumen?

 

[Homwer]

Wow du hast dir echt viele Gedanken gemacht, finde ich sehr gut!
Ich antworte aus meiner privaten Erfahrung, mit meinen Home Lab/ Family Cloud / Nas bei dem es um Preis / Leistung geht und möglichst geringe folgekosten (Strom)

1. Macht es Sinn, für die NVMe noch eine zweite Platte als Backup oder Mirror zu haben? Würde ein Mirror überhaupt funktionieren, wenn ich die andere Platte über SATA anschließe?

Wenn du Energiesparen und kosten sparen willst und Ausfallsicherheit nicht das wichtigste für dich ist, dann reicht eine Platte. Aber unbedingt ordentliche Backups machen!

1. Macht es Sinn, die HDD an TrueNAS oder OpenMediaVault durchzureichen und damit zu verwalten, oder lieber direkt in Proxmox und die Freigaben dann bspw über einen Container organisieren?

Ich reiche eine Platte direkt an ein Unraid durch dass dann die Freigaben lokal macht. Du kannst das auch direkt über proxmox machen - ist aber Aufwand.

1. Bringt ZFS überhaupt etwas bei nur einer Platte? So, wie ich es verstehe, ist das auch sehr RAM-hungrig. Da lieber dann doch ein anderes Filesystem nutzen? Ich plane mit einem RAM von 32-48 GB, je nachdem, für welchen Rechner ich mich entscheide.

Ja und Nein. Ich hadere sehr mit ZFS. Auf großen Maschienen fällt es kaum auf, auf meinem kleinen i3 ist die Performance grauenhaft. Vorteile hat es trotzdem. Ich nutze es nicht.

1. Ich lese immer "Raid ist kein Backup". Die Kritikpunkte sind immer "aus Versehen löschen" und "Ransomware".
   1. Zum aus Versehen löschen:
      1. Mit einer Backup Platte hätte ich da auch nur Zeit bis zum nächsten rsync, um die Daten wieder herzustellen, oder?
      2. Was ist mit testdisk? Könnte man damit auch bei einem RAID gelöschtes wiederherstellen?
   2. Ransomware: Wäre dann wahrscheinlich nicht gut, die Backup Platte im gleichen System zu haben, oder?

Backup bitte immer incremental machen und keine Daten löschen. Also es werden immer nur die neuen Daten hinzugefügt aber nie etwas gelöscht, bis der Platz voll ist.
Backups sollten immer write only sein, damit dir die vorhandenen Daten nicht ausgelesen und verschlüsselt werden

1. Macht ECC RAM wirklich SInn? Wenn ich die Daten auf das NAS kopiere, sagt mir doch auch mein Explorer, wenn etwas schief geht, oder? Dann schreib ich es einfach nochmal. Wann kann da wirklich etwas kaputt gehen?

Bestimmt; nutze ich nicht. Bisher keine Probleme.

1. Sind Helium-HDDs feheranfälliger als Luft-HDDs, oder gibt sich das nicht viel? Ich habe ein paar Sachen gelesen, dass das Helium irgendwann entweicht und dann die Platte hinüber ist. Allerdings waren die Diskussionen immer schon ein paar Jahre alt. Wie sieht das aktuell aus?

Ist meiner Meinung nach hinfällig. Habe beide Platten im Einsatz, aber zu wenige um eine qualifizierte Antwort zu geben.

1. Kann ich auch Self-encrypted Drives mit Proxmox/TrueNas/OMV benutzen, oder wäre das eher störend? Wie stelle ich mir das dann vor? Muss man nach jedem Boot ein Passwort eingeben?

Persönlich halte ich das für alternativlos!
Debian 12 mit dropbear voll verschlüsseln und darauf dann proxmox installieren
Ja! Nach jedem Stromausfall musst du dann die Platten manuell entsperren.

1. Besser 5400er oder 7200er Platten? Erstere scheinen leiser und stromsparender zu sein. Von der Geschwindigkeit würden die wahrscheinlich auch nicht den Flaschenhals bilden. Ich nutze im Haus nur GBit LAN. Was spräche denn trotzdem für 7200er? Die scheinen auf jeden Fall deutlich weiter verbreitet zu sein.

Gut erkannt! Gigabit lan = max. 120 mb/s
Nimm 5200er evt. Sogar in 2.5“ ist eine preis leistungs frage.

1. Kann man auch eine USB HDD an eine VM durchreichen? Eventuell würde ich so eine als Backup Platte nutzen, da die dann eh nur 1x pro Woche am laufen wäre.

Ja!

Ich nutze einen kleinen i3 12100 mit 32 gb ram, 512gb NVME für das System und meine VM‘s. Dazu 3x HDD. RAID1 für storage, und eine für unraid.

Als Speicher habe ich ein raid1 auf dem das hauptsystem und die vm‘s als Backup liegen. Drehende Platten.
Sollte die VM ausfallen kann ich daraus das System neu aufsetzen und die VM‘s importieren.
Das ist auch getestet.
Der Vorteil ist dass die VM‘s auf dem schnellen Speicher liegen und die selten genutzten Daten auf dem Storage.

Der Storage wird zusätzlich noch mal extern gespiegelt, das ist mein Backup.

Ich hatte vorher alles mögliche ausprobiert, 2 SSD, Raid 5. Freigaben selbst managen usw. Hat alles Vorteile / Nachteile, läuft auch. Am Ende sollte es möglichst günstig sein, sonst konnte ich das ganze auch in ein Rechenzentrum schieben. Wäre wahrscheinlich sowieso „besser“.

 

[Falk R.]

Ahh, verstehe. Ich dachte, die komplette Platte wird als ext4 formatiert und dann werden darauf dann die ISOs der VMs abgelegt. Wieviel Platz sollte ich denn dem Proxmox Host einräumen?

Ich lasse einfach die default Einstellungen im Installationswizard für kleine Installationen mit ext4.
Nur bei RAID Setups passe ich die Größen etwas an.
Zum Thema HDD. Ich persönlich nutze nur noch SSDs. Wenn du ein Filer bauen willst wo nur Dateien abgelegt werden, ist die Performance meistens egal und da kannst du auch langsame HDDs nutzen. 7200er sind schon deutlich schneller, aber nur wenn man Random Zugriffe hat.

 

[KrawallKurt]

@Homwer vielen Dank für den Input. Da sind noch einige Tipps dabei, die ich auf jeden Fall auch beherzigen werde!

Backup bitte immer incremental machen und keine Daten löschen. Also es werden immer nur die neuen Daten hinzugefügt aber nie etwas gelöscht, bis der Platz voll ist.
Backups sollten immer write only sein, damit dir die vorhandenen Daten nicht ausgelesen und verschlüsselt werden

Das klingt total sinnvoll. Aber wie macht man das? Um inkrementell Backups zu machen, muss ich doch auch sehen, was schon da ist, oder nicht? Kannst du hier kurz deinen Weg erläutern?

Und verstehe ich es richtig, dass du die Backups von sowohl VMs, als auch den Daten auf dem gleichen Server in deinem RAID1 ablegst und das dann nochmal extern spiegelst? Würde "nur extern ablegen" hier nicht reichen?

Nimm 5200er evt. Sogar in 2.5“ ist eine preis leistungs frage.

Ich vermute, du meintest 5400? Das dachte ich auch - auch wegen Lautstärke und Stromverbrauch. Mit 2,5" CMR Festplatten hört es leider mit 2TB auf. Um da auf der sicheren Seite zu sein und nicht drüber nachdenken zu müssen, was ich speichern kann, wollte ich schon eher mindestens 6TB haben. Wird also auf 3,5" rauslaufen. Mal sehen, was es da so gibt.


@Falk R. Irgendwie hab ich da immer noch ein Verständnisproblem.. Also ich mache dann eine ext4 Partition für den Proxmox Host und der Rest der Platte ist ohne Dateisystem, richtig? Und die VMs erstellen sich in dem Space dann ihre eigenen Partition? Aber wo liegen denn die Disk Images VMs selbst?

 

[Falk R.]

Das klingt total sinnvoll. Aber wie macht man das? Um inkrementell Backups zu machen, muss ich doch auch sehen, was schon da ist, oder nicht? Kannst du hier kurz deinen Weg erläutern?

Das macht der PBS automatisch.

Ich vermute, du meintest 5400? Das dachte ich auch - auch wegen Lautstärke und Stromverbrauch. Mit 2,5" hört es leider mit 4TB auf. Um da auf der sicheren Seite zu sein und nicht drüber nachdenken zu müssen, was ich speichern kann, wollte ich schon eher mindestens 6TB haben. Wird also auf 3,5" rauslaufen. Mal sehen, was es da so gibt.

SSDs gibts in 2,5" auch mit mehr Volumen.

@Falk R. Irgendwie hab ich da immer noch ein Verständnisproblem.. Also ich mache dann eine ext4 Partition für den Proxmox Host und der Rest der Platte ist ohne Dateisystem, richtig? Und die VMs erstellen sich in dem Space dann ihre eigenen Partition? Aber wo liegen denn die Disk Images VMs selbst?

Die VM Disks sind keine Images wie bei ESXi oder HyperV. Dort werden einfach Dateien (Images) erstellt und der VM als Disk übergeben.
Bei einem LVM, LVM-Thin, ZFS Pool oder Ceph RBD wird eine "Partition" erstellt und diese an die VM als Disk gegeben. Quasi so wie es viele Raid Controller machen, wenn man aus einem Raidset mehrere virtuelle Disks erstellt.

 

[KrawallKurt]

Bei einem LVM, LVM-Thin, ZFS Pool oder Ceph RBD wird eine "Partition" erstellt und diese an die VM als Disk gegeben. Quasi so wie es viele Raid Controller machen, wenn man aus einem Raidset mehrere virtuelle Disks erstellt.

Ahh, verstehe. Und diese "Partition" kann ich dann auch mehreren VMs geben, oder braucht da jede VM ihre eigene? Funktionieren da auch Backups der VMs, wenn es keine Disks im eigentlichen Sinn gibt?

Das macht der PBS automatisch.

auch mit dem o.g. write-only? Wie geht das? Ich hab beim Überlegen die Idee gehabt, die Backups (zumindest von der Datenplatte) nicht vom System zu machen, sondern von extern "zu pullen". Macht das Sinn?

 

[Dunuin]

Ahh, verstehe. Und diese "Partition" kann ich dann auch mehreren VMs geben, oder braucht da jede VM ihre eigene?

Block Devices kann immer nur eine VM zur Zeit benutzen, sonst zerschießt du dir die Daten. Sollen mehrere VMs auf die gleichen Daten zugreifen
solltest du dir eine NAS VM aufsetzen, welche dann Storage per SMB/NFS bereitstellt.

Funktionieren da auch Backups der VMs, wenn es keine Disks im eigentlichen Sinn gibt?

Ja. Dann werden halt die Block Devices auf Blockebene gesichert.

auch mit dem o.g. write-only? Wie geht das? Ich hab beim Überlegen die Idee gehabt, die Backups (zumindest von der Datenplatte) nicht vom System zu machen, sondern von extern "zu pullen". Macht das Sinn?

Bei PBS sind die Backups clientseitig. Das meiste (hashen, kompriumieren, verschlüsseln) findet aufdem PVE statt und der sendet es dann zum PBS.
Wenn du wegen mehr Sicherheit pullen willst kannst du einen zweiten PBS aufsetzen und dann einen Sync Job einrichten, dass da der sekundäre PBS die Backup Snapshots vom primären PBS pullt. Dann hast du auch deine Ransomware Protection und eine zweite Kopie, falls dir mal ein Backup korrumpiert, damit du es fixen kannst.

 

[KrawallKurt]

Block Devices kann immer nur eine VM zur Zeit benutzen, sonst zerschießt du dir die Daten. Sollen mehrere VMs auf die gleichen Daten zugreifen
solltest du dir eine NAS VM aufsetzen, welche dann Storage per SMB/NFS bereitstellt.

Ich meinte nicht, geteilte Daten sondern die VMs selbst (also Betriebssystem usw). Also ich möchte eine SSD, auf der der Proxmox Host und die VMs liegen. Ich hab das jetzt so verstanden, dass der Proxmox Host eine ext4 Partition kriegt und die VMs irgendwo in dem Bereich ohne Dateisystem herumschweben. Und meine Frage war, ob ich diesen Bereich einfach an jede VM übergeben kann, oder der auch nochmal partitioniert werden muss. Datenaustausch zwischen VMs natürlich via SMB/NFS.

Und wie ist es eigentlich mit LXCs? die liegen dann wahrscheinlich auf der ext4 Partition vom Proxmox nehme ich an?

Edit: Also sagen wir mal, ich will Proxmox Host und 3 VMs und 3 LXCs alles auf einer SSD haben. Wie müsste das partitioniert werden?

 

[Dunuin]

Ich hab das jetzt so verstanden, dass der Proxmox Host eine ext4 Partition kriegt und die VMs irgendwo in dem Bereich ohne Dateisystem herumschweben.

Genau.

Und meine Frage war, ob ich diesen Bereich einfach an jede VM übergeben kann, oder der auch nochmal partitioniert werden muss.

Das sind nicht wirklich Partitionen. Das war nur so eine Analogie um zu verdeutlichen was ein LV oder Zvol so macht. Du hast halt deinen ZFS Pool oder dein LVM und davon schneidest du deine Stücke ab und nimmst diese als virtuelle Disks, ähnlich wie du bei einer physischen Disk diese in kleinere Partitionen zerstückeln kannst.
Da musst du nichts manuell partitionieren. Das Verwalten der virtuellen Disks übernimmt PVE für dich.

Und wie ist es eigentlich mit LXCs? die liegen dann wahrscheinlich auf der ext4 Partition vom Proxmox nehme ich an?

Nein, die liegen üblicherweise da wo auch deine VMs liegen. Die nutzen dann halt nur keine Zvols sondern Datasets im Falle von ZFS oder anstatt unformatierten LVs dann ext4 formatierte LVs im Falle von LVM. Hast du in beiden Fällen aber ebenfalls keine Image files.

 

[Falk R.]

Ich meinte nicht, geteilte Daten sondern die VMs selbst (also Betriebssystem usw). Also ich möchte eine SSD, auf der der Proxmox Host und die VMs liegen. Ich hab das jetzt so verstanden, dass der Proxmox Host eine ext4 Partition kriegt und die VMs irgendwo in dem Bereich ohne Dateisystem herumschweben. Und meine Frage war, ob ich diesen Bereich einfach an jede VM übergeben kann, oder der auch nochmal partitioniert werden muss. Datenaustausch zwischen VMs natürlich via SMB/NFS.

Und wie ist es eigentlich mit LXCs? die liegen dann wahrscheinlich auf der ext4 Partition vom Proxmox nehme ich an?

Edit: Also sagen wir mal, ich will Proxmox Host und 3 VMs und 3 LXCs alles auf einer SSD haben. Wie müsste das partitioniert werden?

Das klingt alles so was mir vor 4 Jahren durch den Kopf ging, weil ich seit 2006 VMware mache und man immer Filesystem Centric gearbeitet hat. Einfach mal von der Dateidenke verabschieden und am besten einmal ausprobieren, da ist die Lernkurve noch etwas höher als nur die Theorie im Forum.
Bei PVE ist der Standard Block Centric auch wenn man Dateisysteme nutzen kann. Der Vorteil, bei PVE spart man immer viel Overhead.

 

[KrawallKurt]

am besten einmal ausprobieren

Ja, wahrscheinlich hast du Recht. Ich versuche nur, schonmal möglichst viel zu verstehen, um keinen Fehlkauf zu machen...

Also sagen wir mal, ich will Proxmox Host und 3 VMs und 3 LXCs alles auf einer SSD haben

Das wäre prinzipiell ohne Probleme möglich, richtig