Erster Proxmox / Hardwarekonfiguration

Marko68

New Member
May 16, 2021
3
0
1
36
Hallo,

Ich bin neu in der Proxmox-Welt und würde mich freuen Hilfe bei der Hardwarekonfiguration zu erhalten.

Für unser kleines nicht kommerzielles Büro (<10) möchte ich gerne einen Proxmox Server einrichten. Folgende Aufgaben soll er erledigen:
1VM (1Thread, 1GB RAM): Apache/MySQL/PHP-Server (Bibliotheksdatenbank, litw3, aktuell 10000 Einträge, gesammelt über 10 Jahre)
1VM (1Thread, 1GB RAM): Apache/MySQL/PHP-Server (Ausleihdatenbank, LEIHS, ca. 800 Geräte mit ca. 200 Leihvorgängen pro Jahr)
1VM (4Threads, 8GB RAM): Nextcloud (max. 10 User parallel, +OnlyOffice, ca. 2TB Speicher)
max. weitere 2VMs (ins. 2-4Threads, 2-4GB): Apache/MySQL/PHP-Server (individuelle Webprojekte, CMS/Wordpress, etc. …)

Ich habe aus einem anderen Projekt einen Rechner, den ich dafür gerne verwenden würde:
Asus B450F, 6/12 Ryzen 2600, 480GB Kingston A1000 Nvme, 16GB RAM G.Skill (3200)
Laufzeit laut NVME-Laufwerk bisher 280h

Macht es Sinn, diesen Rechner wie folgt aufzurüsten?
+ 1x 480GB Kingston A2000 NVME (Raid1 mit vorhandener NVME) Server-Boot und Speicherplatz für die VMs
Ich bin mir etwas unsicher bzgl. Nvme, anscheinend hat sich die Technik bei Servern noch nicht durchgesetzt. Ist es eine gute Idee die beiden NVME im RAID1 zu betreiben oder sollte ich auf andere SSDs setzen? Alternative hatte ich 2x Seagate FireCuda 510 480GB (Raid1) ins Auge gefasst.
+ 2x 4TB Seagate IronWolf (Raid1)
Sollte man hier lieber auf das Proxmox-SoftwareRaid/ZFS oder das Raid des Boards setzen?
+ 2x 8GB 3200 RAM (Insgesamt 16GB)

Die Backups würde ich dann gerne parallel via USB3 laufen lassen, sodass ich diese mitnehmen kann. Da sollten ja 2x 8TB HDDs reichen.

Bedenken habe ich eher bei der Nextcloud, deren Backups würde ich gerne inkrementell anlegen, damit nicht immer das ganze Image gezogen wird. Gibt es eine Möglichkeit, beim Backup der Nextcloud-VM bestimmte Ordner auszuschließen? So könnte ich Nextclouduserdaten über rsync inkrementell sichern. Eventuell könnte ich eine weitere VM für Proxmox Backup Server einrichten und dort die Backup-USB-Drives anschließen?

Ich denke, ihr habt da bestimmte ein paar bessere Ideen. Ich wäre jedenfalls dankbar!

Viele Grüße
Marko
 
Last edited:

Dunuin

Famous Member
Jun 30, 2020
1,778
369
83
Ich habe aus einem anderen Projekt einen Rechner, den ich dafür gerne verwenden würde:
Asus B450F, 6/12 Ryzen 2600, 480GB Kingston A1000 Nvme, 16GB RAM G.Skill (3200)
Laufzeit laut NVME-Laufwerk bisher 280h

Macht es Sinn, diesen Rechner wie folgt aufzurüsten?
+ 1x 480GB Kingston A2000 NVME (Raid1 mit vorhandener NVME) Server-Boot und Speicherplatz für die VMs
Ich bin mir etwas unsicher bzgl. Nvme, anscheinend hat sich die Technik bei Servern noch nicht durchgesetzt. Ist es eine gute Idee die beiden NVME im RAID1 zu betreiben oder sollte ich auf andere SSDs setzen? Alternative hatte ich 2x Seagate FireCuda 510 480GB (Raid1) ins Auge gefasst.
+ 2x 4TB Seagate IronWolf (Raid1)
Sollte man hier lieber auf das Proxmox-SoftwareRaid/ZFS oder das Raid des Boards setzen?
+ 2x 8GB 3200 RAM (Insgesamt 16GB)
Ein Punkt wäre wie wichtig dir deine Daten sind. Wenn sie wichtig sind (Stichpunkt "schleichender Dateiverfall") dann sollte ZFS als Software-Raid benutzt werden. Bei mdraid als Software-Raid, LVM ohne Raid oder Hardware-Raid weißt du nie, ob die Daten nicht beschädigt sind, bevor sie ins Backup landen. Wenn dann alle Backups unwissentlich nur korrumpierte Versionen einer Datei haben, dann hilft ein Backup auch nichts um die heilen Daten zurückzubekommen. Ein Backup hilft da höchstens beim Komplettausfall der Laufwerke.

ZFS hat aber wiederum auch gewisse Anforderungen.
Erstens ist ECC RAM empfehlenswert. Und ECC RAM sollte eigentlich immer verwendet werden, nicht nur wenn man ZFS nutzt. Laufen tut der Rechner zwar auch ohne ECC RAM, aber man hat mehr Abstütze, weniger Datenintegrität und eine schlechtere Verfügbarkeit.
Zweitens braucht ZFS viel RAM. Je mehr RAM desto besser schneller ist ZFS. Faustformel ist 4GB + 1GB RAM je 1TB Rohkapazität der Laufwerke. Oder 4GB + 5GB je 1 TB Rohkapazität wenn man Deduplikation nutzen will.
Drittens erzeugen Copy-On-Write Dateisysteme wie ZFS sowie Virtualisierung im Allgemeinen relativ viel Write Amplification. Solche Consumer SSDs können da je nach Workload bereits nach Monaten kaputt sein. Für ZFS sollte man da am besten Enterprise SSDs nutzen welche eine Powerloss Protection haben und 10-30x so robust sind.

NVMe ist übrigens bei Servern heute Gang und Gebe. Die nutzen aber kein M.2 sondern U.2 oder jetzt neu U.3, da die M.2 Bauform einfach viel zu klein ist und man nicht genug NAND Chips und Kondensatoren für die Powerloss Protection unterbringen kann. U.2 SSDs kommen da meist als 2,5" Bauform und lassen sich über Adapterkabel an M.2 anschließen.
Die Backups würde ich dann gerne parallel via USB3 laufen lassen, sodass ich diese mitnehmen kann. Da sollten ja 2x 8TB HDDs reichen.

Bedenken habe ich eher bei der Nextcloud, deren Backups würde ich gerne inkrementell anlegen, damit nicht immer das ganze Image gezogen wird. Gibt es eine Möglichkeit, beim Backup der Nextcloud-VM bestimmte Ordner auszuschließen? So könnte ich Nextclouduserdaten über rsync inkrementell sichern. Eventuell könnte ich eine weitere VM für Proxmox Backup Server einrichten und dort die Backup-USB-Drives anschließen?
Du kannst bei VMs keine Ordner ausschließen, da die Backups auf Blockebene und nicht auf Dateiebene laufen. Es wird also immer die ganze virtuelle Festplatte gesichert. Du könntest aber z.B. den Proxmox Backup Server auf einem anderen Rechner (oder in einer VM) laufenlassen. Der kann mit Snapshots arbeiten. Dank Snapshots kann man dann die virtuellen Festplatten inkrementell sichern und speichert so echt nur die Änderungen zum letzten Snapshot und nicht immer alles mehrfach komplett.
Wenn du keinen PBS aufsetzen willst könntest du zwei virtuelle Festplatten erstellen. Eine kleine für das Linux, Nextcloud, Datenbank und Co und eine große auf der nur das Nextcloud-Datenverzeichnis liegt. Die kleine virtuelle Festplatte lässt du ganz normal über die in Proxmox eingebaute Backup-Funktion sichern und die große virtuelle Festplatte schließt du vom Backup aus. Dann könntest du über "qm set" die USB-HDDs in die VM bringen und in der VM ein selbstgeschriebenes Script laufen lassen, welches per rsync oder besser noch rdiff deinen Nextcloud-Datenordner auf die USB-Disks sichert.

Falls du ZFS nutzt könntest du auch Replikation nutzen um Daten zwischen 2 Pools synchron zu halten. Sagen wir du hast intern 2 Laufwerke und 2 externe USB-Laufwerke. Da könntest du dann 2 ZFS Pools (einen intern, einen extern) anlegen und dir ein Script schreiben welches beide Pools synchron hält. Das klappt auch inkrementell über Snapshots und dann muss echt nur das bisschen gesichert werden, was sich wirklich geändert hat. Und Synchronisation kann man auch umkehren. Sollte mal der Haupt-Pool ausfallen kann man dann alles vom Backup-Pool 1-zu-1 zurückspielen.

PS:
SSDs und HDDs wird gerade teuer. Wegen Chia-Kryptomining haben sich die letzte Woche die Preise verdoppelt bzw robuste SSDs und große HDDs sind garnicht mehr zu bekommen. So eine WD Red Pro 18TB wird jetzt z.B. für 749-1299€ gehandelt.
 
Last edited:
  • Like
Reactions: Marko68

Marko68

New Member
May 16, 2021
3
0
1
36
Vielen Dank @Dunuin. Wirklich eine sehr ausführlich-differenzierte Antwort, da hast du mir einige Interessante Denkanstöße gegeben.

Dann schaue ich mich mal in Richtung Enterprise SSDs um. Leider ist mein Budget sehr begrenzt, weshalb ich an gewissen Komponenten erstmal nichts ändern kann. Dazu zählen bspw. das Board und der Speicher.

Die Anforderungen für die meisten VMs begrenzen sich ja auf einfache Datenbankabrufe. Pro VM nicht mehr als 100 DB-Abrufe pro Tag (die größte Datenbank ist gerade 5MB) und Webseitenzugriffe ebenfalls nicht mehr als 100 pro Tag. Momentan laufen die DBs teilweise auf Pentium 4 und Ubuntu 10.14. Solange hat sich niemand darum gekümmert.

Höhere Anforderungen entstehen ja nur aus dem Nextcloud-Bedarf. Insgesamt bleibt der Up/Downstream noch für recht lange Zeit bei 100Mbit.

Was hälst du hier von (going off NVME):
+ 2x Kingston DC500M od. Seagate Nytro 1000 (ZFS, Speicher für VMs -> nicht Datenspeicher für Nextcloud)
+ 2x 4TB Seagate IronWolf (ZFS, Speicher für die Nextcloud-Daten)
+ 2x 8GB 3200 RAM (Insgesamt 32GB)

Danke auch für die Ausführungen zum Backup. PBS habe ich aus Spaß schon mal aufgesetzt und werde ich mir anschauen.
 
Last edited:

Dunuin

Famous Member
Jun 30, 2020
1,778
369
83
Was hälst du hier von (going off NVME):
+ 2x Kingston DC500M od. Seagate Nytro 1000 (ZFS, Speicher für VMs -> nicht Datenspeicher für Nextcloud)
Klingen beide auf dem Papier ok. Die Nytro gibt es auch in 2 Versionen. Da würde ich die "1551" Serie nehmen die 3 DWPT statt 1 DWPD hat. Kostet auch nur 20% mehr und hält dann 3 mal so lange.

+ 2x 4TB Seagate IronWolf (ZFS, Speicher für die Nextcloud-Daten)
Bei Festplatten musst du darauf achten, dass die CMR und nicht SMR sind und für 24/7 Betrieb ausgelegt sind. Die IronWolfs haben glaube ich alle CMR. Bei WD Red muss man aufpassen, da haben nur die Plus und Pro Modelle CMR. Sollte also als Datengrab für Nextcloud und Co passen.
+ 2x 8GB 3200 RAM (Insgesamt 32GB)

Danke auch für die Ausführungen zum Backup. PBS habe ich aus Spaß schon mal aufgesetzt und werde ich mir anschauen.
32GB RAM sollten da eigentlich passen. Nur nicht vergessen da manuell den ARC zu limitieren, sonst wird sich ZFS 50% vom RAM nehmen. ZFS sollte da aber auch brauchbar mit nur 8GB laufen können, kannst du den ARC also manuell auf 8-12GB setzen, dass da genug frei ist für Proxmox und all die VMs. Dann wärst du ja knapp unter 32GB RAM-Verbrauch.

Edit:
Achso und nicht vergessen, dass man einen ZFS pool nicht mehr als 80% füllen sollte. Ab 80% wird der lahm und ab 90% schaltet der in den Panik Modus. Und immer etwas Platz für Snapshots einplanen. Die Snapshots wachsen ja mit der Zeit und können nach langer Zeit und vielen Änderungen auch ein mehrfaches der eigentlichen Größe der Daten einnehmen.
 
Last edited:
  • Like
Reactions: Marko68

Marko68

New Member
May 16, 2021
3
0
1
36
Klingen beide auf dem Papier ok. Die Nytro gibt es auch in 2 Versionen. Da würde ich die "1551" Serie nehmen die 3 DWPT statt 1 DWPD hat. Kostet auch nur 20% mehr und hält dann 3 mal so lange.
Danke. Ich habe mir gerade sicherheitshalber 1551 bestellt (wer weiß, was die in den kommenden Tagen kosten werden).
Bei Festplatten musst du darauf achten, dass die CMR und nicht SMR sind und für 24/7 Betrieb ausgelegt sind. Die IronWolfs haben glaube ich alle CMR. Bei WD Red muss man aufpassen, da haben nur die Plus und Pro Modelle CMR. Sollte also als Datengrab für Nextcloud und Co passen.
Deshalb habe ich mich auch für die IronWolf entschieden.
32GB RAM sollten da eigentlich passen. Nur nicht vergessen da manuell den ARC zu limitieren, sonst wird sich ZFS 50% vom RAM nehmen. ZFS sollte da aber auch brauchbar mit nur 8GB laufen können, kannst du den ARC also manuell auf 8-12GB setzen, dass da genug frei ist für Proxmox und all die VMs. Dann wärst du ja knapp unter 32GB RAM-Verbrauch.

Edit:
Achso und nicht vergessen, dass man einen ZFS pool nicht mehr als 80% füllen sollte. Ab 80% wird der lahm und ab 90% schaltet der in den Panik Modus. Und immer etwas Platz für Snapshots einplanen. Die Snapshots wachsen ja mit der Zeit und können nach langer Zeit und vielen Änderungen auch ein mehrfaches der eigentlichen Größe der Daten einnehmen.
Danke. Werde ich berücksichtigen.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!