Aufbau Home-Server mit Proxmox für Einsteiger

[Freezer86]

Hallo zusammen,

ich bin mit dem Aufbau eines stromsparenden 24/7 Home-Servers beschäftigt.

Dieser soll folgende Funktionen bereitstellen:

• SmartHome-Server (MQTT-Broker, Node-RED, InfluxDB, Grafana), läuft bisher auf RaspberryPi
• Netzwerkspeicher (Datenspeicher für mehrere Windows-Rechner, läuft bisher auf Synology NAS, ohne RAID, Synchronisierung ausgewählter Daten mit OneDrive)
• Unifi- Controller (NEU)
• Linux-Testumgebung (NEU)

Das System läuft auf einem Intel J4105 ITX-Board mit 8 GB Arbeitsspeicher. Ich habe 2 SSD Platten mit jeweils 120 GB (1x HP SSD M700 mit MLC-Speicher, 1x Kingston A400 mit TLC-Speicher), sowie 1 Festplatte mit 2 TB (WD Red) zur Verfügung.

Zur Realisierung bin ich auf Proxmox gestoßen und habe dies zum Test auch schonmal eingerichtet und erste Erfahrungen damit gesammelt. Einfach Installation auf einer SSD und Anlegen und Testen einer virtuellen Maschine mit Ubunutu.

Wie sollte ich aber meine Konfiguration für das Produktivsystem aufbauen:

• Proxmox-System auf SSD mit TLC-Speicher installieren?
• VMs auf SSD mit MLC-Speicher laufen lassen?
• SmartHome-Server in einer VM laufen lassen?
• Unifi- Controller in einem LXC Container laufen lassen?
• Netzwerkspeicher (und ggf. automatische Backups der VMs) auf WD Red HDD?

Im ersten Schritt möchte ich die Grundeinrichtung sowie den SmartHome-Server zum Laufen bringen.

Könnt ihr mir bitte Tipps dazu geben.

 

[aaron]

Grundsätzlich würde ich nicht einzelne SSDs nehmen sondern schauen, dass irgendwie zumindest ein Mirror Raid geht. Denn wenn man das nur auf einer Disk hat weil es eh nur ein Home System ist auf dem keine wichtige Daten liegen, ist das komplette neu einrichten doch ziemlich schmerzvoll im Vergleich zu dem was so kleine SSDs oder Festplatten kosten. Was sich in dem Computer ausgeht musst natürlich du wissen.

SmartHome-Server in einer VM laufen lassen?

Was braucht das? Nur Netzwerk? Dann ja, evtl funktioniert es auch in einem Container? Musst du irgendwelche USB Dongles durchreichen? Dann musst du das probieren, sollte meistens aber gehen wenn es eine VM ist.

Unifi- Controller in einem LXC Container laufen lassen?

Hab ich persönlich auch in einem Container am laufen und geht ganz gut.

Netzwerkspeicher (und ggf. automatische Backups der VMs) auf WD Red HDD?

Für Netzwerkspeicher darf ich wieder auf den ersten Absatz verweisen, wird nur schlimmer wenn auch wichtige Daten drauf liegen.
Als erster Platz für die Backups sollte es gehen, schau aber, dass diese auch wo anders hin kopiert werden, am besten natürlich außer Haus falls es brennt, eingebrochen wird etc etc.

 

[Freezer86]

Danke für die Ausführungen, Aaron.

Grundsätzlich würde ich nicht einzelne SSDs nehmen sondern schauen, dass irgendwie zumindest ein Mirror Raid geht. Denn wenn man das nur auf einer Disk hat weil es eh nur ein Home System ist auf dem keine wichtige Daten liegen, ist das komplette neu einrichten doch ziemlich schmerzvoll im Vergleich zu dem was so kleine SSDs oder Festplatten kosten. Was sich in dem Computer ausgeht musst natürlich du wissen.

Okay. Kann ich so umsetzten. Ich habe ja 2 SSDs.

Kann man die für einen RAID1-Verbund nehmen obwohl diese von unterschiedlichen Herstellern sind oder empfehlen sich zwei gleiche Fabrikate?

Den RAID-Verbund kann ich bei der Installation von PROXMOX einrichten, richtig? Dazu habe ich das hier gefunden.

Was braucht das? Nur Netzwerk? Dann ja, evtl funktioniert es auch in einem Container? Musst du irgendwelche USB Dongles durchreichen? Dann musst du das probieren, sollte meistens aber gehen wenn es eine VM ist.

Der SmartHome-Server benötigt nur Netzwerk. Hat der Container gegenüber einer VM einen Vorteil?

Für Netzwerkspeicher darf ich wieder auf den ersten Absatz verweisen, wird nur schlimmer wenn auch wichtige Daten drauf liegen.
Als erster Platz für die Backups sollte es gehen, schau aber, dass diese auch wo anders hin kopiert werden, am besten natürlich außer Haus falls es brennt, eingebrochen wird etc etc.

Dies läuft bisher auf einem Synology NAS, ohne RAID. Weiterhin gibt es auf dem Synology NAS eine Synchronisierung ausgewählter Daten mit OneDrive. So wollte ich das wieder umsetzten.

 

[Freezer86]

Grundsätzlich würde ich nicht einzelne SSDs nehmen sondern schauen, dass irgendwie zumindest ein Mirror Raid geht. Denn wenn man das nur auf einer Disk hat weil es eh nur ein Home System ist auf dem keine wichtige Daten liegen, ist das komplette neu einrichten doch ziemlich schmerzvoll im Vergleich zu dem was so kleine SSDs oder Festplatten kosten. Was sich in dem Computer ausgeht musst natürlich du wissen.

Den RAID-Verbund kann ich bei der Installation von PROXMOX einrichten, richtig? Dazu habe ich das hier gefunden.

Hallo. Ich habe den Server nun nochmal mit einem ZFS-RAID1-Verbund aus 2 baugleichen SSDs (Crucial MX500) aufgesetzt. Soweit so gut... Nun ist mir aufgefallen, dass die Speicherauslastung bei nur einer laufenden VM (mit 2 GB Speicher im Gastsystem) während der Linux-Installation auf 8 GB hochging. Ich habe nur 8 GB Speicher zur Verfügung. Im Leerlauf ohne laufende VMs liegt die Speicherauslastung nun bei etwa 2 GB. Ist das normal? Ist das wirklich eine gute Idee mit dem Mirror-RAID? Vorher hatte ich eine Speicherauslastung von etwa 512 MB im Leerlauf ohne laufende VMs.

 

[hackmann]

Hallo,
Freezer86

aaron hat recht.

Aber wenns mal brennen sollte "in deiner Hütte", dann sind auch alle Unterlagen weg. "In Papierform", wie Kontoauszüge, Versicherung usw.

Diese sind " ich glaube noch nach 10 Jahren " zu erhalten.

Ich finde es immer wieder gut zu Wissen, wenn es mal Brennen sollte, aber gibt es da nicht eine Versicherung, die den Schaden abdeckt?

Gute Frage bei einer Brandstiftung, wenn derjenige gefasst wird.
-----------------------------------------------------------------------------------------------

Ich würde die Installation deiner Umgebung anpassen, einen Proxmox hast du in 15 Minuten eingerichtet, bei einer Spiegelung des Systems müssen einige Schritte beachtet werden.

Restore eines Spiegels, dass kann böse Enden.

Und wenn deine VMs noch auf einem ZFS POOL = Storage = Directoy eingerichtet wurden, dann kann es passieren, dass deine VMs nicht mehr vorhanden sind, wenn das Dataset per luks abgesichert wurde.

Was ich bisher lernte, Teste dass ganze gut und nutze den von ZFS Snapshots was auch eine Sicherung gleich kommt.

Du kannst in jeden Snapshot eingreifen per "zfs clone"

Aber dass sprengt den Rahmen, wie gesagt, Teste dass alles.!

liebe grüsse

 

[aaron]

Aber wenns mal brennen sollte "in deiner Hütte", dann sind auch alle Unterlagen weg. "In Papierform", wie Kontoauszüge, Versicherung usw.

Diese sind " ich glaube noch nach 10 Jahren " zu erhalten.

Ich finde es immer wieder gut zu Wissen, wenn es mal Brennen sollte, aber gibt es da nicht eine Versicherung, die den Schaden abdeckt?

Durchaus richtig auch an so was zu denken. Auch da hilft ein Backup außer Haus. Wichtige Dokumente kann man einscannen, somit hat man zumindest noch eine Kopie anstatt gar nichts.

Die Erinnerungen in Form von Fotos und Videos die man ja durchaus auf seinem Server liegen hat bringt einem keine Versicherung wieder zurück...

Restore eines Spiegels, dass kann böse Enden.

Und wenn deine VMs noch auf einem ZFS POOL = Storage = Directoy eingerichtet wurden, dann kann es passieren, dass deine VMs nicht mehr vorhanden sind, wenn das Dataset per luks abgesichert wurde.

Ui da muss aber einiges schief gelaufen sein. :/

 

[Freezer86]

Ihr habt damit recht. Habe ich bisher auch so gehandhabt mit einem automatischen Backup in eine Cloud.

Aber was ist mit meiner eigentlichen Frage? Ist mein System für den ZFS-RAID1-Verbund leistungsfähig genug?

Ich habe den Server nun nochmal mit einem ZFS-RAID1-Verbund aus 2 baugleichen SSDs (Crucial MX500) aufgesetzt. Soweit so gut... Nun ist mir aufgefallen, dass die Speicherauslastung bei nur einer laufenden VM (mit 2 GB Speicher im Gastsystem) während der Linux-Installation auf 8 GB hochging. Ich habe nur 8 GB Speicher zur Verfügung. Im Leerlauf ohne laufende VMs liegt die Speicherauslastung nun bei etwa 2 GB. Ist das normal? Ist das wirklich eine gute Idee mit dem Mirror-RAID? Vorher hatte ich eine Speicherauslastung von etwa 512 MB im Leerlauf ohne laufende VMs.

 

[Ingo S]

ZFS benötigt durchaus etwas RAM. Man sagt grob etwa 1GB RAM pro TB Storage. Damit bist du mit 8GB RAM natürlich etwas knapp. Es kann daher vielleicht besser sein, ein anderes System zu nutzen um ein RAID1 daraus zu basteln.
An der Stelle bietet sich vll BTRFS an, mit dem man auch RAID verbünde erstellen kann. Oder du nutzt mdraid.
Mit solchen Software RAIDs habe ich aber bisher keine Erfahrungen gemacht.

Ein Container hat den Vorteil, das du effizienter mit deinem RAM umgehst. Einer VM weist du eine Menge x an RAM zu und dieser ist (Ballooning ausgenommen) für andere Anwendungen nicht verwendbar. Container nutzen nur den RAM den sie für ihre Prozesse brauchen. Allerdings läuft nicht jede Software in einem Container. Solltest du auf Windows geraffel angewiesen sein, sieht es damit schlecht aus, dann brauchst du eine VM.

 

[hackmann]

Ich betreibe seit einem Jahr eine ganz normale Workstation für einen Proxmox Server "P8H61-M LE R2.0", im einem Netzwerk für ca. 10 Usern.

Festplatten

ZPOOL_SCRIPTS_AS_ROOT=yes zpool status -c lsblk

Für die VMS

datenproxmox ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
wwn-0x50014ee2b4e15406 ONLINE 0 0 0 1.8T ATA WDC WD20EFRX-68E
wwn-0x50014ee25fa4d0a6 ONLINE 0 0 0 1.8T ATA WDC WD20EFRX-68E
------------------------------------------------------------

Für das SYSTEM
rpool ONLINE 0 0 0
ata-Samsung_SSD_840_EVO_250GB_S1DBNSADB27489A-part2 ONLINE 0 0 0 232.9G ATA Samsung SSD 840

------------------------------------------------------------

lsscsi -s

[1:0:0:0] disk ATA Samsung SSD 840 DB6Q /dev/sda 250GB
[4:0:0:0] disk ATA WDC WD20EFRX-68E 0A80 /dev/sdb 2.00TB
[5:0:0:0] disk ATA WDC WD20EFRX-68E 0A80 /dev/sdc 2.00TB
[6:0:0:0] disk Intenso External USB 3.0 0206 /dev/sdd 1.00TB

------------------------------------------------------------------------------------------------------------------

Auf dieser Workstation sind die Server

101 dns-dhcp
102 webserver
103 baculaserver
104 samba

Installiert.

--------------------------------------------------------------------------------------------------------------------

Da habe ich bisher keine Engpässe bemerken können.

Sorry, ich habe schon soviele Beiträge gelesen was die Hardware und ZFS angeht.

Probiere es einfach aus, denn hier einen Tipp von meiner Seite aus wäre falsch, da ich diese Hardware nicht kenne.

---------------------------------------------------------------------------------------------------------------------

Ich habe weiterhin nochmals 2 Workstationen mit Proxmox als BackupSever laufen, also ich muss wirklich sagen, dass das Proxmox echt genial ist.

------------------
Bevor du die richtige Hardware in betracht ziehst, lerne mal mit dem allem umzugehen. Gerade was so ein Backup angeht.

Ich spreche jetzt von meiner Erfahrung und sehr vielen langen Nächten, die mir das ZFS mit Proxmox bereitet hat
----------------

Meine persönliche Meinung ist, lerne ersteinmal das SYSTEM kennen und die Varinaten die es gibt, was das Backup angeht.

Sollte ein ZFS SNAPSHOT als Backup dienen, schaue Dir dazu bitte den zfs clone und zfs destroy an, da kann man sich schnell ein Eigentor schiessen.

Legt man die VM über ein ZFS VOL an, so ist dass ein Blockgerät, über ein Verzeichnis "Storage" müssen in der vm.cfg Änderungen gemacht werden, wenn man die die Rheinenfolge nicht einhält, sind deine VMS verschwunden.

Wenn dann deine Festplatten noch per LUKS verschlüsselt werden, würde ich dass testen testen und nochmal testen.

----------------------------------------------------------------------------------------------------
Ich könnte einen Roman darüber schreiben, aber ich will Dir keine Angst machen, setzte dein System einmal auf, probiere und Teste deine Umgebung.

Ich habe zur zeit 1 Proxmox als Bacula-Server am laufen und einen Proxmox als Seafile Server.
Also die Möglichkeiten sind wirklich unbegrenzt, aber beachte immer die nächste Version des Proxmox Servers,
gerade was das zfs import export angeht.

Wenn eine neue ZFS Version kommt, kann es zu Problemen kommen bei einem zfs import.

Sorry, ich gehe zu viel ins Detail.

liebe grüsse