Neulingseinstieg nach Entscheidung auf Proxmox von OMV als Server-Unterbau

[Wolfsrabe]

Hallo in die Runde,

ich habe durch diverse Foren- und Youtube-Empfehlungen dahingehend Hinweise erhalten, daß für mein Servervorhaben und meine Verwendungswünsche Proxmox ein besserer und leichter umzusetzender (!) Unterbau wäre als ein reines OMV, wobei OMV weiterhin verwendet werden könnte, aber eben aufgesetzt als VM in Proxmox.

Spoiler: Hier meine grundsätzlichen Verwendungswünsche

• NAS (mit OMV)
  • ziemlich große Fotosammlung
  • mittelgroße E-Book-Sammlung
  • Vorhalten/Lagern von Videodaten von Videobearbeitungsprojekten (größere Datenmengen - bearbeitet wird natürlich lokal auf einem Rechner)
  • Datenquelle für mehrere Media-Raspberries mit LibreELEC (alte Filme, Serien, Musik, die als Dateien vorhanden sind)
  • für persönliche Dateien der Familienangehörigen - aber das gehört evtl. eher zum nächsten Punkt "Nextcloud"
• Nextcloud-Server (über Docker?)
  • Synchronisation der Dokumente ("Eigene Dateien" in Windows bzw "Home" in Linux) der Rechner und Laptops
  • Nextcloud-Erweiterungen wie Kalenderfunktion, gemeinsame Einkaufs-/Wunschlisten für die Familie, usw
  • weitere Funktionen, die Nextclouderweiterungen so bieten, zum Experimentieren bzw vollwertig nutzen, wenn sinnvoll
• lokaler Webserver (auch über Docker?) für kleinere Webentwicklungsprojekte (Nginx, PHP, Mariadb, ...)
• evtl. klassische VM-Funktionalität zum Aufsetzen von Testmaschinen

Spoiler: Die Hardware ist bereits vorhanden und besteht aus:

• i3-9100 CPU
• Fujitsu D3644B Mainboard
• 2x Crucial DIMM 16GB (=32GB), DDR4-2666 ECC
• 1x NVMe-SSD 500GB Samsung 970 Evo M.2 2280
• 6x WD40EFRX Western Digital 4 TB - CMR

Spoiler: Punkte, die mir persönlich wichtig sind, auf die ich nicht verzichten möchte:

• Verwendung von ZFS mit Raid-Z2 (mit den 6 HDDs)
• durchgehende Verschlüsselung - sowohl des Proxmox-Unterbaus (außer Bootpartition) als auch aller Container, VMs und Daten
• Zugriff von außerhalb des LANs auf die eigene Nextcloud, aber nur wenn gut abgesichert (evtl am besten über VPN?)

Eine Backupstrategie gibt es schon. Es gibt ein altes, schwaches, aber ausreichendes Synology-NAS, welches regelmäßig Backups von wichtigen Daten erhalten soll. Von diesem sollen außerdem in regelmäßigen Abständen Backup-Kopien auf USB-Festplatten gemacht werden, die dann räumlich getrennt gelagert werden.

Ich bin mir noch nicht ganz sicher, ob ich das Prinzip in Proxmox korrekt verstanden habe und damit die vorhandene Zielsetzung korrekt umsetzen werde. In meiner Planung sieht es aber derzeit so aus:



Proxmox an sich und OVM, Nextcloudserver, und Webserver würden über VMs und/oder Container auf der SSD (mit Ext4?) installiert und eingerichtet, während die HDDs im Raid-Z2-Verbund mit ZFS als Datenspeicher für die Inhalte (also der bereitzustellenden Daten) bereitgestellt werden. Dabei müsste ich ein Minimal-Debian mit LUKS aufsetzen und Proxmox auf Debian installieren, da der Proxmox-Installer derzeit keine Verschlüsselung anbietet. Die HDDs im RAID-Verbund könnte ich anschließend aber von Proxmox aus verschlüsselt einrichten.

Bin ich soweit erstmal auf dem richtigen Weg, oder gibt es etwas, wo ich total auf dem Holzweg bin?

Vielen Dank schon mal für eure Denkanstöße!

 

[fireon]

Deine Strategie sieht schon ganz gut aus, man merkt sofort du hast dir richtig Gedanken gemacht - Respekt. Trotzdem solltest du nochmal über die Wahl der Hardware und deren Konfiguration nachdenken. Ich würde der Einfachheit halber alles auf ZFS machen. Proxmox selbst darf glaub ich unverschlüsselt sein sofern dort keine sensiblen Daten liegen.

Hier ein paar Fragen an dich:
Aus was für einen Grund möchtest du ZFS im RaidZ2 verwenden? Das würde dein System exterm langsam machen und das i/O wait würde extrem ansteigen. Was spräche gegen die Empfehlung von Proxmox und anderen Herstellern ZFS im Raid10 zu verwenden?
Aus meiner Erfahrung würde ich mit nur 32GB nicht unbedingt tun wollen. Ram ist günstig und 64GB ist sicher ok. ZFS mag gerne viel RAM, dann tut es für dich viel schneller
Die CPU würd ich dann auf nen Xenon oder noch besser ne AMD Server CPU setzen. Wahrscheinlich würde der i3 (kann ja auch ECC) genügen, hab ich hier auch einen Server damit am laufen, aber kann dir viel. jemand anders mehr darüber sagen. Immerhin verschlüsselst du ja auch.

Ich habe jahrelang mit Ubuntu/Gentoo und Co in der VMwelt gearbeitet, tue ich jetzt noch. Nur zum Unterschied hab ich es mir nun leichter gemacht und die meisten VM's auf Proxmox sind UCS Univentionserver auf gesetzt. Viel einfacher geht's wohl nicht. Da darfst du dich natürlich selbst davon überzeugen. Dazu gibt es auch ein paar Beiträge in meinem Wiki. Auf UCS kannste Nextcloud und Co ganz einfach installieren. Es funzt halt einfach und man kann sich um die wichtigen Dinge im Leben kümmern.

Hoffe dir hier ein wenig geholfen zu haben.

glg
Mario

 

[Wolfsrabe]

Zunächst erstmal vielen Dank @fireon !

Zu deinen Hinweisen und Fragen:

Zugegebenermaßen entstammte die Idee des Raid-Z2 ursprünglich aus einer Empfehlung von der Nas4Free- (heute XigmaNAS)-Community. Irgendwie erschien es mir als sichere Sache, weswegen ich es nicht mehr hinterfragt hatte, auch als ich mir dann doch lieber ein Debian-basiertes System aussuchen wollte. Wenn ich mich nicht verrechnet habe, hätte ich mit 6x4TB unter Raid Z2 eine theoretisch nutzbare Größe von 16 TB, welche theoretisch 12 GB bei einem RAID10 gegenüberstehen. Allerdings soll RAID10 flinker zu werke gehen. Ich werd das am besten in der Praxis testen.

Über 64 GB RAM werde ich nachdenken. Die Preise scheinen, wie ja schon angekündigt wurde, langsam wieder anzusteigen, ich sollte wohl nicht zu lange warten....
Die Hardware - wie im ersten Post aufgelistet - ist übrigens schon bei mir und zusammengebaut. Ich war mir eigentlich ziemlich sicher, daß sie soweit in Ordnung ist. Und ja, tatsächlich hätte ich am liebsten eine AMD-Variante genommen (hatte sogar einen EpycEmbedded 3000 im Sinn, aber da hätte Board+CPU nocheinmal doppelt soviel gekostet.... vielleicht rüste ich in ein paar Jahren auf.

Von UCS Univentionserver hatte ich bis jetzt nichts gehört. Ein bisschen verwirrend ist das jetzt aber schon:
Ich wollte zuerst ein natives OpenMediaVault-System, hab mich dann entschieden, Proxmox als eigentlichen Unterbau zu verwenden, und jetzt schlägst du mir auch noch noch UCS (als Zwischenlayer?) vor...! Ich weiß gar nicht, wo ich anfangen soll, mich einzuarbeiten.

Ich arbeite leider viel, weswegen mein Server-Projekt praktisch immer nur am Wochenende weitergeführt werden kann. Aber ich will unbedingt dranbleiben. Ich freue mich auf weiteren regen Gedankenaustausch! Danke nochmal!

 

[fireon]

@Wolfsrabe du gefällst mir, bist neugierig und motiviert, so ist es gut. Da auch ich viel arbeite versuche ich dir einige Dinge kurz, knapp, knackig mit zugeben. Das Wissen sammelt sich nun über 15 Jahre an, da darf man dann schon einiges auch weiter geben.

RaidZ2 ist natürlich sehr sehr sicher. Dafür wird es sich (zig Beiträge hier im Forum) anfühlen wie nur eine Festplatte. Und Ja du das dann 16TB minus 20% alles was darüber befüllt wird, macht den Zpool langsamer bis nicht mehr brauchbar. Das letztere betrifft dann ca. 91-93% dann ists meist mit i/o Errors vorbei. Heißt bei 80% Fülle sollte ZFS erweitert werden.

Bei Raid10 bleibt dir die hälfte übrig. Wie immer sind die 20% gültig. Bei SSD's darf man dann schon bis zu 90% befüllen. Und ja in deinem Fall ist das Raid10 gegen über dem RaidZ2 um 3x schneller. Da 3 Mirrors. Ich fahre ausschließlich Raid10, nur in Ausnahmefällen gibt es ab und zu ein RaidZ10. (Raid50).

Möchtest du OpenMediafault verwenden, ich vermute mal du möchtest dann auch HDD's durchschleusen, wenn ja bitte vergiss das. Willst du das tun ist Proxmox die falsche Wahl. OMV ist dafür gebaut worden nativ zu laufen, das zu visualisieren macht erstens keinen Sinn und ist nur mehr Arbeit. Ich hatte das System auch mal am laufen, auch verwendete ich Freenas eine lange Zeit.

Im Endeffekt wollen wir doch alle das selbe: "Es soll funktionieren und es soll einfach sein!" Richtig? Daher ist die Kombination Proxmox mit UCS für mich optimal. Es erfüllt Effizienz (ich glaube mit 1% Leistungsverlust kommst du klar), ist einfach zu installieren und zu bedienen, das Handbuch ist mega und es läuft und läuft und läuft und ...

Selbstverständlich kannst du Freigaben und vieles mehr auch direkt auf Proxmox machen. Wir fahren hier viele Proxmoxserver als NAS/Storagelösungen mit NFS4/Samba (Webmin als Interface). Mittlerweile um die 70 PHY Server+. Fakt war für mich einfach das wenn ich alles in VM's und CT's betreibe die Maschine selbst völlig egal ist, tja und das war dann eben mein Ziel.

Aber Teste doch! Und entscheide dann selbst ob du dir das Leben unnötig schwer machen möchtest, oder ob es einfach nur funktionieren sollte.

Have Fun!

 

[LnxBil]

Und ja in deinem Fall ist das Raid10 gegen über dem RaidZ2 um 3x schneller.

Muss hier ganz kurz reinkrätschen: Das kommt darauf an.
Wenn man hier mal kurz das FreeBSD Mastery: ZFS (Kann ich sehr empfehlen) zu Rate zieht wird dort folgendes beschrieben für 6 Disks:

- 3x2 disk Mirror - IOPS von allen Platten beim Lesen, IOPS von 3 Platten beim Schreiben, Lesen MB/s von 6 Disks, Schreiben von 3 Disks
- 1x6 disk raidz2 - IOPS von EINER Platte beim Lesen und Schreiben, MB/s von 4 Platten beim Lesen und Schreiben

raidz2 ist also nur beim Schreiben schneller (Durchsatz in MB/s), sonst immer langsamer. Vor Allem die IOPS sind abgrundtief langsam und zwar um Faktor 6 (!), benutzen will man sowas höchstens für ein Backupserver, bei dem Geschwindigkeit egal ist oder man die Geschwindigkeit über die Anzahl der vdevs wieder reinholt.

 

[schannall]

Zum i3: hier sehe ich keine Probleme. Für das bisschen sollte der locker ausreichen, Verschlüsselung stellt auch kein Problem dar. Allerdings ist die Samsung 970 Evo IIRC keine Server-SSD und könnte relativ schnell ihre Zyklen erreichen. Ich würde für die PVE Installation eher eine alte 2.5" Platte vorschlagen. Die CMs/CTs können aber dann auf die 970er.

LG Jonas

 

[Wolfsrabe]

Auf der 970 soll ja nur Proxmox selbst und die VMs / Container. Die Daten selbst liegen auf dem RAID. Allerdings habe ich mir noch kein Cache-Konzept überlegt, da habe ich auch wenig Erfahrung. Womöglich ist einfach viel RAM das beste.

RAID-Z2 bröckelt ja langsam in meinem Konzept. Dass die Leserate bzgl IOPS nicht sonderlich hoch ist, hätte mir eigentlich klar sein müssen. Ich muß das nochmal durchdenken - oder einfach mal durchprobieren.

Danke schon mal an alle. Das ist echt interessant hier!

 

[LnxBil]

Auf der 970 soll ja nur Proxmox selbst und die VMs / Container.

Gerade PVE schreibt sehr viel, also den Wearout im Auge behalten.