Umstieg von Unraid zu Proxmox

[TheTwist]

Hallo zusammen,

aktuell habe ich einen Unraid Server mit folgender Ausstattung.

AMD Ryzen 9 5900X 12 Cores
64G ECC RAM

Disks:
4x14TB Seagate Exos als Array (also NAS-System)
2x4TB WD RED als Backup Array (für Borg Backups)
3x 1TB NVME als Cache bzw. VMs und Docker Storage

VMs: (dauerhaft läuft nur die Windows 10 VMs alles andere bei bedarf)
1 Windows Gaming VM (10 Cores, 16G RAM, 1TB vdisk mit Passthrought GPU RTX 3060 12GB
4 VMs Kubernetes Cluster 1 Master 3 Worker (jeweils 4 Cores, 4GB RAM und 64GB vdisk
2 Ubuntu Server VMs Build Server und Deployment Server für Gitlab CI Pipelines (2 Cores, 4GB RAM, 32GB vdisk)

Docker: Instgesammt laufen 22 Docker Container (siehe Bild)
Wichtig wären mir: Gitlab, Plex, Nextcloud, Bookstack, Heimdall, EcoDMS und Openeats



Ich weiß das Unraid und Proxmox total was verschiedenes ist. Ich würde gerne zu Proxmox wechseln da das Handling der VMs (Snapshots usw.) viel einfacher ist und Unraid dieses einfach nicht bietet.

Was ich mich immer so Frage ist wie kann ich den Storage bei Proxmox designen also welche Konfig wäre gut und richtig?
Aktuell habe ich noch keinen HBA Controller also kann ich derzeit kein Storage durchreichen.

Was ich noch dazu sagen muss mein derzeitiger Unraid Server ist auch gleich mein Hauptrechner. Also die Windows VM fährt per Autostart hoch, dann kann ich mit dem System als auch sonst so arbeiten.

Kann ich die 4x 14TB als ZFS Pool einrichten und den Storage anderen LXC oder VM zur Verfügung stellen? Wie sieht es mit der Datensicherung aus. Aktuell habe ich selbst erstellte BorgBackup Skripte die die Verzeichnisse auf dem Array auf zwei Backup Platten sichern oder zusätzlich auf meine Synology Diskstation 920+ mit auch 4x14TB Platten.

Unraid ist an sich klein schlechtes System. Stellenweise nur nicht Professionell und rubust genug. Mir geht es Hauptsächlich um die Frage wie ich mein Storage in Proxmox richtig einrichten kann. So das ich ein Ähnliches System habe wie unter Unraid nur mit mehr VMs oder LXC und anderem Storage.... Vielen Dank ...

 

[metalworkers]

Grundlegend ist Proxmox nicht dafür Gedacht das du da am Server gleichzeitig Arbeitest.

Sinnvoll ist eher das du dann trennst.

1 Gerät für den Proxmox Server mit Speicher und co.

und 1 Gerät als dein Gaming / Arbeits Rechner

 

[TheTwist]

Das funktioniert unter Unraid super ohne Probleme ....Das würde doch unter Proxmox funktionieren mit einer VM und durchgereichter GPU. Das sollte doch nicht das Problem sein oder ?

 

[Dunuin]

Kann ich die 4x 14TB als ZFS Pool einrichten und den Storage anderen LXC oder VM zur Verfügung stellen?

PVE ist kein NAS und bietet keinerlei NAS-Funktionalitäten. User, Gruppen, ACLs, Rechte, Netzwerk-Freigaben, Manipulation vom Dateisystem, SMB/NFS Server, Austausch von defekten Disks etc muss alles selbst per CLI erledigt werden ohne das PVE da was für dich tut.
Oder man lässt halt eine NAS VM laufen, die das dann alles erledigt. Dann wärst du wieder bei TrueNAS/UnRaid/OMV in einer VM.

PVE ist eine vollwertige, Debian-basierte Linux-Distribution. Du kannst und darfst also alles machen, was du auch mit einem normalen Debian machen könntest. Für alles was über das webUI hinaus geht (und das hat halt echt nur minimalste Basic-Featues für alles was nicht das Verwalten von VMs/LXCs oder den Cluster betrifft) brauchst du dann entsprechende Erfahrung in der Administration von Linux-Servern.

Docker-Support hat PVE auch nicht. Die würde man wieder in VMs laufen lassen, wenn man nicht manuell Docker auf dem PVE Host installieren will.

Wie sieht es mit der Datensicherung aus.

Da schafft man sich am besten einen weiteren Server an auf dem man PBS Bare Metal laufen lässt mit lokalen SSDs als Storage für die Backups.
PBS ist wieder ein vollwertiges Linux, kann man sich also auch zusätzlich noch Borg oder sonstiges draufinstallieren wenn man Dinge wie Dateisystembackups von Windows Rechnern will, wo PBS keinen Windows Backup Agent/Client für bietet.

 

[CoolTux]

Du hast doch so einen schönen K8S Cluster, ziehe doch Deine Docker Anwendungen in den Cluster um. Dann brauchst schon mal kein Docker mehr.

 

[news]

"HBA Controller" unter Proxmox? Stand das irgendwo als Anforderung?

Ja mit HDDs kann man arbeiten: es gibt als ZFS Pool für die 4x 14TB verschiedene Aufteilungen:
a) ZFS Mirror0 2x 14TB - Stripe - ZFS Mirror1 2x 14TB
b) ZFS RaidZ1 4x 14TB
c) ZFS RaidZ2 4x 14TB

Allen Pools spediere ich immer noch Flashspeicher NVMe oder SSD (Crucial MX500), der als ZFS special device (must have!), ZFS ZIL and SLOG und ZFS cache verwendet werden kann.

Eine LXC, VM Sicherung läuft dann auf einen oder weitere Proxmox BS hinaus.
Ein Proxmox BS könnte dabei auch extern stehen.

Mit ZFS send und receive lassen sich die Änderungen eines System sicher replizieren.
Siehe sysops tv der sysops gmbh:
* https://aow.de/books/sysops-gmbh
* https://github.com/bashclub

 

[floh8]

Wenn es dir um zfs geht, dann bietet dies unraid ja auch wie ich gelesen habe. Docker ist auch nicht integriert. Das müßtest du in lxc aufsetzen, aber das ist für dich ja kein PRoblem.

 

[news]

Es geht bei vielen eher um die Preisänderungen bei unraid.

 

[TheTwist]

"HBA Controller" unter Proxmox? Stand das irgendwo als Anforderung?

Ja mit HDDs kann man arbeiten: es gibt als ZFS Pool für die 4x 14TB verschiedene Aufteilungen:
a) ZFS Mirror0 2x 14TB - Stripe - ZFS Mirror1 2x 14TB
b) ZFS RaidZ1 4x 14TB
c) ZFS RaidZ2 4x 14TB

Allen Pools spediere ich immer noch Flashspeicher NVMe oder SSD (Crucial MX500), der als ZFS special device (must have!), ZFS ZIL and SLOG und ZFS cache verwendet werden kann.

Eine LXC, VM Sicherung läuft dann auf einen oder weitere Proxmox BS hinaus.
Ein Proxmox BS könnte dabei auch extern stehen.

Mit ZFS send und receive lassen sich die Änderungen eines System sicher replizieren.
Siehe sysops tv der sysops gmbh:
* https://aow.de/books/sysops-gmbh
* https://github.com/bashclub

Vielen Dank für deine Ideen bei der HDD Aufteilung. Ich werde mich mal mit dem Thema ZFS genaue beschäftigen. Meine Idee war es wie es ja auch andere machen einen HBA Controller für die 4x14TB Disks sowie 2x SSD zum Durchreichen an einen VM z.b. TrueNAS dann hätte ich die NAS funktionen wieder. Es kann dann auch ein Virtuelles Unraid sein ohne Docker und VM nur als NAS.

Die Docker Container würde ich als LXC Container entweder selber also nicht als Docker installieren bessere Konfiguration uns bessere Backup möglichkeit. Oder aber so wie ich es jetzt habe einen Kubernets Cluster aufsetzten als VMs unter Proxmox somit bessere Skalierbarkeit und bessere Backups...

Ggf. muss doch noch ein zweiter Server her.

 

[TheTwist]

Es geht bei vielen eher um die Preisänderungen bei unraid.

Es geht mir nicht um die Preisänderungen da ich die Pro Version habe und eine alt Lizenz betrifft es mich eh nicht meine ist dauerhaft unbegrenzt gültig. Nach derzeitigem Stand ...

Viel mehr geht es mir um die VM Unterstützung z.B. was Backups betrifft oder auch die Unterstützung von Ansible mit Proxmox bietet einfach mehr Möglichkeiten. Unraid soll zwar mit 6.13 eine Snapshot Funktion für VMs bekommen und mit Unraid 7.0 soll es auch eine vollständige API geben was aber noch dauert.

 

[news]

Ok @TheTwist ich hatte in diversen Foren schon den Weg von unraid zu proxmox verfolgt.

 

[TheTwist]

Wenn es dir um zfs geht, dann bietet dies unraid ja auch wie ich gelesen habe. Docker ist auch nicht integriert. Das müßtest du in lxc aufsetzen, aber das ist für dich ja kein PRoblem.

Es geht mit wie im anderen Post geschrieben habe nicht um eine bestimmte Funktion. Ja ZFS wird seit Unraid 6.12 unterstützt und soll mit Unraid 6.13 vollständig auch in der GUI integriert sein. Zudem bekommt Unraid auch mit 6.13 eine Snapshot Funktion für VMs.

Ich finde beide Systeme haben ihre stärken und klar Proxmox ist ein Hyperviser was bei VM seine stärken hat und Unraid ist ein NAS System in erster Linie. Der vortteil ist der Name ansich Unraid also im Prinzip ein JBOD mit Parity was den Vorteil hat das bei einem defekt sofort noch auf die anderen Daten zugegriffen werden kann.

Ich glaube ein optimale Lösung für mich wäre es die Vorteile beider System zu nutzen. Die Frage ist nun alles in einem System also Unraid Virtuell oder doch zwei Systeme.

Eine Frage der Stabilität, Datensicherheit, Kosten usw.