Umstieg von Unraid zu Proxmox - Fragen über Fragen?

[TheTwist]

Hallo zusammen,

auf meinem Server läuft seid ca. 2 Jahren Unraid zu letzt in der Version 6.10.5. Ich würde nun gerne auf Proxmox aus zweierlei Gründen wechsel.

1. Wesendlich bessere Handhabung von VM (Snapshot, Backup, Passthrought usw.)
2. Unterstüzung einer Umfangreichen API und damit Automatisierung mit Ansible.

Mein Server hat folgenden Daten (ja kein Enterpreis sondern Custom):

CPU: AMD 3900X
Mainboard: Asrock x470 Taichi Ultimate
RAM: 64 GB Kingston ECC Speicher
2x Seagate NVME Firecuda 510 1TB
2x WD RED SSD 1TB
2x WD RED HDD 4TB
4x Seagate Exos X16 14TB

Das sind die Daten im Groben.

Ja ich weiß das Proxmox nur ein Hypervisor ist und nicht wie Unraid ein "NAS" Betriebsystem.
Der Zeit laufen auf meinen Unraid Server ca. 30 Docker Container und ca. 9 VMs wobei nur eine ständig läuft (Gaming VM).
Gerade sichere ich alle Bewegungsdaten / Datenbanken meiner Dockercontainer.

Ich würde die VMs neu unter Proxmox einrichten. Wie soll ich das mit meinen Docker Container machen?
Was wäre die beste Lösung alle als LXC neu aufsetzten oder aber eine Docker Umgebung bereitstellen?
Wenn ja wie als LXC oder VM habe beides gelesen?

Meine Docker Container benötigen ca. 20GB RAM da alleine Gitlab schon 11GB verbraucht die CPU Leistung kann ich derzeit nicht festmachen da die Docker Container unter Unraid alle CPU Resourcen verwenden.

Kann ich die 14TB Festplatten als RAID zur Verfügung stellen auf dem z.B eine TrueNas Scale VM zugreifen kann?
Oder muss ich Controller der VM durchreichen?
Wie würde Ihr das System einrichten?
- Storage Aufteilung, Docker oder LXC - Proxmox Backup Server als VM?

Als Backup System steht noch eine Synology 920+ mit 8GB RAM und 42TB Speicher zur Verfügung.

Vielen Dank und Viele Grüße
Thorsten

 

[Neobin]

Der Zeit laufen auf meinen Unraid Server ca. 30 Docker Container

Wie soll ich das mit meinen Docker Container machen?
Was wäre die beste Lösung alle als LXC neu aufsetzten oder aber eine Docker Umgebung bereitstellen?

Musst du selbst wissen, ob du 30 LXCs selbst aufsetzen und pflegen willst (vorausgesetzt die verwendeten Dienste/Projekte sind überhaupt ohne Docker so ohne Weiteres realisierbar/nachbaubar) oder lieber auf andere (fremde) Leute vertraust und die es machen lässt.
Aber ganz ehrlich: Würde in dem Fall einfach bei Docker bleiben.

Wenn ja wie als LXC oder VM habe beides gelesen?

VM.

Kann ich die 14TB Festplatten als RAID zur Verfügung stellen auf dem z.B eine TrueNas Scale VM zugreifen kann?
Oder muss ich Controller der VM durchreichen?

Weder würde ich mit Multi-TB-vDisks arbeiten, noch mit Disk-Passthrough.
Einzige vernünftige und sichere Methode ist m.M.n. einen gescheiten HBA per PCIe-Passthrough durchzureichen. (Muss natürlich auch vom PCIe-Slot, dessen Anbindung und ggf. Chipsatz her passen; zwecks Passthrough.)

2x Seagate NVME Firecuda 510 1TB
2x WD RED SSD 1TB
2x WD RED HDD 4TB

Storage Aufteilung

Alles im Raid1.
Allerdings reden wir da sowohl bei PVE als auch TrueNAS von ZFS (BTRFS ist noch experimentell in PVE) und da sind Con-/Prosumer-SSDs nicht wirklich toll und auch nicht empfehlenswert, aber: YMMV...
Außerdem sollte man in dem Zusammenhang auch den RAM nicht außer Acht lassen:

RAM: 64 GB Kingston ECC Speicher

Meine Docker Container benötigen ca. 20GB RAM

ca. 9 VMs wobei nur eine ständig läuft (Gaming VM).

Sind also:

• Mindestens 2 GB, besser 4 GB für den PVE-Host selbst.
• Mindestens 24 GB für die Docker-VM.
• Mindestens 16 GB (?) für die Gaming-VM.
• Restliche VMs, wenn sie mal laufen.
• ZFS's ARC in der TrueNAS-VM. Mehr = Besser. (Besser Core nehmen, da der ARC unter Linux (Scale) aus Sicherheitsgründen auf maximal 50% des RAMs beschränkt ist.)
• ZFS's ARC auf dem PVE-Host. Zu wenig = Nicht toll. Standardmäßig bis maximal 50% des Hosts.

Mit PCIe-Passthrough muss immer der komplette der VM zugewiesenen RAM reserviert werden; heißt:

• Gaming-VM mit GPU-Passthrough und z.B. 16 GB zugeteilt = Mindestens 16 GB auf dem PVE-Host für nichts anderes verwendbar; unabhängig vom Verbrauch innerhalb der VM.
• TrueNAS-VM mit HBA-Passthrough und z.B. 32 GB zugeteilt = Mindestens weitere 32 GB auf dem PVE-Host für nichts anderes verwendbar; unabhängig vom Verbrauch innerhalb der VM.

Also besser direkt schon mal auf 128 GB aufrüsten.

Proxmox Backup Server als VM?

Bare-Metal auf dem PVE-Host.
Oder halt in einer VM, wenn der Backup-Storage sowieso per Network-Share angebunden werden soll/muss. Solltest dann nur die PBS-VM auch einzeln separat wohin sichern, sonst macht es nicht viel Sinn.


Just 2 cents from a random guy on the internet.
Ganz klar, besser immer mehrere Meinungen einholen/abwarten.

 

[Dunuin]

Als Backup System steht noch eine Synology 920+ mit 8GB RAM und 42TB Speicher zur Verfügung.

Bare-Metal auf dem PVE-Host.
Oder halt in einer VM, wenn der Backup-Storage sowieso per Network-Share angebunden werden soll/muss. Solltest dann nur die PBS-VM auch einzeln separat wohin sichern, sonst macht es nicht viel Sinn.

Sofern dein Synology auch VMs laufenlassen kann, würde ich den PBS als VM dort laufen lassen. Nicht vergessen, dass da auch irgendwann PVE Host Backups kommen sollen und es macht natürlich keinen Sinn seinen PVE Host auf einer PBS VM zu sichern, die dann nicht mehr funktioniert, wenn dir dein PVE kaputt geht.