Erfahrung mit TrueNAS & OPNsense als VM in PVE?

[bobx]

Hallo,

ich habe vor, in meinem PVE eine VM mit OPNsense und eine VM mit TrueNAS aufzubauen. Über die OPNsense möchte ich den Netzwerktraffik der Workstations und weiterer VMs zum Router leiten und TrueNAS soll der zentrale Datenspeicher werden. Wie sind da eure Erfahrungen? Ist das empfehlenswert oder problematisch?

Es ist eher kleines Umfeld als Big Business. Nur eine Handvoll User, überschaubarer Traffik, 2-3 TB an Daten auf dem NAS. Trotzdem muss es natürlich stabil und gut funktionieren.

Kann man OPNsense und TrueNAS virtuelle NICs geben oder sollte man besser die echten NICs per PassThrough durchreichen?

Die 2 NAS-Disks würde ich per PassThrough als Daten-Disks für den Pool an die TrueNAS-VM direkt durchreichen. Ebenso eine USB-Disk als manuelle Backup-Disk.
Die TrueNAS VM würde ich mit 8-16GB RAM, 2 Cores und einer virtuellen Disk für das OS ausstatten.

Wie ist das mit dem Herunterfahren des PVEs? Was passiert dabei mit den beiden VMs? Der QEMU-Agent funktioniert bei FreeBSD wohl nicht, oder? Ist das trotzdem für die VMs "gesund"?

Gibt es dabei noch etwas zu bedenken oder Stolperfallen?
Habt Ihr Tipps, Ideen, Anregungen?
Grüße
bobx

 

[Belegnor]

Hallo bobx

Grundsätzlich sollten virtuellen NICs kein Problem sein, genauso wenig wie die Installation von OPNsense und TrueNAS. Wenn du bedenken wegen FreeBSD hast, dann kannst du es mal TrueNAS Scale versuchen (basiert auf Debian, wenn ich nicht falsch liege). Allerdings ist diese Version noch im RC Status.

Die TrueNAS VM mit einer virtuellen Disk für das OS auszustatten finde ich eine gute Idee. In Bezug auf RAM und CPU sollten 8 GB und die 2 Cores problemlos reichen. Meine TrueNAS VM hat ebenfalls 8GB, 4 Cores und 15TB (virtuelle Disks) und ich konnte keine Performace Probleme feststellen.

Ich gehe davon aus, dass die VMs nicht auf den NAS-Disks installiert werden, sondern auf der PVE Disk. Zu bedenken gibt es folgendes:

- Wenn der PVE heruntergefahren wird, dann sind die VMs darauf und deren Daten unerreichbar.
- Wenn die Daten wichtig sind, sollte man sich Gedanken über Backups oder Redundanz (Cluster) machen
- Alternativ zum Durchreichen der NAS-Disks könntest du die Datendisks virtualisieren. Dadurch wird deine Umgebung flexibler

Ich hoffe, das hilft

Gruss
Belegnor

 

[lenny30]

Bei mir läuft die OPN seit etwa 1,5J virtuell auf Proxmox, alles in Ordnung. Performance Unterschiede hab ich jetzt nicht gemessen, liegt aber auch viel an den Addons, die du nutzen willst.

 

[bobx]

Bei mir läuft die OPN seit etwa 1,5J virtuell auf Proxmox, alles in Ordnung. Performance Unterschiede hab ich jetzt nicht gemessen, liegt aber auch viel an den Addons, die du nutzen willst.

Das klingt gut! Hast Du denn die virtuellen NICs verwendet? AddOns habe ich bisher nicht eingeplant. Ich denke (hoffe), dass ich da nichts zusätzliches brauche.

 

[bobx]

(...) dann kannst du es mal TrueNAS Scale versuchen (basiert auf Debian, wenn ich nicht falsch liege). Allerdings ist diese Version noch im RC Status.

Ja, stimmt. Das ist Debain "Scale" hatte ich kurz gesehen, aber gedacht, das ist bei mir "Mit Kanonen auf Läuse schießen". Was mir noch nicht so ganz klar ist, ob "Scale" denn so wie "Core" ist und nur erweitert um die Skalierbarkeit. Oder geht das doch nochmal andere Wege und wird in der Handhabung komplexer?

(...) Meine TrueNAS VM hat ebenfalls 8GB, 4 Cores und 15TB (virtuelle Disks) und ich konnte keine Performace Probleme feststellen.

Ich gehe davon aus, dass die VMs nicht auf den NAS-Disks installiert werden, sondern auf der PVE Disk.

Das klingt sehr gut
Oh nein, die VMs kommen natürlich nicht auf die NAS-Disks! Die haben eine separate Disk

(...)
- Wenn der PVE heruntergefahren wird, dann sind die VMs darauf und deren Daten unerreichbar.
- Wenn die Daten wichtig sind, sollte man sich Gedanken über Backups oder Redundanz (Cluster) machen
- Alternativ zum Durchreichen der NAS-Disks könntest du die Datendisks virtualisieren. Dadurch wird deine Umgebung flexibler

Ja, ist klar: der PVE geht morgens als erstes an und abends als letztes aus. Wenn der nicht an ist, geht nix mehr.

Genau: Backup! Gaaanaz wichtig. Dafür wollte ich die externe USB-Disk. Ein Cluster wäre hier vor Ort "zu fett".

Die Daten-Disks virtualisieren? echt? Okay ... Ich dachte, dass TrueNAS die Hardware so dicht wie möglich haben mag. Wenn das geht, wäre ja toll. Da ist man dann natürlich flexibler. Klar. Dann würde man für jede physische Disk ein separates Verzeichnis in PVE einrichten und dort jeweils eine virtuelle Disk platzieren, die dann die VM mit TrueNAS bekommt. Und TrueNAS geht dann wie gehabt ran und baut den redundanten zfs-Pool. Richtig?

 

[lenny30]

ich persönlich finde es zu "risiko behaftet" NAS und Router auf dem gleichen Blech laufen zu lassen.
Ist das Blech kaputt, geht einfach nichts mehr.

Ansonsten ja, ganz normale virtuelle NICs, wobei die WAN Bridge auch ausschließlich WAN macht und an der Fritzbox hängt

 

[Belegnor]

Ja, stimmt. Das ist Debain "Scale" hatte ich kurz gesehen, aber gedacht, das ist bei mir "Mit Kanonen auf Läuse schießen". Was mir noch nicht so ganz klar ist, ob "Scale" denn so wie "Core" ist und nur erweitert um die Skalierbarkeit. Oder geht das doch nochmal andere Wege und wird in der Handhabung komplexer?

Soweit ich es verstehe, sollte Scale die gleichen Funktionen wie Core haben. Auch die Handhabung/Bedienung sollte gleich bleiben. Scale hat jedoch einige zusätzliche Funktionen u. a. die Skalierbarkeit. Verstehe mich bitte nicht falsch. Es ist nicht meine Absicht, dir Scale schmackhaft zu machen, denn ich habe Scale bis jetzt noch nicht getestet. Aber ich werde vermutlich von Core auf Scale wechseln, sobald der GA Release rauskommt ...

Ja, ist klar: der PVE geht morgens als erstes an und abends als letztes aus. Wenn der nicht an ist, geht nix mehr.

Genau: Backup! Gaaanaz wichtig. Dafür wollte ich die externe USB-Disk. Ein Cluster wäre hier vor Ort "zu fett".

Ich habe auch mit nur einem PVE-Host angefangen. Spätestens wenn man Wartungen (z. B. Updates) am Host durchführen muss, merkt man, wie "cool" es wäre, einen Cluster zu haben. Funktionen wie Replikation und Live-Migration können Wartungsarbeiten um einiges angenehmer machen ...

Und wenn ein Node weg ist (und man bei einem Defekt keine geeignete Ersatz-Hardware zur Hand hat), dann kann man die VMs immer noch auf den zweiten Node starten, sofern man sie vorher repliziert hat ... zumindest theoretisch (ich musste es bis jetzt nicht ausprobieren ... ). Anders gesagt, auch in einem kleinen (Heim-) Netz kann ein Cluster ein Segen sein ...

Die Daten-Disks virtualisieren? echt? Okay ... Ich dachte, dass TrueNAS die Hardware so dicht wie möglich haben mag.

Das Durchreichen der Disks hat sicher gewisse Vorteile, und es ist immer eine gute Option, wenn man den ganzen Diskplatz einer VM zur Verfügung stellen will. Es kommt einfach darauf an, was die eigene Anforderungen sind und wie die PVE-Umgebung geplant bzw. aufgebaut wurde.

In meinem Fall war es klar, dass ich mittelfristig einen Cluster in meinem Netz bauen wollte, um die Möglichkeit zu haben, VMs unter den Nodes zu verschieben. Das Problem ist, dass physische Disks nicht verschoben werden können ...

Zudem wollte ich die VMs nicht auf der PVE Boot Disk haben. Da ich nur den Boot-Pool und den Data-Pool zur Verfügung hatte, war das Durchreichen der Disks keine Option mehr. Aber bis jetzt habe ich meine Entscheidung auch nicht bereut ...

Wenn das geht, wäre ja toll. Da ist man dann natürlich flexibler.

Bei einem Cluster (z. B. Live-Migration) ist es definitiv der Fall. Allerdings gibt es auch einige Stolperfallen. Um ein Beispiel zu nennen, ist es viel besser viele kleinere virtuelle Disks in einem virtuellen Pool/RAID zusammen zu koppeln, als eine einzige grosse Disk zu verwenden. Ich konnte feststellen, dass PVE bei Live-Migrationen so viel Platz auf dem Disk-Pool reserviert, wie gross die zu migrierende virtuelle Disk ist. Dies kann dazu führen, dass die Migration nicht durchgeführt werden kann, wenn nicht genügend Platz auf dem Pool vorhanden ist.

Klar. Dann würde man für jede physische Disk ein separates Verzeichnis in PVE einrichten und dort jeweils eine virtuelle Disk platzieren, die dann die VM mit TrueNAS bekommt

Nicht unbedingt. Wie bereits erwähnt, habe ich einen ZFS-Pool (Data-Pool) mit den physischen Disks erstellt. Auf dem Pool habe ich dann ein Dataset für alle VMs eingerichtet und alle virtuellen Disks werden dort abgelegt.

Und TrueNAS geht dann wie gehabt ran und baut den redundanten zfs-Pool. Richtig?

Kann man machen, muss man nicht, wenn man die richtige Backup-Strategie hat. In meinem Fall habe ich bei meinen TrueNAS VMs einen ZFS Pool ohne Redundanz eingerichtet (der ZFS Pool, auf dem die VMs gespeichert sind, ist bereits "redundant" konfiguriert). Ich sichere die Daten der einen VM, indem ich sie mittels ZFS Snapshots zur anderen schicke. Das funktioniert recht gut ...

In deinem Fall (ohne Cluster) könntest du die VMs einfach mittles PVE Backup-Funktion auf der USB Disk sichern, wenn diese gross genug ist. Das Problem dabei ist, dass Daten bei einem Ausfall (z. B. Host defekt) nicht mehr zugänglich sind. Da stellt sich die Frage, ob das Sichern der Daten wichtiger als das Sichern der VMs wäre. Wenn du noch ein NAS-System (z. B. Synology, WD usw.) zur Verfügung hast, könntest du es in deiner Backup Strategie einplanen (z. B. USB-Disk für die Sicherung der VMs, NAS für die Sicherung der Daten). Ob das für dich ein gangbarer Weg ist, steht auf ein anderes Blatt geschrieben.

Ich hoffe, dass ich dir hiermit helfen konnte, ohne dich allzu sehr zu verwirren ...

Gruss