Projektplanung

[DerTW]

Schönen guten Tag. Dies ist mein erster Beitrag in diesem Forum. Ich bin noch am Informationen sammeln, um meine Projektplanung für 2024 abzuschließen (Home lap ausbau).
Ich hoffe auf interessanten Austausch und wohlwollende Gespräche und dass ich hier und da auch noch was lernen kann.

Ich spiele mit dem Gedanken aus meinem Server (TrueNas scale) und meinem Router (Unifi) ein Gerät zu machen. Der alte Server soll als Offside Back-up dienen, damit ich dies Problem auch mal gelöst hab.
Auf dem neuen Server soll proxmox laufen.

Anforderungen:
OpenSense
TrueNAS scale
Diverse lcx und vm‘s

Wie gut lässt sich OpenSence virtualisieren?
Wie gut lässt sich trueNAS scale virtualisieren?

Hardware technisch würde ich up scales wollen.
Epyc 7002 hab ich da konkret im Kopf

2x nic mit je 2x sfp28

Bin ich völlig auf dem Holzweg oder ist dies realistisch?
Wenn ihr mehr Details benötigt, lasst mich dies wissen.
Das soll jetzt nur ein grober Fahrplan sein.

Lieben Gruß, Lars

 

[uschatko]

Stand von vor 2 Jahren:
Opnsense ist ein wenig tricky zu virtualisieren aber es geht. Der Weg führt über eine Hilfsinstallation mit einem mininmalen Linux und dann Opnsense auf eine Platte/Partition zu installieren und den Grub auf der Hilfsinstallation verbiegen.
Davon habe ich mir dann ein Template gezogen und nehme das immer für Neuinstallationen. Daher keine Ahnung ob es jetzt einfacher ist.

 

[thearona]

ich hab seit ca einem Jahr 2 OpnSense im HA laufen und das läuft problemlos (Installation direkt über das ISO ohne Probleme). Hatte vorher auch einen Proxmox Server und ein Unifi USG, bin dann auf eine virtuelle OpnSense umgestiegen, was bei einem Proxmox neustart immer das komplette Netzwerk offline genommen hat (Gateway weg ...).

TrueNas Core (HBA durchgereicht) hatte ich virutallisiert und alle VMs drauf laufen, lief ok, aber wenn die TrueNAS wegen einem Update neugestartet wurde, mussten alle VMs abgeschalten werden ... war mir zu nervig.

Aktuelle Lösung sind 2 Fujitsu Server im HA (mit Quroum auf einem Pi) mit 2 OpnSense (jeweils eine eigene 4 Port NIC durchgereicht) und ZFS Replication für die VMs/CTs. Bin super happy damit und is schon richtig langweilig, weil alles ohne Probleme läuft.

 

[uschatko]

Cool das es nun direkt geht, muss ich mir mal wieder ansehen. Aber wie das immer so ist.... die Zeit und die Workarounds leben ewig.

 

[Dunuin]

Wie gut lässt sich OpenSence virtualisieren?

Läuft gut hier. Willst du IPS oder mehr als Gbit brauchst du aber eine CPU mit guter Single-threaded Performance, da man das Hardware Offloading ja abstellen soll und dann die CPU die ganze Arbeit machen muss.

Wie gut lässt sich trueNAS scale virtualisieren?

Geht auch. Frag nur nicht im TrueNAS Forum nach Support. Da verdrehen die sofort die Augen mit der Antwort, dass ausschließlich VMware als Hypervisor supportet wird und man das gefälligst entweder Bare Metal oder unter VMware zu laufen lassen hat.

Stand von vor 2 Jahren:
Opnsense ist ein wenig tricky zu virtualisieren aber es geht. Der Weg führt über eine Hilfsinstallation mit einem mininmalen Linux und dann Opnsense auf eine Platte/Partition zu installieren und den Grub auf der Hilfsinstallation verbiegen.
Davon habe ich mir dann ein Template gezogen und nehme das immer für Neuinstallationen. Daher keine Ahnung ob es jetzt einfacher ist.

Ja, geht inzwischen ohne Probleme mit Q35 und i440fx. Einfach ISO einwerfen, OS auf "other" stellen und installieren.

 

[DerTW]

Oh ha so viele antworten.
Das ja super freu mich über jede

Läuft gut hier. Willst du IPS oder mehr als Gbit brauchst du aber eine CPU mit guter Single-threaded Performance, da man das Hardware Offloading ja abstellen soll und dann die CPU die ganze Arbeit machen muss.


Geht auch. Frag nur nicht im TrueNAS Forum nach Support. Da verdrehen die sofort die Augen mit der Antwort, dass ausschließlich VMware als Hypervisor supportet wird und man das gefälligst entweder Bare Metal oder unter VMware zu laufen lassen hat.


Ja, geht inzwischen ohne Probleme mit Q35 und i440fx. Einfach ISO einwerfen, OS auf "other" stellen und installieren

Aktuell nutze ich Unifi als Router, der mit meinem 10 Gbit Anschluss auch nicht klarkommt und nur ca. 3,8 Gbit Routen kann.

Für das gleiche Geld kann ich aber auch 25Gbit bekommen.
Das Ziel ist sicher über 10Gbit zu kommen, die Leitung voll ausnutzen ist nur nice to have.

In dem Link hat jemand auch sowas gebaut. Er nutzt sogar den gleichen Internet-Provider wie ich.

https://michael.stapelberg.ch/posts/2021-07-10-linux-25gbit-internet-router-pc-build/

Ich finde ein Epyc 7f52 passend viel ram mit ecc viele cors (16) und 3,9 GHz für noch andere Dinge. Guter gebrauchter Preis finde ich. https://www.amd.com/de/products/cpu/amd-epyc-7f52

Die Plattform und Performance ok? Oder auch gerne bitte auf andere Ideen verweisen

TrueNas nutze ich schon länger und bin zufrieden und möchte mich nicht davon trennen.
Schön, dass dies auch in Proxmox laufen kann.

Das stimmt mich zuversichtlich für mein Projekt 2024.
Ich muss zuvor noch mein Ziel aus 2023 erreichen… Einen Backup-Server in Betrieb zu nehmen. Die letzten Teile sind aber schon bei der Post aufgegeben worden. TrueNas Replikation Task soll es werden, um dann später einen Proxmox Backup Server zu werden.

Habe seit 2018 mein System so am Laufen // 1-1-0 Backup (ja, ist mir peinlich)
2023 Backup // 2-1-0 Backup
2024 Upgrade und offside backup // 3-1-1 Backup (immer noch nicht 3-2-1 i know)
Dann gehen wieder 5-8 Jahre Ruhe.

Danke Lars

 

[DerTW]

Hier noch eine Liste der Container die ich in TrueNAS nutze und sicher auch weiter betreiben möchte, aber dann direkt unter proxmox als LCX oder VM.

Applications:​

• adguard-home (nur testweise im Betrieb)
• collabora
• dashy
• dokuwiki
• duplicati
• endless ssh
• flaresolverr
• grafana
• homebox
• jellyfin (mit GPU)
• jellyseerr
• librespeed
• lidarr
• minecraft-bedrock
• mumble
• navidrome
• netdata
• nextcloud
• paperless-ngx (mit GPU)
• pihole
• prowlarr
• qbittorrent
• radarr
• recyclarr
• sonarr
• tailscale
• uptime-kuma
• vaultwarden

VMs​

• Win (geht irgendwie nicht ohne)
• Ubuntu
• Linux SpaceFun (https://www.spacefun.ch/) cool für Kids

Etwas dabei, was nicht unter Proxmox läuft? Oder schlecht läuft?

 

[Falk R.]

Geht auch. Frag nur nicht im TrueNAS Forum nach Support. Da verdrehen die sofort die Augen mit der Antwort, dass ausschließlich VMware als Hypervisor supportet wird und man das gefälligst entweder Bare Metal oder unter VMware zu laufen lassen hat.

Sind die immer noch der Meinung, nachdem der kostenlose ESXi offiziell abgekündigt ist und vSphere für Mittelständler nicht mehr bezahlbar?

 

[DerTW]

ich hab seit ca einem Jahr 2 OpnSense im HA laufen und das läuft problemlos (Installation direkt über das ISO ohne Probleme). Hatte vorher auch einen Proxmox Server und ein Unifi USG, bin dann auf eine virtuelle OpnSense umgestiegen, was bei einem Proxmox neustart immer das komplette Netzwerk offline genommen hat (Gateway weg ...).

Ich nutze aktuell nur TrueNas Scale dies wird bei mir ca. 2x im Jahr neu gestartet (update).
Den Gedanken, OpenSense nicht zu visualisieren, sondern ihn auf expliziter Hardware laufen zu lassen, hat auch sicher Vorteile.

Ich denke, bei mir ist es wie bei jedem anderen auch, das Internet muss einfach verfügbar sein. Frau im Homeoffice und Kids, die mir alle aufs Dach steigen, wenn wegen "meinem gebastel" keine Internetverbindung da ist.
Das darf einfach nicht passieren.
Mein Plan A ist ein Unifi Router, der endlich mal aus dem Knick kommt und Gas gibt... leider gibt es den noch nicht.

Wie stabil ist der Spass aus eurer Sicht einen Server zu betreiben, der "alles" macht: Router, NAS, viele LCX und VMs

Danke Lars

 

[Falk R.]

Also richtig gute Performance habe ich bei meinen Kunden mit den OPNsense Hardware Firewalls. Mit 25GBit kosten die aber auch schon ein paar Taler.
Ich habe zwei virtuelle OPNsense, was prima läuft, aber auch nur eine 300er Leitung. Da langweilen die sich noch.
Brauchst du denn noch extra einen Router? Was kommt denn bei dir zuhause an? Sogar die Deutsche Telekom hat inzwischen XGPon SFPs, welche auch in einer OPNsense laufen.

 

[Dunuin]

Aktuell nutze ich Unifi als Router, der mit meinem 10 Gbit Anschluss auch nicht klarkommt und nur ca. 3,8 Gbit Routen kann.

Für das gleiche Geld kann ich aber auch 25Gbit bekommen.
Das Ziel ist sicher über 10Gbit zu kommen, die Leitung voll ausnutzen ist nur nice to have.

Also ohne Jumboframes bekomme ich hier selbst ohne Routing nicht mehr als 4Gbit durch die 10Gbit Leitung. Das zu routen habe ich garnicht erst getestet. Aber bei 25Gbit NICs wirst du sehr wahrscheinlich die NICs per PCIe Passthrough durchreichen müssen, damit du überhaupt brauchbare Bandbreite bekommst.

Sind die immer noch der Meinung, nachdem der kostenlose ESXi offiziell abgekündigt ist und vSphere für Mittelständler nicht mehr bezahlbar?

Musste da seit dem ESXi-Debakel nichts mehr fragen. Aber vorher wurde ich immer schief angeguckt, sobald da das Wort "Proxmox" gefallen ist. Und dabei ging es eigentlich immer um reine TrueNAS Bugs, wenn deren Update mal wieder irgendwelche wichtigen Features total unnutzbar gemacht haben, die ich auch gehabt hätte, wenn ich das ganze Bare Metal betrieben hätte.
Oder so ganz doofe Dinge wie, dass ich mich gewundert habe, warum sich meine TrueNAS VM nach wenigen Minuten Uptime immer von selbst runterfährt. Lag dann auch nicht an PVE, sondern gab da einen Bug im TrueNAS, dass wenn man den Tab mit deren WebUI nach einem Shutdown nicht geschlossen hat, deren WebUI einfach immer wieder erneut TrueNAS runterfährt, bis man den Browser-Tab mal schließt. Das war dann zum Glück leicht zu umgehen, wenn man das Problem kennt. Doof war das eher, wo ich über Monate keine Backups machen konnte, weil die über mehrere Versionen die Replikation zerschossen haben und man ja auf ein Bugfix auch immer Monate warten muss...da bin ich echt froh wie Proxmox das handhabt. Mit PVE/PBS bin ich viel seltener auf ernste Probleme gestoßen und wenn die mal auftreten, dann kann man sich wenigsten sicher sein, dass da nach wenigen Tagen ein Fix ausrollt.

 

[DerTW]

Also richtig gute Performance habe ich bei meinen Kunden mit den OPNsense Hardware Firewalls. Mit 25GBit kosten die aber auch schon ein paar Taler.
Ich habe zwei virtuelle OPNsense, was prima läuft, aber auch nur eine 300er Leitung. Da langweilen die sich noch.
Brauchst du denn noch extra einen Router? Was kommt denn bei dir zuhause an? Sogar die Deutsche Telekom hat inzwischen XGPon SFPs, welche auch in einer OPNsense laufen.

Danke für diese super Frage. Ich kann dir das gar nicht genau sagen. Ich hab die Glasfaser einfach in meinen Router gesteckt (Unifi) und dann ging’s.

https://www.init7.net/de/internet/fiber7/

Das ist mein Internet Anbieter 1gbit, 10gbit, 25gbit symmetrisch immer für 777CHF im Jahr.

FTTH nennt sich das, musste nur meine Nummer auf der lan Dose angeben.

Danke Lars

 

[Dunuin]

Das ist preislich echt ganz gut. Das beste was ich hier bekommen könnte wäre 1/0.25 Gbit über Glasfaser für 50€ im Monat. Und der Downlink interessiert mich nicht mal großartig, ich würde höchstens den besseren Uplink haben wollen, damit die Offsite Backups nicht mehr so lange dauern^^

 

[Falk R.]

Also ohne Jumboframes bekomme ich hier selbst ohne Routing nicht mehr als 4Gbit durch die 10Gbit Leitung. Das zu routen habe ich garnicht erst getestet. Aber bei 25Gbit NICs wirst du sehr wahrscheinlich die NICs per PCIe Passthrough durchreichen müssen, damit du überhaupt brauchbare Bandbreite bekommst.

Warum nur 4 GBit? Das Problem kenne ich noch von ESXi und wurde mit 6.5 behoben. Bei mir bekomme ich auch 9,5 GBit über den 10GBit Link aus der VM zu einem anderen Server. Mit Jumbo werden 9,8 GBit draus.
Bei der WAN Leitung kommt meist etwas weniger raus, weil da oft eine kleinere MTU genutzt wird.

Danke für diese super Frage. Ich kann dir das gar nicht genau sagen. Ich hab die Glasfaser einfach in meinen Router gesteckt (Unifi) und dann ging’s.

Vermutlich läuft das auch mit einer SFP+/SFP28 NIC von deiner OPNsense Hardware oder Virtuell, das sollte dir aber dein Anbieter sagen was die Anforderungen sind.

 

[Dunuin]

Warum nur 4 GBit? Das Problem kenne ich noch von ESXi und wurde mit 6.5 behoben. Bei mir bekomme ich auch 9,5 GBit über den 10GBit Link aus der VM zu einem anderen Server. Mit Jumbo werden 9,8 GBit draus.
Bei der WAN Leitung kommt meist etwas weniger raus, weil da oft eine kleinere MTU genutzt wird.

Gute Frage. Aber über iperf3 mit 1500 MTU habe ich einfach nicht mehr als 3-4 Gbit/s hinbekommen. Weder mit FreeBSD noch mit Linux. Denke da sind die alten E5v4 Xeons einfach nicht mit dem Abarbeiten der Pakete nachgekommen. War jedenfalls meine Theorie, weil mit 9000 MTU und daher mehr Durchsatz bei gleicher Paketanzahl gab es dann auch fast die vollen 10Gbit/s.

 

[DerTW]

Vermutlich läuft das auch mit einer SFP+/SFP28 NIC von deiner OPNsense Hardware oder Virtuell, das sollte dir aber dein Anbieter sagen was die Anforderungen sind.

Aktuell habe ich Unifi mit sfp+ plane auf virtuel opensens zu gehen mit einer NIC 2x sfp28 die direct an opensens durchgereicht ist.

Frage:
Besser noch eine zweite NIC mit 2x sfp28 für proxmox oder reicht virtuell sich zu verbinden?

Die gebrauchten Melanox Karten sind „günstig“

 

[DerTW]

Ahh und noch zum Thema sfp28…. In mein Büro (rack zu Büro) liegt Glas schon an was 25gbit fähig ist. Externes gpu Gehäuse und eine NIC rein schwupp kann der Laptop auf einmal schnell.
So meine Idee….

 

[Falk R.]

Glas ist theoretisch immer 25G fähig, kommt nur auf die Länge an. Mit OM1 und OM2 sollte man das besser sein lassen, aber ab OM3 sind bis 100m kein Problem.
Im Laptop wirst du das nie ausreizen können, da bist du mit 10GBit schon sehr gut dabei. Wenn du 25GBit verteilen willst brauchst du eine gute CPU und 2x SFP28 Ports. Dann auf einen Switch mit 25GBit Uplink und die Clients mit 10 GBit und/oder einen guten Access Point mit 5 oder 10 GBit dran.
Aber in der Regel wird sich das Setup langweilen.

 

[DerTW]

Du hast absolut recht das setup wird sich langweilen. Da es sich aber um ein Hobby handelt passt das schon und benötigt keine rationale Begründung.

Es sind 12 Nutzer die Backups machen und Jellyfin nutzen.
Und diverse Freunde von meinen Kindern die auf den Minecraft Server Sachen machen und sich via mumble dabei besprechen.

Wirklich Overkill… mit aktuell 3,8gbit Netto hat sich noch keiner der Nutzer beschwert. Aber mir macht es Spaß. Schon alleine die Diskussion mit euch finde ich bereichernd

 

[Jens_Le]

OPNsense läuft einwandfrei als VM. Bei der Leistungsklasse aber die Netzwerkarten am besten in die VM durchreichen.
Der Installer läuft auch schon seit mindestens 6 Jahren (im klassischen Bios Mode). UEFI erst seit 2 Jahren oder so. Da ist es wichtig kein EFI Disk im Setup der VM auszuwählen. Habe für einen Kunden jetzt das bestellt. https://shop.opnsense.com/product/dec850-opnsense-desktop-security-appliance/. Die macht angeblich 17 Gbps. Nur zur Einschätzung der Rechnerpower.