10Gbit OPNsense als VM oder bare-metal?

[IsThisThingOn]

Hallo zusammen

Nutze schon seit längerem ein Intel NUC für OPNsense und ein Supermicro für Proxmox. Nun bin ich in der glücklichen Lage und habe ein 10Gbit Upgrade von meinem ISP bekommen. Gleichzeitig überlege ich mir wegen dem Stromverbrauch OPNsense als VM laufen zu lassen. Ist sowas problemlos möglich oder nerve ich mich da zu Tode wegen Treiber und hardware offloading usw?

Als Netzwerkkarte habe ich zwei Chelsio T520-SO-CR von einem Kollegen bekommen und habe noch einen unbenutzten Lenovo SSF rumliegen.

Variante 1: eine Karte auf Supermicro zu installieren. WAN Anschluss direkt in Port 0 und Port 1 auf meinen Switch. Linux bridge erstellen für Port 0 und OPNsense VM, Port 1 auch eine Bridge und OPNsense LAN. Dann würde aber bestimmt hardware offloading nicht funktionieren und es gäbe eine höhere CPU Last?

Variante 2: eine Karte auf Supermicro installieren und per SR-IOV den WAN Port an die VM durchreichen und den anderen Port auf die Linux Bridge. Keine Ahnung ob dies überhaupt geht

Variante 3: zwei Karten auf Supermicro installieren. Karte 1 per passtrough an die OPNsense VM druchreichen. Ein Port für WAN, der andere für den Switch. Die zweite Karte per Switch verbinden und per Linux bridge an die VMs freigeben.

Variante 4: Router und Hypervisor trennen. Karte 1 in den OPNsense SSF und Karte 2 für den Supermicro Hypervisor.

Hat da jemand praktische Erfahrungen gemacht?

 

[floh8]

schwierige Entscheidung. ich verstehe deinen Wunsch, ich würde es auch so wollen.
Zunächst einmal ist die Frage, ob die KArte von Freebsd unterstützt wird. Genau diese nämlich nicht, aber eine ähnliche. https://www.freebsd.org/releases/13.1R/hardware/#support
Es kann also sein, dass deine Variante 2 und 3 nicht funktioniert. Wenn du genug CPU Ressource hast, sollte es dich ja nicht stören, wenn du Variante 1 machst. Dies wäre ein guter Kompromiss. Anzumerken wäre, dass du auf jeden Fall Chipsatz 440 + virtio nic wählst, da hast du gute Performance und die Kompatibilität ist im Gegensatz zum Q35 gegeben.
variante 2 dürfte übrigens nicht funktionieren, denn wenn du die karte durchreichst, dann beide Ports und dann geht keine linux bridge mehr.

 

[IsThisThingOn]

Hi floh8
Die T520-SO-CR sollte laut TrueNAS community identisch sein mit der T520-CR (nur paar iSCSI offloading features fehlen). Von den Treiber her sollte die hinhauen, werde es aber mal testen heute.

CPU Ressourcen hätte ich schon (Intel Xeon E-2276G), was mich eher stört ist der höhere Verbrauch und eventuell sonstige seltsame "Virtualiserungsprobleme". Wobei vermutlich die zusätzliche Karte mehr Strom verbraucht, als die höhere CPU Last

variante 2 dürfte übrigens nicht funktionieren, denn wenn du die karte durchreichst, dann beide Ports und dann geht keine linux bridge mehr.

Ist SR-IOV nicht genau für solche Dinge gedacht und dies der Vorteil gegenüber einfachem GPU passthrough? Habe damit noch keine Erfahrungen sammeln können.

 

[Dunuin]

Wenn dir verfügbares Internet wichtig ist könntest du auch bare-metal + VM betreiben. Du kannst ja zwei OPNsense parallel ohne einen PVE HA Cluster hochverfügbar über pfsync betreiben. Dann kannst du entweder beide laufen lassen und es wäre egal, ob der bare-metal oder der PVE Server ausfällt, du hättest immer noch einen funktionierenden Router der in 1 Sek bereit ist, ohne das dir da die Verbindungen abbrechen.
Oder du lässt nur die VM aktiv laufen und der bare-metal bleibt aus, bis mal deiner PVE Server nicht mehr laufen will, dann könntest du den Bare-Metal hochfahren. Gelegendlich mal beide laufen lassen, damit du die Konfigs über pfsync rübersyncen kannst. Ich finde das schon alleine deswegen super praktisch, dass da für das monatliche OPNsense Upgrade oder das wöchentliche Stop-Mode-Backup nicht die Internetverbindung kurz wegbricht. Nicht vergessen, dass der OPNsense QEMU Guest Agent kein fsfreeze kann, da sind also Snapshot-Mode Backups nicht konsistent, da die Caches vor dem Backup nicht geflusht werden.
Ich weiß ja nicht wie das bei dir ist, aber hier ist der PVE Server deutlich komplexer mit viel mehr Dingen die ausfallen oder falsch konfiguriert werden könnten. Wenn du mal eine Woche fürs Troubleshooting, besorgen von neuer Hardware und PVE neu aufsetzen brauchst, dann wäre es schon ziemlich doof, wenn da dein ganzer Haushalt für eine Woche offline wäre.

Heimkritische Infrastruktur wie Router und NAS würde ich da schon versuchen redundant zu halten oder wenigstens so simpel wie möglich, dass es möglichst wenig Ausfälle gibt.

 

[IsThisThingOn]

Hey Dunuin!

Danke für den Hinweis. An einen Cluster habe ich noch gar nicht gedacht, da ich dies bis jetzt für nur Zuhause als overkill betrachtet haben. Aber mit der bare metal Kiste ausgeschaltet als standby node könnte dies noch spannend sein, gerade für Dinge wie Updates
Die Verkabelung und die Komplexität des Aufbaus scheint mir da aber doch ziemlich hoch. Muss mich damit genauer auseinandersetzten.

Backups von OPNsense würde ich mit xml config lösen und stop Snapshots (wenn OPNsense wegen einem Update neustarten muss) lösen.

 

[IsThisThingOn]

Jetzt habe ich glaube ich die einfachste Lösung gefunden
Chelsio unterstützt OVS. Werde darum eine OVS bridge ausprobieren in der Variante 1
https://www.chelsio.com/ovs-kernel-datapath-offload/
Mal schauen ob ich damit problemlos 10Gbit hinbekomme.