Netzwerk Verständnisfrage

[Matze]

Hallo zusammen,

meine alte FW droht den Geist aufzugeben und ich möchte sie gerne gegen eine virtualisierte OPNsense + Pihole ersetzen.
Dazu habe ich parallel eine Proxmox (Qotom-Q355G4 Core i5-5200U) aufgebaut und auf Port 4 über vmbr0 in das bestehende Netz integriert. Die OPNsense habe ich über PCI Passthrough auf Port 1 direkt an der Fritzbox angeschlossen.
In der Kombination kann ich von meinem Management-PC (10.168.1.90) über 10.168.1.5 auf die Proxmox zugreifen und über 172.16.1.27 auf die OPNsense.
Sobald ich allerdings vmbr1 aktiviere, kann ich zwar die Proxmox noch erreichen, nicht aber die OPNsense. Was mache ich falsch?
Ich hatte gedacht, dass die vmbr1 - aufgrund dessen, dass sie nicht ans restliche Netz angeschlossen ist - keine Wirkung haben sollte. Ist das falsch?

 

[Matze]

Inzwischen habe ich die gleiche Konfiguration mit pfsense statt OPNsense vorgenommen. Der Effekt ist allerdings der gleiche.
Hat jemand eine Idee, was ich falsch mache?

 

[noPa$$word]

Ich verstehe zwar nicht, was du mit seiner Konfiguration erreichen willst, Aber mir ist aufgefallen, dass die Bridge vmbr1 in Proxmox dieselbe IP hat wie das LAN Device in der Opnsense.

 

[Matze]

Vielleicht habe ich das etwas zu kompliziert darfestellt. Eigentlich möchte ich im 1. Schritt folgendes erreichen.
Auf der Proxmox soll eine OPNsense laufen, die eine Verbindung ins WAN hat und jeweils eine Verbingung in je ein LAN Segment (LAN und SAFE).
Später soll dann vor die OPNsense evtl. noch ein PI-Hole kommen. Leider tritt aber sofort nach Aktivierung von vmbr1 das o.a. Problem auf, selbst wenn kein Port zugeordnet wird.
Die IP Adresse habe ich geändert. Effekt ist leider der gleiche.
Verstehe ich es denn richtig, dass vmbr0 und vmbr1 grundsätzlich keine Verbindung zueinander haben?

 

[noPa$$word]

Du hast enp4s0 an vmbr0 gebunden. Vmbr1 ist nur am Proxmox erreichbar. Port2 (enp2s0) ist nicht mit Vmbr1 verbunden.

 

[Matze]

Du hast enp4s0 an vmbr0 gebunden. Vmbr1 ist nur am Proxmox erreichbar. Port2 (enp2s0) ist nicht mit Vmbr1 verbunden.

Hmm, genau so hatte ich das auch verstanden und eigentlich sollte es ja dann auch laufen.
Ist es denn richtig, dass ich jeder Bridge eine IP Adresse und ein GW zuweisen kann, es aber nicht muß? Vom Grundsatz her ist ja eine Bridge eigentlich transparent für die angeschlossenen Ports und daher dürfte eine IP hier keine Auswirkung haben, oder?

Ich habe mal einen Ausschnitt aus dem Syslog von einem frischen Boot gepostet und das volle Log angehängt. Die Konfig habe ich leicht geändert (Kein PCI Passthrough für Port 1 und Umstellung auf Intel NIC ). Dabei irritieren mich die folgenden Zeilen.

Nov 08 11:33:44 proxmox kernel: fwbr100i0: port 1(fwln100i0) entered blocking state

Nov 08 11:33:44 proxmox kernel: fwbr100i0: port 1(fwln100i0) entered disabled state

Nov 08 11:33:44 proxmox kernel: device fwln100i0 entered promiscuous mode

Nov 08 11:33:44 proxmox kernel: fwbr100i0: port 1(fwln100i0) entered blocking state

Nov 08 11:33:44 proxmox kernel: fwbr100i0: port 1(fwln100i0) entered forwarding state

Nov 08 11:33:44 proxmox kernel: vmbr1: port 2(fwpr100p0) entered blocking state

Nov 08 11:33:44 proxmox kernel: vmbr1: port 2(fwpr100p0) entered disabled state

Nov 08 11:33:44 proxmox kernel: device fwpr100p0 entered promiscuous mode

Nov 08 11:33:44 proxmox kernel: vmbr1: port 2(fwpr100p0) entered blocking state

Nov 08 11:33:44 proxmox kernel: vmbr1: port 2(fwpr100p0) entered forwarding state

Nov 08 11:33:44 proxmox kernel: fwbr100i0: port 2(tap100i0) entered blocking state

Nov 08 11:33:44 proxmox kernel: fwbr100i0: port 2(tap100i0) entered disabled state

Nov 08 11:33:44 proxmox kernel: fwbr100i0: port 2(tap100i0) entered blocking state

Nov 08 11:33:44 proxmox kernel: fwbr100i0: port 2(tap100i0) entered forwarding state

Nov 08 11:33:44 proxmox systemd-udevd[387]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.

Nov 08 11:33:44 proxmox systemd-udevd[387]: Could not generate persistent MAC address for tap100i1: No such file or directory

Nov 08 11:33:45 proxmox kernel: device tap100i1 entered promiscuous mode

Nov 08 11:33:45 proxmox systemd-udevd[387]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.

Nov 08 11:33:45 proxmox systemd-udevd[387]: Could not generate persistent MAC address for fwbr100i1: No such file or directory

Nov 08 11:33:45 proxmox systemd-udevd[370]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.

Nov 08 11:33:45 proxmox systemd-udevd[369]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.

Nov 08 11:33:45 proxmox systemd-udevd[369]: Using default interface naming scheme 'v240'.

Nov 08 11:33:45 proxmox systemd-udevd[370]: Could not generate persistent MAC address for fwpr100p1: No such file or directory

Nov 08 11:33:45 proxmox systemd-udevd[369]: Could not generate persistent MAC address for fwln100i1: No such file or directory

Nov 08 11:33:45 proxmox kernel: fwbr100i1: port 1(fwln100i1) entered blocking state

Nov 08 11:33:45 proxmox kernel: fwbr100i1: port 1(fwln100i1) entered disabled state

Nov 08 11:33:45 proxmox kernel: device fwln100i1 entered promiscuous mode

Nov 08 11:33:45 proxmox kernel: fwbr100i1: port 1(fwln100i1) entered blocking state

Nov 08 11:33:45 proxmox kernel: fwbr100i1: port 1(fwln100i1) entered forwarding state

Nov 08 11:33:45 proxmox kernel: vmbr2: port 1(fwpr100p1) entered blocking state

Nov 08 11:33:45 proxmox kernel: vmbr2: port 1(fwpr100p1) entered disabled state

Nov 08 11:33:45 proxmox kernel: device fwpr100p1 entered promiscuous mode

Nov 08 11:33:45 proxmox kernel: vmbr2: port 1(fwpr100p1) entered blocking state

Nov 08 11:33:45 proxmox kernel: vmbr2: port 1(fwpr100p1) entered forwarding state

Nov 08 11:33:45 proxmox kernel: fwbr100i1: port 2(tap100i1) entered blocking state

Nov 08 11:33:45 proxmox kernel: fwbr100i1: port 2(tap100i1) entered disabled state

Nov 08 11:33:45 proxmox kernel: fwbr100i1: port 2(tap100i1) entered blocking state

Nov 08 11:33:45 proxmox kernel: fwbr100i1: port 2(tap100i1) entered forwarding state

 

[noPa$$word]

Wie soll man eine Bridge von extern erreichen, ohne dass sie an ein physikalisches Gerät (Netzwerkkarte) gebunden ist. Und eine Bridge braucht grundsätzlich keine IP. Die Bridge wird einer VM zugewiesen und erhält in deren Konfiguration eine IP. Damit die VM mit externen Geräten kommunizieren kann, muss die Bridge allerdings an eine Netzwerkkarte gebunden sein.

 

[micneu]

@Matze ich habe noch nicht viel erfahrung, deshalb verzeich mir meine fragen:
- wie performant ist proxmox uaf einer hardware wie du einsetzt
- an was für einer internetleitung betreibst du es (bandbreite)
- machst du vpn und welches?
kannst du mal bitte die aes performance von deiner proxmox und auch einmal aus der vm posten:

openssl speed -elapsed -evp aes-256-cbc

und

openssl speed -elapsed -evp aes-256-gcm

 

[Matze]

@Matze ich habe noch nicht viel erfahrung, deshalb verzeich mir meine fragen:
- wie performant ist proxmox uaf einer hardware wie du einsetzt
- an was für einer internetleitung betreibst du es (bandbreite)
- machst du vpn und welches?
kannst du mal bitte die aes performance von deiner proxmox und auch einmal aus der vm posten:

openssl speed -elapsed -evp aes-256-cbc

und

openssl speed -elapsed -evp aes-256-gcm

Moin,

die Performance habe ich noch nicht wirklich weitergehend untersucht, da es für unsere Zwecke völlig ausreicht. Derzeit läuft eine OPNsense, ein Pihole und testweise ein Wordpress Container. Die CPU ist im Mittel 10% ausgelastet.
Hauptanwendung ist die OPNsense, die wir an einer 16MBit DSL Leitung laufen lassen.
Tagsüber arbeiten aufgrund der derzeitigen Homeoffice Situation drei Rechner daran. Ein Rechner davon sehr viel im Videokonferenzmodus. Zwei Rechner verbinden sich über Cisco-VPN, was die Firewall nicht merken sollte. Zusätzlich sind dauerhaft 3 externe VPNs aufgebaut, die für einen PC und diverse mobile Geräte genutzt werden. Hierzu muß die Firewall das erforderliche NAT und Routing durchführen.
Ergänzend ist ein IP-Phone eingerichtet, dass ebenfalls über die Firewall läuft.
Nähere Details gerne per PM.

Von der Proxmox:

openssl speed -elapsed -evp aes-256-cbc
You have chosen to measure elapsed time instead of user CPU time.
Doing aes-256-cbc for 3s on 16 size blocks: 59799407 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 64 size blocks: 17984138 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 256 size blocks: 4655041 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 1024 size blocks: 1175084 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 8192 size blocks: 145274 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 16384 size blocks: 73317 aes-256-cbc's in 3.00s
OpenSSL 1.1.1d  10 Sep 2019
built on: Mon Apr 20 20:23:01 2020 UTC
options:bn(64,64) rc4(16x,int) des(int) aes(partial) blowfish(ptr)
compiler: gcc -fPIC -pthread -m64 -Wa,--noexecstack -Wall -Wa,--noexecstack -g -O2 -fdebug-prefix-map=/build/openssl-8Ocme2/openssl-1.1.1d=. -fstack-protector-strong -Wformat -Werror=format-security -DOPENSSL_USE_NODELETE -DL_ENDIAN -DOPENSSL_PIC -DOPENSSL_CPUID_OBJ -DOPENSSL_IA32_SSE2 -DOPENSSL_BN_ASM_MONT -DOPENSSL_BN_ASM_MONT5 -DOPENSSL_BN_ASM_GF2m -DSHA1_ASM -DSHA256_ASM -DSHA512_ASM -DKECCAK1600_ASM -DRC4_ASM -DMD5_ASM -DAESNI_ASM -DVPAES_ASM -DGHASH_ASM -DECP_NISTZ256_ASM -DX25519_ASM -DPOLY1305_ASM -DNDEBUG -Wdate-time -D_FORTIFY_SOURCE=2
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
aes-256-cbc     318930.17k   383661.61k   397230.17k   401095.34k   396694.87k   400408.58k




openssl speed -elapsed -evp aes-256-gcm
You have chosen to measure elapsed time instead of user CPU time.
Doing aes-256-gcm for 3s on 16 size blocks: 41675865 aes-256-gcm's in 3.00s
Doing aes-256-gcm for 3s on 64 size blocks: 31149517 aes-256-gcm's in 3.00s
Doing aes-256-gcm for 3s on 256 size blocks: 17271347 aes-256-gcm's in 3.00s
Doing aes-256-gcm for 3s on 1024 size blocks: 5722667 aes-256-gcm's in 3.00s
Doing aes-256-gcm for 3s on 8192 size blocks: 848767 aes-256-gcm's in 3.00s
Doing aes-256-gcm for 3s on 16384 size blocks: 436223 aes-256-gcm's in 3.00s
OpenSSL 1.1.1d  10 Sep 2019
built on: Mon Apr 20 20:23:01 2020 UTC
options:bn(64,64) rc4(16x,int) des(int) aes(partial) blowfish(ptr) 
compiler: gcc -fPIC -pthread -m64 -Wa,--noexecstack -Wall -Wa,--noexecstack -g -O2 -fdebug-prefix-map=/build/openssl-8Ocme2/openssl-1.1.1d=. -fstack-protector-strong -Wformat -Werror=format-security -DOPENSSL_USE_NODELETE -DL_ENDIAN -DOPENSSL_PIC -DOPENSSL_CPUID_OBJ -DOPENSSL_IA32_SSE2 -DOPENSSL_BN_ASM_MONT -DOPENSSL_BN_ASM_MONT5 -DOPENSSL_BN_ASM_GF2m -DSHA1_ASM -DSHA256_ASM -DSHA512_ASM -DKECCAK1600_ASM -DRC4_ASM -DMD5_ASM -DAESNI_ASM -DVPAES_ASM -DGHASH_ASM -DECP_NISTZ256_ASM -DX25519_ASM -DPOLY1305_ASM -DNDEBUG -Wdate-time -D_FORTIFY_SOURCE=2
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
aes-256-gcm     222271.28k   664523.03k  1473821.61k  1953337.00k  2317699.75k  2382359.21k

Direkt aus der OPNsense:

openssl speed -elapsed -evp aes-256-cbc
You have chosen to measure elapsed time instead of user CPU time.
Doing aes-256-cbc for 3s on 16 size blocks: 18017784 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 64 size blocks: 4836568 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 256 size blocks: 1203249 aes-256-cbc's in 3.01s
Doing aes-256-cbc for 3s on 1024 size blocks: 271383 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 8192 size blocks: 38431 aes-256-cbc's in 3.01s
Doing aes-256-cbc for 3s on 16384 size blocks: 19597 aes-256-cbc's in 3.00s
OpenSSL 1.1.1d-freebsd  10 Sep 2019
built on: reproducible build, date unspecified
options:bn(64,64) rc4(8x,char) des(int) aes(partial) idea(int) blowfish(ptr)
compiler: clang
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
aes-256-cbc      96094.85k   103180.12k   102410.55k    92632.06k   104669.67k   107025.75k
openssl speed -elapsed -evp aes-256-gcm
You have chosen to measure elapsed time instead of user CPU time.
Doing aes-256-gcm for 3s on 16 size blocks: 12363489 aes-256-gcm's in 3.00s
Doing aes-256-gcm for 3s on 64 size blocks: 3674119 aes-256-gcm's in 3.01s
Doing aes-256-gcm for 3s on 256 size blocks: 999413 aes-256-gcm's in 3.09s
Doing aes-256-gcm for 3s on 1024 size blocks: 241816 aes-256-gcm's in 3.00s
Doing aes-256-gcm for 3s on 8192 size blocks: 30418 aes-256-gcm's in 3.01s
Doing aes-256-gcm for 3s on 16384 size blocks: 11929 aes-256-gcm's in 3.00s
OpenSSL 1.1.1d-freebsd  10 Sep 2019
built on: reproducible build, date unspecified
options:bn(64,64) rc4(8x,char) des(int) aes(partial) idea(int) blowfish(ptr) 
compiler: clang
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes  16384 bytes
aes-256-gcm      65938.61k    78177.62k    82908.27k    82539.86k    82845.67k    65148.25k

 

[micneu]

danke, bei einer 16mbit leitung reicht die hardware aus.