PVE Firewall ipset error

[MG_100]

Hallo,

Ich habe bei einem Proxmox Node das Problem das die Firewall Regeln einer VM nicht wirken.

Folgendes sehe ich bei pve-firewall als status:

pve-firewall[1104]: status update error: ipset_restore_cmdlist: ipset v7.10: Error in line 1: Kernel error received: set type not supported

Ich suche seit langem eine Lösung dafür habe aber leider nichts hilfreiches gefunden.

Vielleicht kann mir hier ja jemand weiterhelfen

 

[MG_100]

Version:

proxmox-ve: 7.0-2 (running kernel: 5.11.22-4-pve)
pve-manager: 7.0-11 (running version: 7.0-11/63d82f4e)
pve-kernel-helper: 7.1-2
pve-kernel-5.11: 7.0-8
pve-kernel-5.4: 6.4-5
pve-kernel-5.11.22-5-pve: 5.11.22-10
pve-kernel-5.11.22-4-pve: 5.11.22-9
pve-kernel-5.4.128-1-pve: 5.4.128-2
ceph-fuse: 14.2.21-1
corosync: 3.1.5-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown: not correctly installed
ifupdown2: 3.1.0-1+pmx3
libjs-extjs: 7.0.0-1
libknet1: 1.22-pve1
libproxmox-acme-perl: 1.3.0
libproxmox-backup-qemu0: 1.2.0-1
libpve-access-control: 7.0-4
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.0-9
libpve-guest-common-perl: 4.0-2
libpve-http-server-perl: 4.0-2
libpve-storage-perl: 7.0-11
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 4.0.9-4
lxcfs: 4.0.8-pve2
novnc-pve: 1.2.0-3
proxmox-backup-client: 2.0.10-1
proxmox-backup-file-restore: 2.0.10-1
proxmox-mini-journalreader: 1.2-1
proxmox-widget-toolkit: 3.3-6
pve-cluster: 7.0-3
pve-container: 4.0-10
pve-docs: 7.0-5
pve-edk2-firmware: 3.20200531-1
pve-firewall: 4.2-3
pve-firmware: 3.3-2
pve-ha-manager: 3.3-1
pve-i18n: 2.5-1
pve-qemu-kvm: 6.0.0-4
pve-xtermjs: 4.12.0-1
qemu-server: 7.0-14
smartmontools: 7.2-pve2
spiceterm: 3.2-2
vncterm: 1.7-1
zfsutils-linux: 2.0.5-pve1

 

[fabian]

koenntest du den "ipset" teil von der pve-firewall compile ausgabe posten? addressen kannst du natuerlich zensieren falls notwendig.

 

[MG_100]

koenntest du den "ipset" teil von der pve-firewall compile ausgabe posten? addressen kannst du natuerlich zensieren falls notwendig.

ipset cmdlist:
create PVEFW-0-management-v4 (9ozHRTqkB13SZu2xgLkmOkVnrPU)
create PVEFW-0-management-v4 hash:net family inet hashsize 64 maxelem 64
add PVEFW-0-management-v4 XXX.XXX.XXX.0/23
create PVEFW-0-management-v6 (H5WO/Pkuyz4e7OLB2uiMpG0Bsn0)
create PVEFW-0-management-v6 hash:net family inet6 hashsize 64 maxelem 64
create PVEFW-116-ip-v4 (egeBT53rj/yext6/0RFurHWAZNQ)
create PVEFW-116-ip-v4 hash:net family inet hashsize 64 maxelem 64add PVEFW-116-ip-v4 XXX.XXX.XXX.XXX
add PVEFW-116-ip-v4 XXX.XXX.XXX.XXX
create PVEFW-116-ip-v6 (abxP7l2PL/2jv+ipBKXXNBD2JIs)
create PVEFW-116-ip-v6 hash:net family inet6 hashsize 64 maxelem 64

 

[MG_100]

Was mir aufgefallen ist das einer meiner anderen Nodes noch mit einem älteren Kernel läuft und funktioniert alles ohne Probleme:

Da sind folgende Versionen:

proxmox-ve: 7.0-2 (running kernel: 5.11.22-1-pve)
pve-manager: 7.0-11 (running version: 7.0-11/63d82f4e)
pve-kernel-helper: 7.1-2
pve-kernel-5.11: 7.0-8
pve-kernel-5.4: 6.4-4
pve-kernel-5.11.22-5-pve: 5.11.22-10
pve-kernel-5.11.22-4-pve: 5.11.22-9
pve-kernel-5.11.22-1-pve: 5.11.22-2
pve-kernel-5.4.124-1-pve: 5.4.124-1
ceph-fuse: 15.2.14-pve1
corosync: 3.1.5-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown: not correctly installed
ifupdown2: 3.1.0-1+pmx3
libjs-extjs: 7.0.0-1
libknet1: 1.22-pve1
libproxmox-acme-perl: 1.3.0
libproxmox-backup-qemu0: 1.2.0-1
libpve-access-control: 7.0-4
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.0-9
libpve-guest-common-perl: 4.0-2
libpve-http-server-perl: 4.0-2
libpve-network-perl: 0.6.1
libpve-storage-perl: 7.0-11
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 4.0.9-4
lxcfs: 4.0.8-pve2
novnc-pve: 1.2.0-3
proxmox-backup-client: 2.0.10-1
proxmox-backup-file-restore: 2.0.10-1
proxmox-mini-journalreader: 1.2-1
proxmox-widget-toolkit: 3.3-6
pve-cluster: 7.0-3
pve-container: 4.0-10
pve-docs: 7.0-5
pve-edk2-firmware: 3.20200531-1
pve-firewall: 4.2-3
pve-firmware: 3.3-2
pve-ha-manager: 3.3-1
pve-i18n: 2.5-1
pve-qemu-kvm: 6.0.0-4
pve-xtermjs: 4.12.0-1
qemu-server: 7.0-14
smartmontools: 7.2-1
spiceterm: 3.2-2
vncterm: 1.7-1
zfsutils-linux: 2.0.5-pve1

 

[fabian]

sind die nodes von PVE 6 auf 7 aktualisiert worden?

 

[MG_100]

sind die nodes von PVE 6 auf 7 aktualisiert worden?

Ja

 

[fabian]

bitte mal upgrades machen, neuer kernel + boot-tool mit bug fix sollten das problem loesen.

 

[MG_100]

bitte mal upgrades machen, neuer kernel + boot-tool mit bug fix sollten das problem loesen.

Hab jetzt mal die Updates auf den betroffenen Host installiert, auch pve-firewall neugestartet hat allerdings keine Änderung gebracht.

proxmox-ve: 7.0-2 (running kernel: 5.11.22-4-pve)
pve-manager: 7.0-13 (running version: 7.0-13/7aa7e488)
pve-kernel-helper: 7.1-2
pve-kernel-5.11: 7.0-8
pve-kernel-5.4: 6.4-5
pve-kernel-5.11.22-5-pve: 5.11.22-10
pve-kernel-5.11.22-4-pve: 5.11.22-9
pve-kernel-5.11.22-1-pve: 5.11.22-2
pve-kernel-5.4.128-1-pve: 5.4.128-2
ceph-fuse: 14.2.21-1
corosync: 3.1.5-pve1
criu: 3.15-1+pve-1
glusterfs-client: 9.2-1
ifupdown: not correctly installed
ifupdown2: 3.1.0-1+pmx3
libjs-extjs: 7.0.0-1
libknet1: 1.22-pve1
libproxmox-acme-perl: 1.3.0
libproxmox-backup-qemu0: 1.2.0-1
libpve-access-control: 7.0-5
libpve-apiclient-perl: 3.2-1
libpve-common-perl: 7.0-10
libpve-guest-common-perl: 4.0-2
libpve-http-server-perl: 4.0-3
libpve-storage-perl: 7.0-12
libspice-server1: 0.14.3-2.1
lvm2: 2.03.11-2.1
lxc-pve: 4.0.9-4
lxcfs: 4.0.8-pve2
novnc-pve: 1.2.0-3
proxmox-backup-client: 2.0.11-1
proxmox-backup-file-restore: 2.0.11-1
proxmox-mini-journalreader: 1.2-1
proxmox-widget-toolkit: 3.3-6
pve-cluster: 7.0-3
pve-container: 4.0-10
pve-docs: 7.0-5
pve-edk2-firmware: 3.20210831-1
pve-firewall: 4.2-3
pve-firmware: 3.3-2
pve-ha-manager: 3.3-1
pve-i18n: 2.5-1
pve-qemu-kvm: 6.0.0-4
pve-xtermjs: 4.12.0-1
qemu-server: 7.0-16
smartmontools: 7.2-pve2
spiceterm: 3.2-2
vncterm: 1.7-1
zfsutils-linux: 2.0.5-pve1

 

[fabian]

du musst auch den host neustarten, damit der neue kernel geladen wird.

 

[MG_100]

Danke funktioniert nach dem Reboot alles perfekt

 

[MG_100]

Ich hätte eine Frage zu folgendem Szenario:

Man hat einen Dedicated PVE Host und aktiviert die nested virtualization und installiert beim Dedicated PVE Host eine VM und installiert dort ebenfalls Proxmox. So nun haben wir auf dem virtuellen Proxmox ebenfalls 2 VM's mit einer IP laufen.

So ist es nun möglich über die PVE Firewall auf dem Dedicated Host zu sagen du darfst nur folgende 3 IP Adresse nutzen und rest wird geblockt?

Aktuell ist es so das die Regel nur auf die Host IP wirkt und nicht auf die unte VM's.

 

[MG_100]

@fabian ?

 

[fabian]

das kommt auf dein netzwerk setup an.. wenn der traffic von den L2 VMs ohne NAT/masquerading oben ankommt kannst du natuerlich entsprechend filtern. wenn der traffic so aussieht als wuerde er von deinem nested hypervisor kommen, kann die firewall am dedicated host nur schwer sagen woher welches paket kommt

 

[MG_100]

das kommt auf dein netzwerk setup an.. wenn der traffic von den L2 VMs ohne NAT/masquerading oben ankommt kannst du natuerlich entsprechend filtern. wenn der traffic so aussieht als wuerde er von deinem nested hypervisor kommen, kann die firewall am dedicated host nur schwer sagen woher welches paket kommt

Bei mir kommt dann wohl der nested Hypervisor im Einsatz, da gibt es dann aktuelle keine andere Möglichkeit oder?

 

[fabian]

wie gesagt, es gibt unterschiedliche arten das netzwerk aufzusetzen (auch abhaengig davon, was dir dein upstream/provider/RZ/.. zur verfuegung stellt an adressen). die firewall kann immer nur das filtern, was auf der ebene sichtbar ist.