Die Fritzbox hat damit garnichts zu tun.
Wenn du mehrere VMs über eine Netzwerkkarte nutzen willst, so dass da alle VMs eine eigene IP bekommen, dann erstelle über die GUI eine Linux Bridge: "DeinNodeName -> System -> Network". Wenn da nicht bereits eine Bridge existiert (vmbr0) dann kannst du dort eine neue Linux-Bridge anlegen mit "Create -> Linux Bridge". Namen wählen (z.B. "vmbr0"), bei "bridge ports" die Kennung deiner Netzwerkkarte eingeben (z.B. "eth0"), IP des Proxmox inkl. CIDR angeben (z.B. "192.168.0.2/24") und Gateway angeben (also die IP deiner Fritzbox). Vermutlich muss du dann noch die IP und das Gateway deiner Netzwerkkarte entfernen, falls die dort bereits eingetragen ist, da den Teil dann die Bridge übernimmt und alles über die Bridge läuft und IP/Gateway sonst doppelt vergeben wären.
In den VMs muss du dann den virtuellen Netzwerkkarten sagen, dass die vmbr0 nehmen sollen. Dann kannst du auf dem Gast-OS die virtuelle Netzwerkkarte so konfigurieren, dass die eine statische IP in deinem Heimnetz bekommen oder DHCP nutzen damit die Fritzbox denen eine freie IP zuteilt.