Das LAN/VLAN Setup ist so erstmal korrekt. Wenn die Verbindung zusammenbricht, sobald sich mehrere Leute mit deinem Server verbinden, würde ich die Ursache bei deinem Router vermuten.
Achso, und welches Gerät wählt sich denn ins Internet ein? Dein pfsense, oder dein Router? Oder beide? Wenn der...