@Thabeus,
da du ZFS nutzt: Standardmäßig belegt der ZFS ARC bis zu 50% des RAMs als Cache. Das sieht in der GUI oft wie ein tatsächlicher Engpass aus, ist aber meist unproblematisch, da dieser Speicher bei Bedarf für VMs freigegeben wird.
Solltest du es irgendwann nochmal probieren wollen...