HDDs für TrueNAS definitiv über durchgereichten HBA (was man gebraucht über eine zum LSI 9211-8i HBA mit IT-Mode crossgeflashte Dell/Lenovo/HP Raid-Karte schon ab 35€ + 10€ je SFF8087-zu-4x-SATA-Kabel bekommt und wo dann 4 SATA SSDs oder 8 SATA HDDs mit voller Bandbreite dranpassen würden).
System SSDs sind angenehmer auf einem eigenständigen Mirror aber zur Not kann man auch einen Mirror für System+VMs nehmen, da Proxmox selbst gut mit 16-32GB auskommen sollte. Ist halt nur nerviger wenn du mal was am VM Storage machen willst, da du so den VM Storage nicht zerstören und neubauen kannst ohne auch dein PVE neu installieren und einrichten zu müssen.
Für VMs willst du vorallem IOPS und da würde schon ein NVMe Mirror am meisten Sinn machen.
Die guten NVMe SSDs sind übrigens U.2 oder PCIe Karten und nicht M.2, da M.2 einfach zu wenig Oberfläche hat um guten NAND mit genug Reservezellen oder all die Kapazitoren für die Powerloss Protection unterbringen zu können (jedenfalls wenn du mehr als wenige hundert GB Kapazität haben willst). Je kompakter die NAND-Chips sind und je weniger NAND-Chips als Reserve verbaut sind, desto schneller schreibt sich die SSD kaputt. Bei einer robusten SSD kann es z.B. durchaus sein, dass diese mit 1 TB nutzbarer Kapazität verkauft wird aber 1.7TB NAND Speicher verbaut sind. Fällt dann eine von den NAND-Zellen der nutzbaren 1TB aus wird diese durch eine Reserve-NAND-Zelle der unnutzbaren 0.7TB ersetzt. Eine billige 1TB SSD hat dann vielleicht nur 0,1TB als Reserve verbaut und gibt entsprechend früher den Geist auf.
Und dann ist nicht NAND gleich NAND. Es gibt super duper schnellen und super duper haltbaren SLC NAND, schnellen und haltbaren MLC NAND, weniger schnellen und weniger haltbaren TLC NAND und langsamen und sehr schnell abnutzenden QLC NAND. Bei der Kapazität ist es aber genau anders herum. Für den gleichen Preis und bei gleicher Chipfläche bekommst du bei QLC NAND sehr viel Kapazität, über TLC und MLC bis hin zu SLC NAND wo du nur minimale Kapazität für die gleichen Produktionskosten auf gleichem Raum untergebracht bekommst. Sprich, je hochwertiger der NAND desto mehr Chips muss man für die gleiche Kapazität verbauen und desto mehr Raum brauchen die Chips und desto teurer wird die SSD.
Da kann eine Enterprise SSD gerne mal das 3- oder 10-fache kosten aber wenn die dann 10 oder 30 mal so viele geschriebene TBs an Daten überlebt, dann kann eine erstmal teure SSD am Ende doch deutlich güstiger sein, wenn sie dann z.B. 5 statt nur 1 Jahr hält...vorausgesetzt natürlich du schreibst auch genug um die überhaupt an ihr Lebensende zu bringen. Aber das kann man wegen der Write Amplification schnell unterschätzen. Bei mir laufen um die 20-30 Gäste auf dem Heimserver welche dann im Idle im Schnitt rund 900GB am Tag auf die SSDs schreiben. Die Gäste schreiben da eigentlich nur so 45GB am Tag (sind fast nur Logs und Metrics) aber wegen der Write Amplification von Faktor 20 werden die 45GB an Writes in den Gästen dann zu 900GB Writes auf die SSDs.
U.2 SSDs kommen meist im 2.5"-Formfaktor (wie SATA SSDs) und werden über ein SFF Kabel angeschlossen. U.2 kann man aber auch am M.2 Slot betreiben, wenn man sich ein M.2-über-SFF-Kabel-zu-U.2-Adapter-Set kauft. Sowas z.B.:
Pass aber mit den beiden M.2 slots auf. Volle PCIe 4x Bandbreite kannst du meist nur nutzen, wenn der M.2 Slot direkt mit der CPU verbunden ist. Oft hängt aber nur einer der beiden M.2 Slots direkt an der CPU und der andere hängt am Chipsatz und dann ist schnell die Verbindung zwischen Chipsatz und CPU der Flaschenhals, da über diese Verbindung dann nicht nur der M.2 slot läuft, sondern auch alle onboard SATA-Ports, alle USB-Ports, alle NICs, manchmal noch ein paar PCIe Slots etc.
Hättest du dann einen solchen Fall, mit einem schnellen und einem lahmen M.2 Slot, wären beide NVMe SSDs gedrosselt, da im Mirror ja immer die schnelle NVMe SSD auf die langsame warten müsste. Musst du also mal auf das Blockdiagramm von deinem Mainboard gucken, da sieht man eigentlich welche Slots/Ports/Onboard-Geräte an der CPU oder am Chipsatz hängen.
.