Welche Hardware für optimale I/O?

[DocMAX]

Hallo,

ich weiss nicht ob es schon so einen Thread gibt, aber können wir hier einmal Hardware zusammen stellen, die bestens als PVE Umgebung geeignet ist?
Meine Anforderung ist eher für den Hausgebrauch gedacht, sprich:

- Sehr gute I/O (prio 1 für mich hier)
- Sehr gutes Stromverbrauch/Leistungsverhältnis
- Klein, geräuscharm
- Mind. 64GB RAM, 8TB SSD (RAID5)
- Grafikkarte für einfache Spiele

Dazu habe ich mich für einen PC Barebone Würfel entschieden (ASUS ExpertCenter PN52). Dieses bietet mir alles genannte.
Was mich allerdings stört ist die hohe IO Wait Rate. Das Teil hat 2x NVME + 1x SSD, mit ZFS zu RAIDZ (equivalent glaub ich zu RAID5) verbunden.
Ich weiss nicht ob die hohe IO Wait nun durch die Hardware oder Software (ZFS) oder die Kombination verursacht wird.
Ich habe ca. 6 Container und ab und zu eine Windows VM laufen.

Könnt ihr mir ähnliche Systeme empfehlen mit besonderem Augenmerk auf Festplatten-I/O bzw. ob ich etwas am bestehenden optimieren kann?

Danke,
DocMAX

 

[shanreich]

Was für NVMEs und was für eine SSD?

Ein RAIDZ pool kann nur so schnell sein wie die langsamste disk, d.h. die SSD wird wohl die beiden NVMEs ausbremsen. Ebenso hat ein RAIDZ-Pool nur so viel IOPS wie eine einzelne Disk. Generell sollte man für ZFS nur enterprise-grade disks verwenden ansonsten kann hier die IO-Performance stark leiden. Wenn das also deine Hauptpriorität ist würde ich an deiner Stelle mein Geld in entsprechende enterprise-grade Disks investieren. Wenn Performance ein derart wichtiges Thema ist würde ich auch stark zu RAID 10 raten.

 

[DocMAX]

Wenn ich nun solche Enterprise Disks nehme für NVME und SSD, wäre da nicht noch der Flaschenhals HDD-Controller auf dem Board? Da gibt es sicherlich auch Qualitätsunterschiede?

07:00.0 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 81)
07:00.1 SATA controller [0106]: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] [1022:7901] (rev 81)

Achso, und ich wäre für konkrete namentliche Vorschläge von Hardware dankbar.
Aktuell habe ich wohl, wie ich leider oft hören musste, ziemlich schlechte Platten:

root@pve:~# lsscsi
[1:0:0:0]    disk    ATA      Samsung SSD 870  2B6Q  /dev/sda
[N:0:1:1]    disk    BIWIN SSD__1                               /dev/nvme0n1
[N:1:0:1]    disk    WD_BLACK SN770 2TB__1                      /dev/nvme1n1

 

[shanreich]

Wenn ich nun solche Enterprise Disks nehme für NVME und SSD, wäre da nicht noch der Flaschenhals HDD.Controller auf dem Board? Da gibt es sicherlich auch Qualitätsunterschiede?

NVMEs werden direkt über PCIe angeschlossen - hier sollte es keinerlei Probleme/Bottlenecks geben, da ist kein Controller dazwischen. Bei SSDs sollten auch herkömmliche Motherboards kein Problem darstellen, falls man wirklich beim Betrieb feststellt dass der Controller Probleme macht kann man einfach einen HBA dazu kaufen. Ich halte das allerdings für sehr unwahrscheinlich. Viel wichtiger ist es von vornherein gute Disks zu verwenden und keine unterschiedlichen Disk-Typen und Modelle in einem Zpool zu mischen.

 

[shanreich]

Achso, und ich wäre für konkrete namentliche Vorschläge von Hardware dankbar.

Es sollte reichen auf geizhals bei den SSDs nach PLP (Power-Loss Protection) zu filtern, dann sollte man entsprechende Disks angezeigt bekommen.

 

[DocMAX]

OK, nicht sehr billig. Selbst meine "schlechte" 4TB SDD ist nicht billig. Damals dachte ich bei einer SSD von Samsung kann man eigentlich nichts falsch machen...

 

[news]

DocMAX welche CPU ist denn real verbaut?

 

[DocMAX]

DocMAX welche CPU ist denn real verbaut?

AMD Ryzen 7 5800H with Radeon Graphics

 

[news]

Wenn ich dieses Chart richtig lesen,

https://tpucdn.com/cpu-specs/images/connectivity/amd-mobile-fp6.png
Quelle: https://www.techpowerup.com/cpu-specs/ryzen-7-5800h.c2368

sind die beiden NVMe PCIe 3.0 mit x4 und x2 Angebunden, da die Lanes noch mit den SATA III Anschlüssen geschert werden.

Ich tippe mal darauf und auf deine NVMe und SSD Hardware.

Ein andere Proxmox User hat sich auf den Weg gemacht PC Hardware zu nutzen und ist damit zufrieden.
Basis.
Und der Austausch in einem Discord von Dennis Schröder (ipv64.net):
https://discord.com/channels/659764084987920393/1233771472959438929

So ein Intel Core I5-12400 kann man sehr gut über ein B660 oder B760 Chipsatz und PL1, PL2 und den PowerStages Cn maßregeln.
Hat man auch noch Zugriff auf den max. Strom der CPU dann auch darüber.

Wichtig ist mir, das die PCIe M.2 NVMe alle mit x4 laufen. Und evtl. hat man auch ein Bios, bei dem man der PCIe n.0 x16 Lanes für eine weitere M.2 Risercard auf 4x x4 Lanes aufsplitten kann.
Mindestens eine weitere PCIe NVMe x4 kann man so noch auf das Mainbaord bringen.

P.S. das DDR4 Ramkit ist so gewollt, es verbraucht so einige Watt weniger an Leistung, da es nur mit 1.2V läuft.

 

[DocMAX]

Hmm, dürfte aber viel mehr Watt verbrauchen als der Würfel... hier einmal mein IO Delay Chart:
Die 2. Hälfte ist so ca. mein "Leerlauf" des Servers. Viel zu hoch das Delay oder?



OK, natürlich müsste ich angeben was ich alles laufen habe. Ist ne Menge. Webserver, Mailserver, TV-Server, Dokument-Server, Media-Server usw usw. als Docker Container... Aber nicht so dass massig Daten geschrieben werden. Eher kleine KB-Häppchen und ein paar mehr davon...

 

[Falk R.]

Aktuell habe ich wohl, wie ich leider oft hören musste, ziemlich schlechte Platten:

root@pve:~# lsscsi
[1:0:0:0]    disk    ATA      Samsung SSD 870  2B6Q  /dev/sda
[N:0:1:1]    disk    BIWIN SSD__1                               /dev/nvme0n1
[N:1:0:1]    disk    WD_BLACK SN770 2TB__1                      /dev/nvme1n1

Also die Samsung ist eine Consumer SSD ohne PLP und mit QLC NAND was das langsamste ist, was man kaufen kann. Da muss das RaidZ am Krückstock laufen.
Ich würde es mal versuchen aus den beiden NVMe ein Mirror zu bauen und die QLC NAND als Thin Pool für langsame Daten nutzen.

 

[dMopp]

Ich habe eine Prosumer SSD (bzw. zwei) ohne PLP (habe die noch da, werden zum Lebenszeitende gegen Enterprise getauscht) und mein IO Delay liegt bei <0.5%.

HomeAssistant mit massig Devices und mariadb sowie viel kleinkram