Beste Disk-Konfiguration für Proxmox bei Ugreen NAS

[akcapak]

Hallo zusammen,

I habe ein 2 Bay UGreen NAS. Diese sind die Container die ich im Moment plane da laufen zu bringen:

VMs: Home Assistant, RaspberryMatic
LXCs: Jellyfin oder Plex, MQTT, Zigbee2MQTT, Adguard, Docker with Frigate (with Coral USB)

Laut meiner Recherche tendiere ich zur diese Disk-Konfiguration:

2 x NVMe mit ZFS Mirror - Proxmox und alle VMs/LXCs werden da auf dem selben Disk laufen
2 x HDDs mit RAID1 - (vllt. diese Disk mit CMR wegen Frigate?) - Unsere Media Dateien (Fotos/Videos) + VM Backups

Wie findet ihr das so im ersten Blick? Gibt es eine bessere Konstellation für meine Anwendungszwecke?
Ich habe die letzten Tage viel gelesen, leider gefühlt sagt jeder was anderes...

Ich freue mich über eure Hilfe.

Grüße,

 

[waltar]

2 x NVMe mit ZFS Mirror - Proxmox und alle VMs/LXCs werden da auf dem selben Disk laufen
2 x HDDs mit RAID1 - (vllt. diese Disk mit CMR wegen Frigate?) - Unsere Media Dateien (Fotos/Videos) + VM Backups

Besser so, ansonsten haben deine nvme's mit der pve DB und zfs keine lange Lebensdauererwartung:
2 x HDDs mit RAID1 - (vllt. diese Disk mit CMR wegen Frigate?) - Proxmox und Unsere Media Dateien (Fotos/Videos) + VM Backups
2 x NVMe mit ZFS Mirror - alle VMs/LXCs werden da auf dem selben Disk laufen

 

[akcapak]

Besser so, ansonsten haben deine nvme's mit der pve DB und zfs keine lange Lebensdauererwartung:
2 x HDDs mit RAID1 - (vllt. diese Disk mit CMR wegen Frigate?) - Proxmox und Unsere Media Dateien (Fotos/Videos) + VM Backups
2 x NVMe mit ZFS Mirror - alle VMs/LXCs werden da auf dem selben Disk laufen

Danke dir.
Du meinst weil proxmox da ständig Daten schreibt? Hat man das Problem nicht bei den VMs?

Mit dieser Konfiguration muss ich aber auch unbedingt darauf achten dass die HDDs CMR sind oder? Ich habe gelesen dass wenn da ständig Daten geschrieben werden, sind CMRs die Qual der Wahl. Die sind leider ziemlich teuer :/

 

[waltar]

Ja, pve aktualisiert ständig den Status in der db. VM's auf nvme sind toll und kein Problem.
Hdd sind idR CMR, die hochkapazitiven Varianten haben diese (zu Recht) unbeliebte SMR Technologie (wenn auch schon seit einiger Zeit auf dem Markt und damit von heute aus gesehen auch mit kleineren "TB"'s), die man nur für Archivzwecke (/Backup) nutzen sollte.
Insofern nochmal genauer nach deinen Wunschplatten gucken, zB sind auch Toshiba's gut+fix+günstig.

 

[akcapak]

Ja, pve aktualisiert ständig den Status in der db. VM's auf nvme sind toll und kein Problem.
Hdd sind idR CMR, die hochkapazitiven Varianten haben diese (zu Recht) unbeliebte SMR Technologie (wenn auch schon seit einiger Zeit auf dem Markt und damit von heute aus gesehen auch mit kleineren "TB"'s), die man nur für Archivzwecke (/Backup) nutzen sollte.
Insofern nochmal genauer nach deinen Wunschplatten gucken, zB sind auch Toshiba's gut+fix+günstig.

ok.. meinst du z.B. sowas? https://www.reichelt.de/8tb-festpla...source=psuma&utm_medium=idealo.de&PROVID=2378

 

[waltar]

Ja, "zum Bleistift" Persönlich würde ich Seagate HDD's heutzutage vermeiden, die fallen laut meiner Erfahrung diverser Serverraids viel zu oft vs. der HUS... und Toshiba's aus.

 

[news]

Standard PCIe nvme sollte man auch meiden, da die random I/O im 4k Modus nur so ca. 30 - 50 Megabyte/s schaffen. das will man mit Flash Speicher unter ZFS eher nicht haben. Da muss man sich schon was anderes überlegen und doch mehr Geld in die Speicher Hardware stecken.

 

[akcapak]

Standard PCIe nvme sollte man auch meid3n, da die random I/O im 4k Modus nur so ca. 30 - 50 Megabyte/s schaffen. das will man mit Flash Speicher unter ZFS eher nicht haben. Da muss man sich schon was anderes überlegen und doch mehr Geld in die Speicher Hardware stecken.

Welche sind die nicht "standard PCle"?
Ich hatte sowas im Auge: hier

 

[news]

Also also bei mir ist es so, dass ich HDD nur mit SATA SSDs betreibe. Dabei setze ich den SDDs noch ZFS special device an, dann ein ZFS ZIL/SLOG und mestens noch ein ZFS lese cache. Das musst du alles per Hand konfigurieren und kann man auch nachträglich, nachdem das VDEV erzeugt worden ist, anlegen.

 

[akcapak]

Also also bei mir ist es so, dass ich HDD nur mit SATA SSDs betreibe. Dabei setze ich den SDDs noch ZFS special device an, dann ein ZFS ZIL/SLOG und mestens noch ein ZFS lese cache. Das musst du alles per Hand konfigurieren und kann man auch nachträglich, nachdem das VDEV erzeugt worden ist, anlegen.

ja ok.. da ich das ganze bestimmt nicht schaffe, auch nicht so viele Ahnung davon habe, brauche ich wahrscheinlich eine zweit beste -einfachere- Option.
Ist der verlinkte SSD gut genug für meine Zwecke?

 

[waltar]

Welche sind die nicht "standard PCle"?

Haha, genau, kommt darauf an, wer den Standard definiert ...
Ein Home-AW kauft standardmäßig gern im 2stellig bis max 3stelligen Bereich ...,
wärenddessen (Dell/HPE/...) Server Nvme's min. im oberen 3stelligen oder eher teilweise weit im 4stelligen Bereich sind, aber das sind dann auch die guten PM... und Intel ...oder Kioxia...

 

[news]

Welche sind die nicht "standard PCle"?
Ich hatte sowas im Auge: hier

Genau die Crucial P3 hat kein MLC oder TLC Speicher und der QLC Speicher ist sehr langsam. Ich habe noch ein Am4 System mit Ryzen 5 2600, da ist auch noch eine Crucial P3 PCIe 3 x4 mit 500 Gigabyte drin, das macht keinen Spaß und das Ding ist einfach nur grotten langsam. Aber als boot Laufwerk reicht mir das noch aus, um eine LXC mit Samba Server zu laden.

 

[akcapak]

Genau die Crucial P3 hat kein MLC oder TLC Speicher und der QLC Speicher ist sehr langsam. Ich habe noch ein Am4 System mit Ryzen 5 2600, da ist auch noch eine Crucial P3 PCIe 3 x4 mit 500 Gigabyte drin, das macht keinen Spaß und das Ding ist einfach nur grotten langsam. Aber als boot Laufwerk reicht mir das noch aus, um eine LXC mit Samba Server zu laden.

Wie siehst du diese NVMe?
Die sind anscheinend etwas langsamer aber haben eine TBW bis zu 2.000, bestehen aus TLC Speichermodule..

Soll ich besser diese nehmen?
Insgesamt muss ich "nur" 50€ mehr ausgeben für beide NVMe..

 

[news]

Morgen, danke für den Vorschlag ;ich habe die selber noch nicht getestet und bin generell bei meinen Servern davon abgekommen sie produktiv für Datenspeicherung einzusetzen. Das ist nur meine Erfahrung. Liegt vielleicht auch daran, dass ich nicht soforz den Bereich der Server NVMe und SSD gewählt hatte und auf entsprechende Leistungsdaten setzte. Wichtig bei ZFS ist es immer daran zu denken, dass man Snapshots macht und den Datenspeicher, über ein Quota, auf maximal 80%, ich setze den Wert auf ca. 85%, beschreiben kann! So ist dein Ansatz dann vielleicht nicht 1 Gigabyte sondern 2 Gigabyte. Bei den Größenangaben sind die Hersteller eher dran interessiert die Werte hochzusetzen und dann rechnen sie mit 1000 anstatt 1024 Einheiten. Rechne dir bitte mal die wirklich nominelle Speicherkapazität von den ein Gigabyte Modulen aus und setze mal dann den Faktor 80% maximaler Kapazität an. Wenn du dann noch wüsstest dass die Snapshots der VM und LXC dann ungefähr den Faktor 2,5 Speichergröße benötigt, dann wird klar, dass man doch insgesamt mehr Speicher benötigt.

 

[news]

Eine beschaffbare und fast überallheitliche SSD Reihe ist die Kingston DC600M, sie hat ein SATA 3.0 interface und ist uneingeschränkt für ZFS nutzbar. Wenn man mehr Geschwindigkeit haben möchte, dann nutzt man vier SSDs im ZFS Raid1/Mirror das ganze wird dann zum Raid 10 erweitert. Ich bin von nicht mehr überzeugt eine Barebones zu verwenden, da habe ich kaum Erweiterungsmöglichkeiten. So bleibt mir noch ein Micro ATX Board Sockel LGA 1700, 8x SATA 3.0, 2.5 Gigabit LAN und max 128 GB DDR4 - Biostar B760MX2-E Pro D4.

 

[akcapak]

Eine beschaffbare und fast überallheitliche SSD Reihe ist die Kingston DC600M, sie hat ein SATA 3.0 interface und ist uneingeschränkt für ZFS nutzbar. Wenn man mehr Geschwindigkeit haben möchte, dann nutzt man vier SSDs im ZFS Raid1/Mirror das ganze wird dann zum Raid 10 erweitert. Ich bin von nicht mehr überzeugt eine Barebones zu verwenden, da habe ich kaum Erweiterungsmöglichkeiten. So bleibt mir noch ein Micro ATX Board Sockel LGA 1700, 8x SATA 3.0, 2.5 Gigabit LAN und max 128 GB DDR4 - Biostar B760MX2-E Pro D4.

Ich kann bei mir leider nur 2 NVMe SSDs reinbauen

 

[news]

Zur CPU noch ein Gedanke, da bleibt für mich auch intel alderlake eine meine Wahl.
Für reinen NAS Nutzung reicht: Intel® Core™ i3-12100
Für deine Bereich der: Intel® Core™ i5-12400
Der Power-User braucht dann auch viele Kerne und hohe Rechenleistung dann sind wir beim: Intel® Core™ i7-12700K für rund 205 € bei Alternate.

Man kann bei all den Prozessoren mit dem Board die Anzahl der Kerne beschränken, Hyper Thread kann ein- und ausgeschaltet werden, das spart noch mal ca. 40% Leistungsaufnahme.
Die Power Limits PL 1 und PL2 Tau sind ein weiteres Feintuning die Leistungsaufnahme zu kontrollieren.

Schlussendlich zeigt mir das Gespräch, dass deine Hardware vielleicht als reines NAS besser nutzbar wäre.