Dell PowerEdge R540 mit PERC730+ RAID

[MrPurple]

Hallo Proxmox Community,

Wir bekommen einen neuen Server mit folgender Ausstattung:

• Dell PowerEdge R540
• über 64GB Ram
  
• PERC730+ RAID
• 4x 960GB SSD SATA

Das Ziel ist maximale Performance, auch IO. überwiegend Windows Server VMs, einige Linux Vms.
Da die Hardware recht neu ist konnte ich dazu leider nicht viel finden. Weis jemand hier wie es mit dem Raid-Controller aussieht ob dieser passthrough unterstützen würde. Laut Proxmox wiki scheinen zumindest die älteren Generationen kein Problem zu machen.

Obwohl ich gute Erfahrung mit ZFS gemacht habe bin ich am überlegen klassisches HardwareRaid 10 zu konfigurieren da Production Server. Bitte um eure Meinungen!

Diesbezüglich wolle ich mich nach best Practices erkundigen da ich vorerst keine weiteren Platten zur Verfügung bekomme und somit Proxmox VE und die Container auf die 4 Platten müssen.

Nun die Frage: Im Falle von Hardware Raid: Installation von Proxmox einfach aufs Raid, hier wird dann eh automatisch in lvm (proxmox) und local-lvm (containter) geteilt wenn ich mich richtig erinnere? Spricht hier etwas dagegen oder wird auf jeden Fall eine eigene Platte/Verbund für Proxmox alleine empfohlen?

Generell bei Hardware RAID bin ich mit LVM gut bedient?

Proxmox auf einem USB/SD-Karte ist wegen recht hohen Log-IO nach wie vor ein No-No, stimmt das? (das vermisse ich von Esxi )

danke euch im voraus!

 

[HBO]

Sofern man die Features von ZFS nicht benötigt preferiere ich auch immernoch LVM Thin. Habe hier ein paar Nodes in einem Cluster mit Xeon Gold 6130 und 256GB RAM sowie 8 Enterprise SSDs. Das lüppt wunderbar, Live Migration kein Problem, die SSDs langweilen sich. Die Bandbreite per vzdump muss auch nicht mehr vermindert werden.
Backup mache ich ganz normal per vzdump und im Snapshot Mode, auch hier keine Probleme.

Installiert habe ich Proxmox per ISO auf das Hardware Raid 10 mit 50GB, SWAP habe ich gänzlich deaktiviert, 20GB für das "local" Directory und der Rest gehört den VMs.

Und ja, Finger weg von Low Cost SSD oder USB um darauf das Host System zu betreiben.

 

[MrPurple]

cool, danke, dann werde ich es einmal mit klassischem HW-Raid probieren

 

[MrPurple]

Update: Server läuft in Hardware RAID 10, proxmox ist installiert. Nun habe ich noch eine Frage, ein wenig OffTopic, aber ich wollte keinen extra Thread aufmachen da imo. zu wenig "Stoff".

Soweit ich das hier lesen konnte: https://pve.proxmox.com/wiki/Paravirtualized_Block_Drivers_for_Windows
habe ich nun folgendermaßen eingerichtet und wollte wissen ob dies noch aktuell best-pratices sind. Der Wikiartikel ist schon ein wenig älter.

• unter Options - SCSI Controller - "VirtIO SCSI" ausgewählt. habe oft gelesen, dass "LSI 53C895A" benutzt wird?
  
• unter Hardware - SCSI VirtIO Platte hinzugefügt. (No cache)

dann in Windows Server 2019 im Setup das Iso (virtio-win-0.1.141.iso) gemounted, installiert. Hier der Speedtest der VM:

Zuvor hatte ich Hyper-V als Host laufen und hatte beinahe idente Ergebnisse was mich schonmal freut. Habe leider kaum vergleichswerte. Sieht das gut aus?
Falls es jemanden Interessiert: Habe testweise eine SATA Platte eingebunden und hier waren die Ergebnisse ungefähr bei 1/3 oder gar 1/6 der Geschwindigkeit! Interessanterweise war der 4KiB Test gleichschnell.

Meine Fragen:

• habe ich alles richtig gemacht?
• habe auch einen neueren VirtIO Treiber gefunden (virtio-win-0.1.164.iso). Hat den schon wer getestet bzw. wird der empfohlen? (der 1.141 ist ja aus 2017)
• Kann/soll man da noch was optimieren? (Cache?)
• solle man eine große SCSI Platte reinhängen und partitionieren (System + Daten) oder eine Systemplatte und eine Datenplatte getrennt einhängen?

 

[HBO]

Ich habe noch den Cache Typ auf "writeback" gestellt, allerdings sollte man das dann nur mit BBU und USV dahinter machen.

 

[MrPurple]

Ich habe noch den Cache Typ auf "writeback" gestellt, allerdings sollte man das dann nur mit BBU und USV dahinter machen.

BBU und USV hab ich. jössas, das zaht ja nochmal ein Eck an:
writeback

writeback-unsafe

 

[udo]

BBU und USV hab ich. jössas, das zaht ja nochmal ein Eck an:
writeback
View attachment 9823
writeback-unsafe
View attachment 9824

Hi,
dass du da Cache und nicht die SSDs misst, ist die schon klar, oder?
Sind zwar tolle Werte, aber imho für nix zu gebrauchen.

Wenn Du 4 SSDs in Raid 10 hast, können nur max. 2 Daten liefern (ich weiss, dass es auch Raid-Controller geben soll, wo die Spiegel bereits die nächsten Daten liefern, aber das ist eigentlich unsafe, weil kein verify zwischen den gelesenen Werten statt findet).
Ein Sata-3 Bus kann maximal 600MB/s übertragen - also kommen mindestens alle Werte über 1200MB/s aus einem Cache (Raid-Controller, Host, VM). Oder auch in einen Cache - beim Schreiben.

Und dann ist die Frage, in wie weit im echten Leben der Cache hilft - das hängt natürlich stark vom Workflow ab.

Unter Linux würde ich zum Testen fio empfehlen, mit Datenmengen, die ein vielfaches des Ram-Cache des Controllers sind, damit der Cache die Werte nicht zu sehr verfälscht.

Wie heisst es so schön? Wer misst, misst Mist.

Viele Grüße

Udo

 

[MrPurple]

Das ist mir natürlich klar, dass ich hier Cache-Werte messe. Allerdings noch nicht ganz klar ist mir welcher Cache hier eigentlich zum Einsatz kommt. Wird hier der RAID Cache aktiviert oder ist dies reiner Memory-Cache? Weil für zweiteres würde ja die BBU bei Ausfall nichts nutzen?