ZFS (RAM, Cache)

[scaa]

Die vielen Vorteile von ZFS haben mich bewogen einen Server damit aufzusetzen.
Aktuellstes Proxmox, wegen Test noch ohne Subscription.

Hardware:
Supermicro X11SSL-F
1x CPU E3-1260L v5 @ 2.90GHz (8 Cores Hypertreading)
32 GB RAM ECC DDR4
3x 4 TB SATA HUS724040ALS640 im Raidz-1 (=7 TB)
1x 4 TB SATA HUS724040ALS640 solo (als backup-storage für Images, Dumps usw.)

1) RAM
Geplant war 16 GB RAM für 2 VMs zu nutzen und 6 Cores.
Einmal eine VM als Backupserver und einmal ein Server für NTFS-Speicher (verschiedene Zwecke).
Verbleiben 16 GB und 2 Cores für Proxmox.

Die erste VM haben wir mit den vollen16 GB RAM aufgesetzt (erst mal nur Testen)
CPU: 4 (1 Socket 4 Cores)
Laufwerk (virtio0): local-zfs:vm-241-disk,size=4000 G

Das Hostsystem hat sich heute morgen von allein resettet und zwischendurch gab es Aussetzer bei der Erreichbarkeit der VM. Proxmox zeigt für den Host über einige Stunden als Testbackups liefen 31 bis 33 GB RAM-Auslastung an. Zur selben Zeit auch 16 GB auf der VM.
Also vollständige RAM-Auslastung.

Frage:
Da stellt sich die Frage ob die 16 GB RAM die Proxmox zur Verfügung hat mit ZFS bei 7 TB Dateisystem ausreichen?
Aktuell mache ich dieselben Tests, aber die VM bekommt nur 4 GB, so das Proxmox dann 28 GB hätte.
RAM-Aufrüsting wäre möglich, sofern tatsächlich notwendig.


2) Cache
Aktuell habe ich "kein Cache" eingestellt. So habe ich es bei allen anderen Proxmox-Hosts, aber dort laufen auch SSDs mit einem Hardware-Raidcontoller (der auch ohne Cache).

Frage:
Welche Cache-Einstellung ist mit obigen Config sinnvoll? Also 3x SATA 4TB im Raidz-1 (7 TB)

 

[tschanness]

Hi,
default "schnappt" sich ZFS unter proxmox 50% vom RAM. Wenn die Performance reicht dann musst du nichts machen (ausser vllt einer VM nur 7 statt 8GB RAM zu geben)

No Cache passt.

LG Jonas

 

[fireon]

Du kannst ZFS hier auch einen kleinen Riegel vorschieben. Ich mach das so...

cat /etc/modprobe.d/zfs.conf
options zfs zfs_arc_max=12737418240

update-initramfs -u
reboot

 

[maxprox]

Das Hostsystem hat sich heute morgen von allein resettet und zwischendurch gab es Aussetzer bei der Erreichbarkeit der VM. Proxmox zeigt für den Host über einige Stunden als Testbackups liefen 31 bis 33 GB RAM-Auslastung an. Zur selben Zeit auch 16 GB auf der VM.
Also vollständige RAM-Auslastung.

in diesem Post 35 habe ich einige ZFS tuning Tips zusammengefasst und zum Teil erklärt.
Für dich wichtig ist vermutlich vor allem der Punkt 5, den fireon oben schon erwähnt hat.
Wichtiger erscheint mir aber dein oben zitierter Satz mt dem "von allein resettet" das verfolge ich nun schon seit über einem Jahr, und das kommt hier im Forum VIEL ZU HÄUFIG vor!
Hier muss ein noch nicht entdeckter Bug vorliegen oder eine bestimmte Inkompatibilität mit bestimmter Hardware.... Prüfe auf jeden Fall mal, ob die watchdog Einstellung im BIOS aus ist. Und guck mal hier Random Restarting und das ist nicht der einzige Thread mit diesem Problem.
Die Ursache dafür liegt definitiv nicht in einer zu schwachen oder unpassenden Hardware Ausstattung.
Ich hatte diese regelmäßig unregelmäßigen Neustarts auch bei einem ca. doppelt so stark ausgestatteten fabrikneuen Supermicro Server mit Hardware Raid und OHNE ZFS....
Grüße,
maxprox

 

[tschanness]

Hi,
Firmware von den Servern aktuell? Mindestens Xeon E5 haben ein Problem, E3 weiss ich nicht könnte aber gut möglich sein.

LG Jonas

 

[maxprox]

Hi Jonas,
das ging ja schnell.
Kannst du das zu dem E5 (E3) genauer beschreiben oder wo ich was zu dem Problem finde?
Ich hatte den Server wegen des restarts, der bei uns mindestens wöchentlich lief (noch in der ersten Testphase) zurück zum Support gegeben, da die Ausschreibung (einer Schule) inkl. Proxmox kompatibilität war.
Jetzt kam der Server schon vor ein paar Wochen zurück: das Problem sei gelöst.
Ich will ab dem Wochenende wieder Proxmox neu aufsetzten und erneut testen....
Da das Supermicro Board einen guten LSI Raidcontroller onboard hat, sehe ich hier keinen Grund diesen nicht zu nehmen und verzichte hier auf ZFS

EDIT:
Im anderen Thread hatte ich die Hardware geposted, es IST ein sind zwei E5:
Supermicro Server, with a X10DRC-LN4+ Mainboard ( Intel C612 chipset),
onboard it has 10xSATA 6G and a LSI 3108 SAS Chip with 8x SAS3 (12Gbps) Ports,
(like the LSI MegaRAID SAS3 9361-8i 12Gb/s RAID Controller)
2x Intel Xeon E5-2609v3 6-Core 1,9GHz 15MB 6.4GT/s; 64 GB RAM
HDDs:
2x Intel SSD DC S3700, 100GB,
4x HGST Ultrastar 7K4000 HUS724020ALS640 2TB 3.5" SAS-2 7200 U/min 64MB

Grüße,
maxprox

 

[tschanness]

Hi,
wir haben die derzeit nur als VMware Hosts, da haben die ein PSOD erzeugt. Ich weiss nicht ob das auch bei Proxmox Auswirkungen hat aber ich würde auf jeden Fall auf aktuelle Firmware prüfen...
Ich kann den KB Artikel bei VMware gerne mal raussuchen aber nicht vor Montag..

LG Jonas

 

[scaa]

Wir haben weit über 10 Server mit dem Mainboard X10DRI und 2x CPU E5-2630v3 in Verbindung mit Raidcontroller Adaptec 8805 und Samsung-SSDs (SM863) und SAS HUS724040ALS640 im Einsatz. Die laufen alle gut.
Jetzt der erste Server mit 2x E5-2630v4 auf demselben Board (Bios aktuell) und auch sonst alles gleich, macht massiv Probleme. Laufend Abstürze. Es wurde schon der RAM ersetzt, das Mainbord gegen ein X10DRL-i, aber keine Besserung. Nun wurde vor kurzen die CPUs wieder gegen die v3-Version getauscht und wir hoffen nun läufts endlich stabil... Das kann man aber erst in ein paar Wochen wirklich sagen.

 

[maxprox]

ja das reicht natürlich. wäre super, da ich bisher, wie sagt man: eher im Nebel gestochert habe, greife ich jede Info die weiterhilft oder eben Hilft weiter einzugrenzen.
Die vom Support habe nach deren Aussagen auch nichts anderes gemacht, als BIOS u. Firmware-Updates
Ich werde das über das Wochenende neu Aufsetzten und im Random Restarting Thread posten, sobalt ich ihn 14Tage ohne Restart am Laufen habe bzw. wenn er innerhalb dieser Zeit ungewollt neu startet.
Am Rande: Ich hatte in meinen Testphasen ca 8 Tage ein Stresslinux Live-USB laufen, völlig ohne Probleme und ohne Restarts.

 

[maxprox]

Wir haben weit über 10 Server mit dem Mainboard X10DRI und 2x CPU E5-2630v3 in Verbindung mit Raidcontroller Adaptec 8805 und Samsung-SSDs (SM863) und SAS HUS724040ALS640 im Einsatz. Die laufen alle gut.
Jetzt der erste Server mit 2x E5-2630v4 auf demselben Board (Bios aktuell) und auch sonst alles gleich, macht massiv Probleme. Laufend Abstürze. Es wurde schon der RAM ersetzt, das Mainbord gegen ein X10DRL-i, aber keine Besserung. Nun wurde vor kurzen die CPUs wieder gegen die v3-Version getauscht und wir hoffen nun läufts endlich stabil... Das kann man aber erst in ein paar Wochen wirklich sagen.

Ja, das ist das Problem, jeder Test und jeder Versuch mit einem anderen Parameter dauert unter Umständen Wochen..... (ein Scheiß)
Ich hatte ja plädiert einen Thomas Krenn Server zu nehemen, die verkaufen mitlerweile Server mit "garantierter" Proxmox kompatibilität.
Dann ist man auf der sicheren Seite, denn dann können die Hardware Leute nicht sagen, das liegt am "blöden P." oder Linux

 

[scaa]

Ich hatte ja plädiert einen Thomas Krenn Server zu nehemen, die verkaufen mitlerweile Server mit "garantierter" Proxmox kompatibilität.

Tja genau die Krennkonfig haben wir benutzt, aber nicht bei Krenn gebaut, sondern direkt im Rechenzentrum. So ein Teil kostet mal eben 9K und bei Krenn noch viel mehr. Das ist schon echt Mist, wenn es dann nicht läuft.

 

[wefinet]

(Vorab Disclaimer: ich bin Thomas-Krenn-Mitarbeiter).
Grundsätzlich können wir zwar natürlich keinen Support von Systemen übernehmen, die nicht bei uns bezogen wurden. Gerade bei Systemabstürzen können viele unterschiedliche Komponenten die Ursache sein - bis hin zu Netzteilen, die nicht ausreichend Strom für eine bestimmte Konfiguration liefern.

Ich denke aber, dass bei den Boards, die Sie gekauft haben, ein Microcode Update helfen könnte.
Das geschilderte Problem hört sich ähnlich zu dem Folgenden an - hier die Infos inkl. Lösung im Thomas-Krenn-Wiki:
Kernel panic - not syncing: Timeout: Not all CPUs entered broadcast exception handler

Weil im Thread oben VMware angesprochen wurde: hier die Links mit Infos zu dem Problem und der Lösung mittels Microcode-Update:
VMware PSOD auf Systemen mit Intel Xeon E5-2600 v4 CPUs und ESXi 5.5 oder 6.0
VMware Knowledge Base Artikel 2146388

Schöne Grüße,
Werner

 

[maxprox]

Hallo Herr Fischer,
das ist ja super nett!
Vielen Dank für die Info.
Grüße,
maxprox

 

[maxprox]

(Vorab Disclaimer: ich bin Thomas-Krenn-Mitarbeiter).
Werner

Hallo wefinet,

mit ist noch nicht ganz klar wohin dieses Microcode Update geschrieben wird. Wird das in die Firmware bzw. BIOS des Mainboards geschrieben oder in das Linux System?

EDIT:
Diesen ersten Teil der Frage konnte ich mir inzwischen beantworten: beim Microcode Updae handelt es sich um eine Firmware für Intel CPUs, welche letztendlich, nach

update-initramfs

im initramfs landet....

Als Folgefrage, wenn in das Linux System, ist das Microcode Update unabhängig von der Kernel Version oder kann man sich evtl. das Microcode Update ab einer gewissen Kernel Version sparen?
Oder macht es umgekehrt mehr Sinn, das Paket "intel-microcode" grundsätzlich zu installieren, um hier auf dem aktuellsten Stand zu sein?

@all => Supermicro BIOS / Firmware Update unter Linux
Auf folgender Supermicro Supportsite kann man sich nach einer Registrierung den Supermicro Update Manager "SUM" downloaden, den gibt es auch für Linux. Vor dem Erhalt des Links muss man den genauen Typ es Mainboard angeben und wird anschließend noch nach der im BIOS erhältlichen MAC Adresse des Management Ports gefragt. Kompatibel mit allen X10 und neueren Bords laut Website

Grüße,
maxprox

 

[wefinet]

Hallo maxprox,

erstmals gern geschehen für die Info und den Wiki Artikel

> Als Folgefrage, wenn in das Linux System, ist das Microcode Update unabhängig von der Kernel Version oder kann man sich evtl. das Microcode Update ab einer gewissen Kernel Version sparen?
[wefinet] Das Microcode Update ist unabhängig von der Kernel Version. Der Kernel selbst enthält kein Microcode-Update für die CPU, daher ist das Paket "intel-microcode" erforderlich, wenn man in das Problem läuft

> Oder macht es umgekehrt mehr Sinn, das Paket "intel-microcode" grundsätzlich zu installieren, um hier auf dem aktuellsten Stand zu sein?
[wefinet] sofern man keine Probleme hat, ist es nicht grundsätzlich erforderlich das Paket "intel-microcode" zu installieren.

Schöne Grüße,
Werner