Totalausfall ZFS

Aber hier ist ein Proxmox-Forum, und da erscheint die Hardware nicht optimal zu sein. Schon daß die 10 GB/s-Adapter nicht mit Debian-Kerneln neueren Datums funktionieren, ist ziemlich lästig. Beim Hersteller findet man Treiber zum Kernel 2.6.xx. Unterstützt wird RedHat und Windows, sonst nix. Vielleicht wird das mit dem Erscheinen von RedHat 8 ja besser, da da ja auch ein neuerer Kernel dabei ist. Mit TK und IBM (x3650M???) hatte ich deutlich weniger Trouble.

Ja, das ist ein Punkt, der sich verschlechtert hat mit dem Ubuntu-Kernel. Früher bis inkl. PVE 3 war es auf Basis des RHEL-kompatiblen Kernels und somit war die Hardwareunterstützung zumindest auf dem Papier besser. Gibt noch nicht viele Hersteller, die ihre Hardware Ubuntu-zertifizieren - warum auch - Entweder man knoddelt selbst dran rum (wie bei Debian) oder man hat Support von Proxmox oder man setzt gleicht auf zertifizierte Linux-Distributionen (RHEL, OL oder SUSE hier in DACH), da dies von den darauf laufenden Produkten wie z.B. Datenbanken oder ERP-Systemen vorgeschrieben wird.
 
Ich will es gerne noch einmal probieren. Im Übrigen war ich in (mindestens) einem Punkt nur zu blöde: Der RAID-Controller kann sehr wohl RAID 6 und weitere, ich hatte schlicht den Scroll-Balken übersehen.

Eingangs schrieb ich:
Egal ob ich einen ZFS Verbund der 6 HDD als RAID-Z1, RAID-Z2 oder RAID-10 aufsetzte, egal ob ich die SSD als L2ARC oder fürs Journal einsetzte oder nicht, egal ob ich sync=Standard oder sync=always nutze, erhielt ich folgende Symptomatik: Schreibvorgänge sind unerträglich langsam.
Ob das mit der SSD genauso langsam war wie ohne oder einfach nur langsam, weiß ich jetzt nicht mehr.


Derzeit schaufle ich gerade Echtdaten auf einen der Server, der danach mit HW-RAID erst einmal in Betrieb gehen soll. Dann habe ich einen IBM-Server frei, mit dem ich ähnliche Tests laufen lassen kann.
 
Wir haben jemanden der dieselbe Hardware nutzt. Vorher war VMWare drauf mit Problemen, jetzt Windows 2016 Baremetal. Die Performance ist grauenhaft (Denkpausen, 17MB/s Kopiertasks usw.) Es sind zwei identische Server HPE DL380 mit P816i-a SR, 2x5118, 128gb RAM, 14x1.8TB SAS im RAID 6. Wir versuchen es immer wieder mit dem neueste BIOS RAiD Firmware Treiber usw. Leider wenig Erfolg. Ich denke, nachdem ich den Fehlerbeschrieb hier gelesen habe nicht mehr, das es ein Softwareproblem ist.
 
... aber vielleicht durchaus ein Einstellungsproblem. Bedingt durch den Trouble mußte ich mich viel intensiver mit der Materie beschäftigen als wenn alles von Anfang an gelaufen hätte.

Die Server sind kompliziert. Sie bieten eine Vielzahl an Einstellungsmöglichkeiten, zudem eine Vielzahl an vorgefertigten Setups. Was nun überhaupt nicht intuitiv ist, ist die Tatsache, daß die Pre-setups keine vollumfänglichen Einstellungen sind, sondern daß jedes nur eine bestimmte Anzahl an Optionen ändert. Welche das sind, steht im "UEFI Workload-based Performance and Tuning Guide for HPE ProLiant Gen10 Servers and HPE Synergy" irgendwo in den Tiefen der HP-Website. Google weiß, wo.

Wählte man ursprünglich "Option A", dann "Option B", dann hat man diejenigen Einstellungen, die vom Standard ausgingen und sowohl "A" als auch "B" umfassen (sofern "B" nicht eine Einstellung von "A" überbügelt). Stellt man zurück auf (vermeintlich) "Standard", so hat man immer noch teilweise Einstellungen von "A" und "B". Man muß also erst einmal auf "System Defaults" oder "Manufacturing Defaults" (was auch immer der Unterschied ist), Reboot durchführen (erst beim Reboot erscheint die Meldung, daß die Defaults aktiviert werden), dann erneut das Wunschprofil wählen und nochmals booten. Erst dann sollte man die Einstellungen vornehmen, die einem wichtig sind.

Ich habe da jetzt "Virtualization Maximum Performance"-Option gewählt, die vermutlich dazu führen wird, daß das Gejaule unter Last aufhört, einfach weil die Server dann ständig jaulen (der Beweis steht noch aus, weil ich am WE mittels Fernzugriff aktiv war - ich meinte aber im ILO gesehen zu haben, daß die Lüfter schneller drehten).

Jetzt mit dem HW-RAID rennen die Systeme. Leider ist es nicht das, was ich haben wollte (eben kein ZFS), aber das soll mir erst einmal egal sein, weil ich mit dem dritten Server noch weitertesten kann.

Ihr habt Euer RAID mit 14 Platten, aber scheinbar ohne SSD. Wenn dann keinerlei Cache genutzt wird (wie es bei mir scheinbar war), dann ist die Performance zum Weinen. Wie wäre es mit 12 * 1,8TB + 2 * SSD (diese beiden im RAID1 als Cache-Array im WriteBack-Betrieb). Außerdem hat auch der Controller 4(?) GB an Pufferspeicher, der sich ebenfalls WriteBack aber auch WriteThrough betreiben läßt.

Aus Performance-Sicht will man in jedem Fall WriteBack, aus Sicherheitsgründen aber nur wenn der Controllerspeicher batteriegepuffert und ein eventuelles SSD-Cache als RAID-1 betrieben wird (aufpassen, denn das Setup versucht einem erst einmal, die beiden SSD als RAID-0 anzudrehen).
 
Möglich. Wegen diesem Problem wurde auch schon einiges an Zeit und HP Support verwendet. HP findet kein Problem und die sollten die Optionen kennen. Es mangelt jedenfalls nicht ein Einstellmöglichkeiten. Auch an den Lüftern haben wir schon gedreht, um die Thermik als Ursache auszuschliessen. Bei voller Geschwindigkeit fallen einem fast die Ohren ab.

Wir haben auch 2x SDD im RAID 1 als Cache. Es sind SAS Platten mit 10k, ich hätte schon mit 150M/s - 200MB/s pro Platte im Mittel gerechnet, aber im Verbund mit allen Platten (auch mit SmartCache RAD1) bremst das RAID stark aus. Nach der Verkleinerung auf 8 Platten und ohne Smartcache, scheint die Performance jedoch tatsächlich brauchbar zu sein. Naja, wir lassen das jetzt so.

Wäre sehr interessiert daran, was bei Ihrem dritten Server rauskommt. Da wir ausschliesslich Supermicro Server einsetzen, habe ich derartige Probleme noch nicht erlebt.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!