Hi! Ich hab sicher schon ein gutes Dutzend Proxmox-Installationen (vor Ort und gehostet) hinter mir und die laufen alle gut. Nur die eine beim Hetzner macht mir echt Kopfzerbrechen. Es ist ein dedicated Server mit 12 Cores, 128 GB RAM und 4 Platten im ZFS-RAID. Der Server läuft 1-2 Tage anständig, dann wird er immer langsamer. In den Stats sind keine großen Belastungen zu sehen, keine CPU-Last, kein Traffic etc. Weder im Node, noch in den VMs. Es gibt keine "stalled" Prozesse. Ich hab die Log Files schon durchforstet und nichts Verdächtiges gefunden. Swap ist mit 8 GB auch nicht zu klein. Wo könnte man noch suchen? Irgendwelche überlaufende Buffer, Stacks etc.? Bin echt sehr dankbar für jeden Tipp.
Lahme Kiste
- Thread starter awado
- Start date
Also nur HDDs im Storage? Dann wundert mich die schlechte Performance nicht. HDDs sind super, um für wenig Geld große Datenmengen zu speichern. Für alles mit vielen parallelen Schreib- und Lesezugriffen ( wozu VMs halt gehören) nicht
Last edited:
Amd oder intel?
Stromsparfunktionen an?
Was mir auffällt, immer wenn proxmox bei einem deticated server hier mit problemen aufschlägt, ist das immer bei hetzner? Zufall?
Stromsparfunktionen an?
Was mir auffällt, immer wenn proxmox bei einem deticated server hier mit problemen aufschlägt, ist das immer bei hetzner? Zufall?
Nun ja HDDs und ZFS funktioniert, aber nur, wenn man noch einen ZFS special device über 2x SSDs im zfs mirror mit einbindet. Bei ZFS geht es immer um die IOPs für random 4k R/W, die kann man massiv aufblähen, wenn man die ZFS Metadaten dann in bzw. auf dem ZFS special device speichert.
Der Anfang der ausgabe von 'arc_summary' ist:
Verstehe. Das heißt, wenn man ohne diese SSDs arbeitet, sind es die Metadaten, die massiv bremsen? Die Konfig ist insofern anders als bisher, als dass es nur zwei HDDs sind. Das ist ein Austausch-Server aufgrund eines Defekts. Der vorige hatte 4 HDDs.
Bash:
ARC size (current): 16.0 % 10.0 GiB
Target size (adaptive): 16.0 % 10.1 GiB
Min size (hard limit): 6.2 % 3.9 GiB
Max size (high water): 16:1 62.9 GiBVerstehe. Das heißt, wenn man ohne diese SSDs arbeitet, sind es die Metadaten, die massiv bremsen? Die Konfig ist insofern anders als bisher, als dass es nur zwei HDDs sind. Das ist ein Austausch-Server aufgrund eines Defekts. Der vorige hatte 4 HDDs.
Nun ZFS ist ein Baukasten, den man mit unterschiedlichen Datenträgern verwenden kann.
Mit 4x HDDs und 2x SSDs ist, nach Analyse der Anforderungen, meiner Erfahrung und für meine Anwendung, das beste Setup:
3x VDEV
1) 2x VDEV ZFS 2-fach Mirror HDDs und
2) 1x VDEV ZFS Mirror SSD als ZFS Special Device.
Der Baukasten ZFS hat dann noch die unterschiedlichsten Parameter, die man setzen "kann/soll".
Siehe OpenZFS.
Ein ZFS Dataset basierend auf HDDs und sollte zu maximal ca. 80 % gefüllt werden.
Man kann z.B.
Dann ist außer für das ZFS Dataset des Backupservers, ein
Das sind alles Metadaten, die dann auch auf dem VDEV2 ZFS Mirror 2x SSD gespeichert würden.
Da ZFS ein Copy on Write System ist, werden neue Daten verkettet irgendwo auf den HDDs verteilt gespeichert.
Danach erst der Datensatz verlinkt.
D.h. die R/W Köpfe einer/ aller HDD sind laufend am arbeiten, das dauert.
Würden nun noch zusätzlich die Metadaten, also da wo ist der 128k Block, dort gespeichert sinkt über die Zeit der Gesamtdurchsatz weiter ab.
Ein ZFS Pool mit 4x HDDs, wie oben beschrieben, hat den ca. 4-fachen IOPs in Read und den ca. 2-fachen IOPs Write Fall, bezogen auf nur eine HDDs IOPs mit 4k Blocksize.
# Seagate IronWolf Pro NAS-Festplatten, 4 TB, CMR ca. 125 - 150 IOP/s
Dann habe wir da noch die weiteren ZFS Parameter, wie z.B.
Auf basis der Datesets kann man also die unterschiedlichsten Parameter auf die beste Durchsatz anpassen.
Die ZFS Kompression "on the fly" sorgt gleichzeitig für eine hören Lesedurchsatz. Bei Schreiben der Daten erledigt das heute die CPU ohne weitere Last.
Wunder sollte man mit dem o.g. HDD Setup nicht erwarten, 2,5 GBit/s sollte auszulasen sein.
Mit 4x HDDs und 2x SSDs ist, nach Analyse der Anforderungen, meiner Erfahrung und für meine Anwendung, das beste Setup:
3x VDEV
1) 2x VDEV ZFS 2-fach Mirror HDDs und
2) 1x VDEV ZFS Mirror SSD als ZFS Special Device.
Der Baukasten ZFS hat dann noch die unterschiedlichsten Parameter, die man setzen "kann/soll".
Siehe OpenZFS.
Ein ZFS Dataset basierend auf HDDs und sollte zu maximal ca. 80 % gefüllt werden.
Code:
zfs get quota <zfs-pool>
zfs set quota=<80%-Poolsize> <zfs-pool>zfs set quota=460T <zfs-pool> schreiben.Dann ist außer für das ZFS Dataset des Backupservers, ein
zfs set atime=off <zfs-pool> sinnvoll.Das sind alles Metadaten, die dann auch auf dem VDEV2 ZFS Mirror 2x SSD gespeichert würden.
Da ZFS ein Copy on Write System ist, werden neue Daten verkettet irgendwo auf den HDDs verteilt gespeichert.
Danach erst der Datensatz verlinkt.
D.h. die R/W Köpfe einer/ aller HDD sind laufend am arbeiten, das dauert.
Würden nun noch zusätzlich die Metadaten, also da wo ist der 128k Block, dort gespeichert sinkt über die Zeit der Gesamtdurchsatz weiter ab.
Ein ZFS Pool mit 4x HDDs, wie oben beschrieben, hat den ca. 4-fachen IOPs in Read und den ca. 2-fachen IOPs Write Fall, bezogen auf nur eine HDDs IOPs mit 4k Blocksize.
# Seagate IronWolf Pro NAS-Festplatten, 4 TB, CMR ca. 125 - 150 IOP/s
Dann habe wir da noch die weiteren ZFS Parameter, wie z.B.
zfs get recordsize <zfs-datastore> # default 128k , es werden also 32x 4k Blöcke am "Stück" benötigt, auch wenn die Datei nur 1k klein sollte.Auf basis der Datesets kann man also die unterschiedlichsten Parameter auf die beste Durchsatz anpassen.
Die ZFS Kompression "on the fly" sorgt gleichzeitig für eine hören Lesedurchsatz. Bei Schreiben der Daten erledigt das heute die CPU ohne weitere Last.
Wunder sollte man mit dem o.g. HDD Setup nicht erwarten, 2,5 GBit/s sollte auszulasen sein.
Last edited:
Cool, danke für die ausführliche Erklärung. "Backupserver" gibt es keinen, falls Du einen zweiten damit meinst. Es ist nur der eine. Backups landen auf einem SMB Share. Ich werd mich zu den Einstellungen mal einlesen. Greifen diese Einstellungen zur Laufzeit (ohne Reboot) bereits?
Kein Zufall, bei Hetzner sind einfach extrem viele PVE und PBS Installationen.
Bei einigen anderen Anbietern bekommt man PVE gar nicht installiert.