Guten Morgen,
ich habe so das Gefühl, dass unser ZFS SAS Pool irgendwie kaum Leistung hat (lesen/schreiben). Wie müsste ich einen Benchmark per "fio" angehen um hier mal ein aussagekräftiges Ergebnis zu bekommen? Eine Subvol hab ich schonmal angelegt.
Wie kann es nun also zu dieser unterirdischen Leistung kommen? Haben wir hier generell ggfl auch ein Kernel Problem?
Auf diversen VMs sind solche Fehler zu sehen:
[764149.028642] NMI watchdog: BUG: soft lockup - CPU#1 stuck for 22s! [kworker/1:0:31229]
[764149.028644] NMI watchdog: BUG: soft...
Ich weiß ja nicht was du da für Hardware einsetzt. Normal kann man ein Port unttaged und tagged konfigurieren.
Zusätzlich ist deine Konfiguration da keine VLAN Konfiguration: https://wiki.debian.org/NetworkConfiguration#Bridges_and_VLANs
Zum einen braucht nicht jede Bridge eine IP, das kannste dir sparen, hier reicht die vmbr fürs "Management. Zum Anderen musst du die ganzen Bridges nicht anlegen, Proxmox hat VLAN Tagging in den VMs (gibt man bei der Netzwerk Konfiguration der VM an).
Wie sieht die Switch Konfiguration speziell...
So und los gehts, zum einen habe ich mal ein Subvol "test" angelegt und FIO ausgeführt. Sehe ich das richtig, dass hier eigentlich so gar keine Leistung vorhanden ist? Weiterhin die Log Ausgabe von vzdump sowie iostats (als Dateianhang).
fio --filename=/dev/zvol/sata/test --sync=1 --rw=randrw...
Das Backup aus dem SAS Pool betrifft zBsp einen einfachen Mailserver auf dem vor allem bei Backup Durchführung in der Zeit absolut nichts los ist, genauso bei allen anderen VMs. Dies sind in der Regel Mail-, Web-, oder DB Server.
Hier mal die Ausgaben:
Ok, macht hier also nicht wirklich viel Sinn.
Mich wundert dann die Geschwindigkeit der Backups etwas, Modus wie gesagt überall gleich:
ZFS Pool mit SSDs im Mirror (3 Mirrors) bringen im Schnitt 500mb/s Übertragungsgeschwindigkeit.
ZFS Pool mit SAS 12G 10k rpm Platten im Mirror (4 Mirrors)...
Ich hatte oben ja im Eingangspost einen Log Output eines der größten Backups geschrieben.
Die Backups laufen alle auf die gleiche Art und Weise:
Basissystem ist ZFS, Backup per Snapshot Modus mit LZO auf externes NAS.
Die größte VM hat eine Disk Größe von 300GB.
Ah wunderbar, das las sich so als ob die Subsets auch eigene Größen gehabt hätten.
Damit wäre das geklärt, danke.
Würden nun ca. 80GB maximal verfügbarer Speicher ausreichen um zbsp /var/lib/vz per Konfiguration in vzdump als "temp dir" zu nutzen?
Ich hatte per ISO PVE 5 installiert, nun wurde hier automatisch der ZFS Pool "rpool" mit den Pools "rpool/ROOT" und "rpool/data" angelegt. Da alle VMs und LXC auf eigenen Pools sitzen, sowie Templates, ISOs und Backups auf einem NFS würde ich nun gerne das angelegte Storage "local-zfs" das auf...
Jawoll, da ist alles in Ordnung. Auch wenn ich die Syslog im GUI aufrufe passt dort Uhrzeit und Datum.
Nur in der Firewall Log geht es mit dem 01.01.1970 los.
root@pve-node01:~# date
Wed Aug 23 14:48:18 CEST 2017
PS: ich habe mal an den Anfang der Datei geschaut, sieht etwas komisch aus:
0 5 -...
Ok, werde ich dann mal testen (natürlich darf ich erstmal prüfen ob ein ACPI Shutdown von jeder VM möglich ist).
Würde es noch etwas bringen in der vzdump Konfiguration das "tmpdir" anzugeben? Wäre dies irgendwie möglich in einer Umgebung bei der kein lokaler Speicherplatz verfügbar ist aber ein...
Das hat nun soweit alles geklappt, die Datei ist nur 20-25KB groß und sollte dann daher ja kein Problem geben. Ich habe beim Logging festgestellt, dass hier weder Datum noch Uhrzeit passen:
203 6 tap203i0-IN 01/Jan/1970:01:00:00 +0100 policy DROP: .....
Ich würde doch gerne die Zugriffe mit...
Ich darf nach Vorgabe nur Backups per Snapshot Mode machen. Da ich hier vor allem aus einem 36 Kern System ganze 30 VMs sichere wären die Downtimes gegen Ende nicht tragbar. Die Backups laufen derzeit um 0:00 Uhr an und sind zwischen 6 und 7 Uhr dann fertig.
Ich hänge mich hier mal dran, Setup wie folgt: VM Storage = ZFS Pool mit SAS 12G 7,2k rpm Platten mit NFS Backup per 10GE DAC auf ein Storage mit einem Raid 6. Allerdings habe ich während der Backups extrem schwankende Werte, dies sieht man vor allem ganz gut durch die letzte Meldung wie schnell...
Das die VM voll ist und Proxmox bei einem Host Reboot nicht mehr läuft sind wohl eher 2 getrennte paar Schuhe. Deine VM hat 7TB Speicherplatz, was du damit in der VM machst kann der Host schlecht wissen. Boote ne Rescue CD in der VM und prüfe einfach was da los ist.
Die echten Kerne sind ausschlaggebend, nicht HT.
@fireon schonmal ne SwyxIT Telefonanlage virtualisiert? Die schmiert dir nämlich mit VirtIO im Minutentakt ab. Klar, grundsätzlich erstmal VirtIO probieren. Bei Problemen ist es aber meist die Netzwerk Virtualisierung und mit E1000 klappts dann.
This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
By continuing to use this site, you are consenting to our use of cookies.