Performance Frage

[SHE]

Hallo zusammen,

ich bin noch recht neu mit dem Thema Proxmox unterwegs. Folgendes Setup
- PVE Server mit 4 x Intel(R) Xeon(R) E-2224 CPU @ 3.40GHz (1 Socket)
- 32GB RAM
- 4x 1GbE LACP Bond am HP1810 Switch
- 2x 4TB ZFS Mirror hinter einem 6GB SAS Controller
- aktuell 2x VM
- Windows 2019
- VDR mit Debian

proxmox-ve: 6.2-2 (running kernel: 5.4.65-1-pve) pve-manager: 6.2-15 (running version: 6.2-15/48bd51b6) pve-kernel-5.4: 6.2-7 pve-kernel-helper: 6.2-7 pve-kernel-5.4.65-1-pve: 5.4.65-1 pve-kernel-5.4.34-1-pve: 5.4.34-2 ceph-fuse: 12.2.11+dfsg1-2.1+b1 corosync: 3.0.4-pve1 criu: 3.11-3 glusterfs-client: 5.5-3 ifupdown: 0.8.35+pve1 ksm-control-daemon: 1.3-1 libjs-extjs: 6.0.1-10 libknet1: 1.16-pve1 libproxmox-acme-perl: 1.0.5 libpve-access-control: 6.1-3 libpve-apiclient-perl: 3.0-3 libpve-common-perl: 6.2-4 libpve-guest-common-perl: 3.1-3 libpve-http-server-perl: 3.0-6 libpve-storage-perl: 6.2-10 libqb0: 1.0.5-1 libspice-server1: 0.14.2-4~pve6+1 lvm2: 2.03.02-pve4 lxc-pve: 4.0.3-1 lxcfs: 4.0.3-pve3 novnc-pve: 1.1.0-1 proxmox-backup-client: 1.0.1-1 proxmox-mini-journalreader: 1.1-1 proxmox-widget-toolkit: 2.3-10 pve-cluster: 6.2-1 pve-container: 3.2-2 pve-docs: 6.2-6 pve-edk2-firmware: 2.20200531-1 pve-firewall: 4.1-3 pve-firmware: 3.1-3 pve-ha-manager: 3.1-1 pve-i18n: 2.2-2 pve-qemu-kvm: 5.1.0-6 pve-xtermjs: 4.7.0-2 qemu-server: 6.2-19 smartmontools: 7.1-pve2 spiceterm: 3.1-1 vncterm: 1.6-2 zfsutils-linux: 0.8.4-pve2

Dazu:
- PBS Server auf physikalischem Host, der schön älter ist
- 4x CPU, älter
- 4GB RAM
- 1 GbE am HP1818 Switch
- ZFS Datastore auf Single Disk

proxmox-backup: 1.0-4 proxmox-backup-server: 1.0.1-1 pve-kernel-5.4: 6.2-7 pve-kernel-helper: 6.2-7 pve-kernel-5.4.65-1-pve: 5.4.65-1 ifupdown2: 3.0.0-1+pve3 libjs-extjs: 6.0.1-10 proxmox-backup-docs: 1.0.1-1 proxmox-backup-client: 1.0.1-1 proxmox-mini-journalreader: 1.1-1 proxmox-widget-toolkit: 2.3-10 pve-xtermjs: 4.7.0-2 smartmontools: 7.1-pve2 zfsutils-linux: 0.8.4-pve2

Eben habe ich ein Backup gestartet. Erst war das System der Meinung, das quemu Versionen nicht zueinander passen, aber nach einem Reboot startet es dann, aber...
INFO: creating Proxmox Backup Server archive 'vm/252/2020-11-18T17:27:32Z' INFO: issuing guest-agent 'fs-freeze' command INFO: issuing guest-agent 'fs-thaw' command ERROR: VM 252 qmp command 'guest-fsfreeze-thaw' failed - got timeout INFO: started backup task '75734766-6a22-4da4-9aec-0bcf9a8f8c60' INFO: resuming VM again INFO: virtio0: dirty-bitmap status: created new INFO: virtio1: dirty-bitmap status: created new INFO: 0% (304.0 MiB of 1.4 TiB) in 3s, read: 101.3 MiB/s, write: 77.3 MiB/s INFO: 1% (14.6 GiB of 1.4 TiB) in 19m 6s, read: 12.9 MiB/s, write: 12.8 MiB/s INFO: 2% (29.3 GiB of 1.4 TiB) in 40m 3s, read: 11.9 MiB/s, write: 11.9 MiB/s

Zu meinen Fragen:
1) ich hätte erwartet, dass nach dem Backup an der VM ein Snapshot steht. Tut es aber nicht. Ist das richtig so? Die VM ist gelocked, was ok ist.
2) das PVE liefert mir am Anfang über 70MB/s. Nicht berauschen wie ich finde. Schlimmer ist es aber, dass es nun total ein. Mein PBS Store ist nicht der Schnellste, aber so. Kann das sein aus eurer Erfahrung heraus?
3) Was macht "guest-fsfreeze-thaw" genau und was könnte der Grund des Fehlers sein?
4) Was könnt ihr als PBD HW empfehlen?

Danke
Stephan

 

[Dunuin]

Ich persönlich habe noch kein PBS benutzt, da das noch in der Beta ist und nicht für den Produktiveinsatz gedacht ist.
Proxmox selbst speichert seine Backups aber nicht als Snapshot sondern erstellt ein Archiv mit allen Daten. Vielleicht ist das ja beim BPS anders.
4GB RAM ist eeecht wenig wenn du ZFS nutzt. Faustformel ist 4GB + 1GB RAM pro 1TB Rohkapazität der Laufwerke alleine für ZFS. Und dann braucht das Betriebsystem ja auch noch RAM. Zuwenig RAM oder Pool über 80% gefüllt und die Performance kann extrem einbrechen.

 

[SHE]

ok, die Faustformel kannt ich nicht. Das wird das Problem sein. Merci.

 

[Dunuin]

Bei dem Rechner mit 32GB RAM wird ZFS mit Standardeinstellung übrigens versuchen 16GB RAM für ZFS als ARC zu nutzen. Solltest du vielleicht überlegen das selbst etwas zu limitieren, damit du mehr RAM für die VMs nutzen kannst. Falls du dich wunderst, warum da der RAM immer voll ist.

 

[SHE]

Hallo Dunuin,

herzlichen Dank für diesen Link. Der war wirklich sehr wertvoll. Habe damit einiges an meinem System optimiert. Nachdem ich das PBS System getestet habe, habe ich es wieder gelöscht. Warum?

1. Die HW war wirklich zu schwach
2. mit PBS habe ich keine Single File Restore hinbekommen, aber das habe ich wahrscheinlich einfach nicht entdeckt :-(

Nun überlege ich, wie ich es gestalten kann und bin etwas unschlüssig, da zu viele Optionen. Ich habe meinen PVE auf einem USB Stick installiert. Mach ich mit ESXi auch immer, da der ja nur beim Booten benötigt wird. Scheinbar macht das Proxmox etwas anders...

Zu meinen Fragen/ Ideen:

1. kann ich Proxmox einfach auf eine Festplatte neu installieren und die bestehenden Konfigurationen (ZFS/ VM/ CT) importieren oder muss ich dann alles komplett neu machen? Hintergrund: Habe in meiner HW noch 2 Slots für Disken frei und könnte nachschieben für ein gespiegeltes ZFS mit OS Proxmox und VM/CT
2. Die frei gewordenen Disken könnte ich "RAW" zu einem virtuellen PBS durchreichen und hätte wieder Backup, zwar im gleich Gehäuse, aber besser wie nix

Danke für Feedback
Stephan

 

[Dunuin]

Nun überlege ich, wie ich es gestalten kann und bin etwas unschlüssig, da zu viele Optionen. Ich habe meinen PVE auf einem USB Stick installiert. Mach ich mit ESXi auch immer, da der ja nur beim Booten benötigt wird. Scheinbar macht das Proxmox etwas anders...

Ja, USB-Stick ist nichts bei Proxmox. Proxmox schreibt jede Minute auf das Bootlaufwerk und wegen Write Amplification kann das gerne mal auf 30GB am Tag kommen. Da USB-Sticks normalerweise keinerlei Wear Leveling haben sind die dann sehr schnell hin.

1. kann ich Proxmox einfach auf eine Festplatte neu installieren und die bestehenden Konfigurationen (ZFS/ VM/ CT) importieren oder muss ich dann alles komplett neu machen? Hintergrund: Habe in meiner HW noch 2 Slots für Disken frei und könnte nachschieben für ein gespiegeltes ZFS mit OS Proxmox und VM/CT

VMs importieren ist ziemlich leicht. Einfach nur mit Proxmox ein Backup von denen erstellen und das dann importieren. Lief bei mir bisher immer problemlos. LXCs ist da schon schwieriger, da die ja nicht komplett isoliert sind. Sollte auch per Import gehen, aber ggf. musst du dann noch einiges wieder selbst anpassen (z.B. wenn du einen Netzwerk-Share im unprivilegierten LXC eingebunden hast).
User usw. musst du dann auf der neuen Installation selbst neu einrichten.
Ich habe mein Proxmox auch schon mehrfach neu aufgesetzt und am meisten hatte mich dabei genervt, dass da alle Firewall-Regeln verlorengegangen sind und ich die neu erstellen musste. Hatte dann später gelesen, dass man da ein bestimmtes Proxmox-Verzeichnis (weiß gerade nicht mehr welches) sichern sollte, weil da alle Proxmox-Konfigurationen gespeichert sind.

Aber neu aufsetzen musst du Proxmox dann ja so oder so, wenn das aktuell nur vom USB-Stick läuft.

Die frei gewordenen Disken könnte ich "RAW" zu einem virtuellen PBS durchreichen und hätte wieder Backup, zwar im gleich Gehäuse, aber besser wie nix

Du meinst HDDs per PCI Passthrough an die VM durchreichen? Das geht glaube ich nur wenn du einen eigenen unbenutzten Controller für die HDDs frei hast.