Hallöchen,
habe wegen der DSGVO geschichte aufgetragen bekommen, ein verschlüsseltes PVE aufzusetzen. Nun habe ich die ersten Maschinen per Backup/Restore umgezogen und ziemlich "brutale" Probleme bemerkt. Zuerst aber mal das Setup:
SSD-Raid 1 (2x 500GB SSD) -> LUKS -> LVM (mit thin provisioning)
HDD-Raid 1 (2x 3TB HDD) -> LUKS -> LVM (mit thin provisioning)
Ich hatte über nacht eine Windows Maschine restoren lassen und deswegen vermutlich nichts bemerkt. Ich habe zwar gesehen, dass der IOWait im Webinterface bei 6 bis 7 Prozent während des restores lag, jedoch habe ich mir dabei nichts weiter gedacht.
Nun lief die erste VM und ich habe dann das zweite backup restored (auf die HDDs). Anfangs steigt der IOWait Wert wieder auf 6 bis 7 Prozent bis dann plötzlich alles hängt. Das webinterface reagiert nur noch sehr langsam oder gar nicht. Die bereits laufende VM pingt nicht mehr.
Ich kann mich jedoch noch ohne probleme per SSH auf dem server anmelden und dort Befehle ausführen.
Zwischendrin beruhigt sich alles wieder für ca 10 sekunden (webinterface funktioniert wieder und aktualisiert die job logs) und die VMs die ich im hintergrund dauerhaft anpinge holen alle icmp responses nach.
Habe in der crypttab discard für das SSD-Raid und HDD-Raid eingestellt. Im RAID-Controller sind die RAIDs mit Adaptive Read Ahead und Write Through konfiguriert.
Hier noch ein Bild aus dem Webinterface. Man kann gut sehen wo das Webinterface komplett gehangen hat:
Muss man eventuell noch irgendwas einstellen um dieses Problem zu beheben?
Vielen Dank im Voraus
Edit: Mir ist jetzt zusätzlich noch aufgefallen, dass da irgendwo ein cache sein muss. Ich habe die dirty werte in der sysctl bereits auf 512MB begrenzt. Kann aber z.B. innerhalb einer VM immer noch mit ca 800 MB/s auf das HDD RAID kopieren ...
habe wegen der DSGVO geschichte aufgetragen bekommen, ein verschlüsseltes PVE aufzusetzen. Nun habe ich die ersten Maschinen per Backup/Restore umgezogen und ziemlich "brutale" Probleme bemerkt. Zuerst aber mal das Setup:
SSD-Raid 1 (2x 500GB SSD) -> LUKS -> LVM (mit thin provisioning)
HDD-Raid 1 (2x 3TB HDD) -> LUKS -> LVM (mit thin provisioning)
Ich hatte über nacht eine Windows Maschine restoren lassen und deswegen vermutlich nichts bemerkt. Ich habe zwar gesehen, dass der IOWait im Webinterface bei 6 bis 7 Prozent während des restores lag, jedoch habe ich mir dabei nichts weiter gedacht.
Nun lief die erste VM und ich habe dann das zweite backup restored (auf die HDDs). Anfangs steigt der IOWait Wert wieder auf 6 bis 7 Prozent bis dann plötzlich alles hängt. Das webinterface reagiert nur noch sehr langsam oder gar nicht. Die bereits laufende VM pingt nicht mehr.
Ich kann mich jedoch noch ohne probleme per SSH auf dem server anmelden und dort Befehle ausführen.
iotop zeigt dmcrypt_write mit 99,99% IO usage an. Die HDDs und SSDs sind alle soweit in Ordnung (SMART werte alle in Ordnung).Zwischendrin beruhigt sich alles wieder für ca 10 sekunden (webinterface funktioniert wieder und aktualisiert die job logs) und die VMs die ich im hintergrund dauerhaft anpinge holen alle icmp responses nach.
Habe in der crypttab discard für das SSD-Raid und HDD-Raid eingestellt. Im RAID-Controller sind die RAIDs mit Adaptive Read Ahead und Write Through konfiguriert.
Hier noch ein Bild aus dem Webinterface. Man kann gut sehen wo das Webinterface komplett gehangen hat:
Muss man eventuell noch irgendwas einstellen um dieses Problem zu beheben?
Vielen Dank im Voraus
Edit: Mir ist jetzt zusätzlich noch aufgefallen, dass da irgendwo ein cache sein muss. Ich habe die dirty werte in der sysctl bereits auf 512MB begrenzt. Kann aber z.B. innerhalb einer VM immer noch mit ca 800 MB/s auf das HDD RAID kopieren ...
Last edited: