Hm, war es nicht so, dass RAID5 tendenziell langsamer ist als RAID1 und RAID10? Zumindestens, falls mal nach einen Plattenausfall der Restore läuft? Oder war das eine ZFS-Eigenheit?
PVE-Neuinstallation - welches Dateisystem
- Thread starter ollibraun
- Start date
Klar, ist das langsamer, wenn der Rebuild läuft - aber das hat man ja nicht täglich ;-)
Aber ich denke das das bei allen Raid's dann so ist!
Das Klonen kommt noch. Die Smartwerte; ich sehe da nichts, was ich als Problem identifizieren würde:
Bash:
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-6.11.0-1-pve] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Model Number: SAMSUNG MZQL21T9HCJR-00A07
Serial Number: S64GNE0R802238
Firmware Version: GDC5902Q
PCI Vendor/Subsystem ID: 0x144d
IEEE OUI Identifier: 0x002538
Total NVM Capacity: 1,920,383,410,176 [1.92 TB]
Unallocated NVM Capacity: 0
Controller ID: 6
NVMe Version: 1.4
Number of Namespaces: 32
Local Time is: Thu Dec 5 19:33:10 2024 CET
Firmware Updates (0x17): 3 Slots, Slot 1 R/O, no Reset required
Optional Admin Commands (0x005f): Security Format Frmw_DL NS_Mngmt Self_Test MI_Snd/Rec
Optional NVM Commands (0x005f): Comp Wr_Unc DS_Mngmt Wr_Zero Sav/Sel_Feat Timestmp
Log Page Attributes (0x0e): Cmd_Eff_Lg Ext_Get_Lg Telmtry_Lg
Maximum Data Transfer Size: 512 Pages
Warning Comp. Temp. Threshold: 80 Celsius
Critical Comp. Temp. Threshold: 83 Celsius
Supported Power States
St Op Max Active Idle RL RT WL WT Ent_Lat Ex_Lat
0 + 25.00W 14.00W - 0 0 0 0 70 70
1 + 8.00W 8.00W - 1 1 1 1 70 70
=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
SMART/Health Information (NVMe Log 0x02)
Critical Warning: 0x00
Temperature: 40 Celsius
Available Spare: 100%
Available Spare Threshold: 10%
Percentage Used: 3%
Data Units Read: 109,079,828 [55.8 TB]
Data Units Written: 320,054,752 [163 TB]
Host Read Commands: 1,496,875,849
Host Write Commands: 3,110,509,828
Controller Busy Time: 1,999
Power Cycles: 52
Power On Hours: 25,144
Unsafe Shutdowns: 17
Media and Data Integrity Errors: 0
Error Information Log Entries: 0
Warning Comp. Temperature Time: 0
Critical Comp. Temperature Time: 0
Temperature Sensor 1: 40 Celsius
Temperature Sensor 2: 49 Celsius
Error Information (NVMe Log 0x01, 16 of 64 entries)
No Errors Logged
Bash:
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-6.11.0-1-pve] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Model Number: SAMSUNG MZQL21T9HCJR-00A07
Serial Number: S64GNS0TB03092
Firmware Version: GDC5902Q
PCI Vendor/Subsystem ID: 0x144d
IEEE OUI Identifier: 0x002538
Total NVM Capacity: 1,920,383,410,176 [1.92 TB]
Unallocated NVM Capacity: 0
Controller ID: 6
NVMe Version: 1.4
Number of Namespaces: 32
Local Time is: Thu Dec 5 19:33:14 2024 CET
Firmware Updates (0x17): 3 Slots, Slot 1 R/O, no Reset required
Optional Admin Commands (0x005f): Security Format Frmw_DL NS_Mngmt Self_Test MI_Snd/Rec
Optional NVM Commands (0x005f): Comp Wr_Unc DS_Mngmt Wr_Zero Sav/Sel_Feat Timestmp
Log Page Attributes (0x0e): Cmd_Eff_Lg Ext_Get_Lg Telmtry_Lg
Maximum Data Transfer Size: 512 Pages
Warning Comp. Temp. Threshold: 80 Celsius
Critical Comp. Temp. Threshold: 83 Celsius
Supported Power States
St Op Max Active Idle RL RT WL WT Ent_Lat Ex_Lat
0 + 25.00W 14.00W - 0 0 0 0 70 70
1 + 8.00W 8.00W - 1 1 1 1 70 70
=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
SMART/Health Information (NVMe Log 0x02)
Critical Warning: 0x00
Temperature: 39 Celsius
Available Spare: 100%
Available Spare Threshold: 10%
Percentage Used: 1%
Data Units Read: 30,994,196 [15.8 TB]
Data Units Written: 165,492,689 [84.7 TB]
Host Read Commands: 1,499,419,150
Host Write Commands: 2,471,248,271
Controller Busy Time: 1,269
Power Cycles: 41
Power On Hours: 9,732
Unsafe Shutdowns: 14
Media and Data Integrity Errors: 0
Error Information Log Entries: 0
Warning Comp. Temperature Time: 0
Critical Comp. Temperature Time: 0
Temperature Sensor 1: 39 Celsius
Temperature Sensor 2: 49 Celsius
Error Information (NVMe Log 0x01, 16 of 64 entries)
No Errors Logged
Bash:
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-6.11.0-1-pve] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Model Number: SAMSUNG MZQL21T9HCJR-00A07
Serial Number: S64GNE0R512640
Firmware Version: GDC5902Q
PCI Vendor/Subsystem ID: 0x144d
IEEE OUI Identifier: 0x002538
Total NVM Capacity: 1,920,383,410,176 [1.92 TB]
Unallocated NVM Capacity: 0
Controller ID: 6
NVMe Version: 1.4
Number of Namespaces: 32
Local Time is: Thu Dec 5 19:33:18 2024 CET
Firmware Updates (0x17): 3 Slots, Slot 1 R/O, no Reset required
Optional Admin Commands (0x005f): Security Format Frmw_DL NS_Mngmt Self_Test MI_Snd/Rec
Optional NVM Commands (0x005f): Comp Wr_Unc DS_Mngmt Wr_Zero Sav/Sel_Feat Timestmp
Log Page Attributes (0x0e): Cmd_Eff_Lg Ext_Get_Lg Telmtry_Lg
Maximum Data Transfer Size: 512 Pages
Warning Comp. Temp. Threshold: 80 Celsius
Critical Comp. Temp. Threshold: 83 Celsius
Supported Power States
St Op Max Active Idle RL RT WL WT Ent_Lat Ex_Lat
0 + 25.00W 14.00W - 0 0 0 0 70 70
1 + 8.00W 8.00W - 1 1 1 1 70 70
=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
SMART/Health Information (NVMe Log 0x02)
Critical Warning: 0x00
Temperature: 39 Celsius
Available Spare: 100%
Available Spare Threshold: 10%
Percentage Used: 3%
Data Units Read: 113,969,592 [58.3 TB]
Data Units Written: 318,224,551 [162 TB]
Host Read Commands: 1,545,534,555
Host Write Commands: 3,120,676,119
Controller Busy Time: 2,109
Power Cycles: 61
Power On Hours: 25,287
Unsafe Shutdowns: 21
Media and Data Integrity Errors: 0
Error Information Log Entries: 0
Warning Comp. Temperature Time: 0
Critical Comp. Temperature Time: 0
Temperature Sensor 1: 39 Celsius
Temperature Sensor 2: 49 Celsius
Error Information (NVMe Log 0x01, 16 of 64 entries)
No Errors Logged
Bash:
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-6.11.0-1-pve] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Model Number: SAMSUNG MZQL21T9HCJR-00A07
Serial Number: S64GNS0TB03017
Firmware Version: GDC5902Q
PCI Vendor/Subsystem ID: 0x144d
IEEE OUI Identifier: 0x002538
Total NVM Capacity: 1,920,383,410,176 [1.92 TB]
Unallocated NVM Capacity: 0
Controller ID: 6
NVMe Version: 1.4
Number of Namespaces: 32
Local Time is: Thu Dec 5 19:33:23 2024 CET
Firmware Updates (0x17): 3 Slots, Slot 1 R/O, no Reset required
Optional Admin Commands (0x005f): Security Format Frmw_DL NS_Mngmt Self_Test MI_Snd/Rec
Optional NVM Commands (0x005f): Comp Wr_Unc DS_Mngmt Wr_Zero Sav/Sel_Feat Timestmp
Log Page Attributes (0x0e): Cmd_Eff_Lg Ext_Get_Lg Telmtry_Lg
Maximum Data Transfer Size: 512 Pages
Warning Comp. Temp. Threshold: 80 Celsius
Critical Comp. Temp. Threshold: 83 Celsius
Supported Power States
St Op Max Active Idle RL RT WL WT Ent_Lat Ex_Lat
0 + 25.00W 14.00W - 0 0 0 0 70 70
1 + 8.00W 8.00W - 1 1 1 1 70 70
=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
SMART/Health Information (NVMe Log 0x02)
Critical Warning: 0x00
Temperature: 38 Celsius
Available Spare: 100%
Available Spare Threshold: 10%
Percentage Used: 1%
Data Units Read: 31,952,790 [16.3 TB]
Data Units Written: 163,683,466 [83.8 TB]
Host Read Commands: 1,535,940,586
Host Write Commands: 2,484,657,320
Controller Busy Time: 1,220
Power Cycles: 41
Power On Hours: 9,732
Unsafe Shutdowns: 14
Media and Data Integrity Errors: 0
Error Information Log Entries: 0
Warning Comp. Temperature Time: 0
Critical Comp. Temperature Time: 0
Temperature Sensor 1: 38 Celsius
Temperature Sensor 2: 47 Celsius
Error Information (NVMe Log 0x01, 16 of 64 entries)
No Errors LoggedDie schnelle Maschine geklont bleibt eine schnelle Maschine:
Sogar ein bißchen schneller. Aber vielleicht läuft eine andere VM gerade nicht. Mir geht's ja nicht um zehn Prozent mehr oder weniger, aber bei nur 5 Prozent der Leistung gegenüber der Vergleichs-VM wird es schwierig.
Interessant zumindest, dass letzteres der Extrempunkt war (RND4K), bei anderen Werten liefert die langsame VM immerhin 65 Prozent des Referenzgerätes. Trotzdem heftig.
PS: Ein Klon der langsamen VM bleibt eine langsame VM, auch gerade mal probiert.
Sogar ein bißchen schneller. Aber vielleicht läuft eine andere VM gerade nicht. Mir geht's ja nicht um zehn Prozent mehr oder weniger, aber bei nur 5 Prozent der Leistung gegenüber der Vergleichs-VM wird es schwierig.
Interessant zumindest, dass letzteres der Extrempunkt war (RND4K), bei anderen Werten liefert die langsame VM immerhin 65 Prozent des Referenzgerätes. Trotzdem heftig.
PS: Ein Klon der langsamen VM bleibt eine langsame VM, auch gerade mal probiert.
Also ich würde sagen, das das dann doch an der VM selber liegt.
Teste das doch mal mit einer neuen VM mit dem .248er Treibern und mach einen Bench - nur um zu sehen, wie das ausschaut.
Das wäre dann ja eine Art von Glückspiel bei aufsetzen.
Könntest im zweiten schritt ja einmal versuchsweise Software der ersten VM nachziehen - vielleicht passiert hierbei etwas (Tuning).
Auf jeden Fall liegt das nicht am Dateisystem darunter auf dem Proxmox oder an den NMVe's
Teste das doch mal mit einer neuen VM mit dem .248er Treibern und mach einen Bench - nur um zu sehen, wie das ausschaut.
Das wäre dann ja eine Art von Glückspiel bei aufsetzen.
Könntest im zweiten schritt ja einmal versuchsweise Software der ersten VM nachziehen - vielleicht passiert hierbei etwas (Tuning).
Auf jeden Fall liegt das nicht am Dateisystem darunter auf dem Proxmox oder an den NMVe's
Werde ich machen.
Wie sind denn hier die Meinungen, ist VirtIO .248 sinnvoll? Zumindest bei Nested-Hyper-V hatte ich im anderen Thread ja Probleme mit .262 und .266 Probleme mit Windows-Server.
Zweite Frage, nur damit ich nicht durcheinander komme:
Ich nutze auf dem eingangs gezeigten System ZFS auf einem RAID-10. Es gäbe auch die Variante eines RAID-Z2, Vor- und Nachteile sind mir nicht klar, aber in der Vergangenheit hatte ich RAID-Z verworfen. Eventuell wäre LVM mit Thin Provisioning mit RAID 10 etwas schneller, aber mit den bekannten Feature-Nachteilen.
Richtig so?
Grundsätzlich habe ich den Eindruck, dass ich "im Frühjahr" keine Probleme mit der Performance von Windows-Geräten hatte, erst in der letzten Zeit. Außer der Verwenung von VirtIO .248 - gäbe es bei ZFS vielleicht sinnvolle Wartungsarbeiten?
Wie sind denn hier die Meinungen, ist VirtIO .248 sinnvoll? Zumindest bei Nested-Hyper-V hatte ich im anderen Thread ja Probleme mit .262 und .266 Probleme mit Windows-Server.
Zweite Frage, nur damit ich nicht durcheinander komme:
Ich nutze auf dem eingangs gezeigten System ZFS auf einem RAID-10. Es gäbe auch die Variante eines RAID-Z2, Vor- und Nachteile sind mir nicht klar, aber in der Vergangenheit hatte ich RAID-Z verworfen. Eventuell wäre LVM mit Thin Provisioning mit RAID 10 etwas schneller, aber mit den bekannten Feature-Nachteilen.
Richtig so?
Grundsätzlich habe ich den Eindruck, dass ich "im Frühjahr" keine Probleme mit der Performance von Windows-Geräten hatte, erst in der letzten Zeit. Außer der Verwenung von VirtIO .248 - gäbe es bei ZFS vielleicht sinnvolle Wartungsarbeiten?
Raid Z1 = Raid 5 = xx Datenplatten (mind 2) und eine Prüfsummenplatte -> Eine Platte kann ausfallen, Raid "stabil"
Raid Z2 = Raid 6 = xx Datenplatten (mind 2) und zwei Prüfsummenplatte -> Zwei Platten können ausfallen, Raid "stabil"
Die Daten und Prüfsummen wandern über die eingesetzten Platten, so das die fehlende Dateninformation von der CPU errechnet wird. Die Defekte Platte wird getauscht und der Rebuild gestartet.
Raid 1 = Spiegel
Raid 0 = Verbund von Platten (hintereinander)
Raid 10 Spiegel und Verbund
Performancemessungen kannst du nur auf dem direkt laufenden Betriebssystem machen (hier Proxmox) - alles andere kann Cachen .
Bei ZFS bin ich raus, da ich HW-Raid einsetze, aber ich meine hier durchaus mal etwas dazu gelesen zu haben.
Raid Z2 = Raid 6 = xx Datenplatten (mind 2) und zwei Prüfsummenplatte -> Zwei Platten können ausfallen, Raid "stabil"
Die Daten und Prüfsummen wandern über die eingesetzten Platten, so das die fehlende Dateninformation von der CPU errechnet wird. Die Defekte Platte wird getauscht und der Rebuild gestartet.
Raid 1 = Spiegel
Raid 0 = Verbund von Platten (hintereinander)
Raid 10 Spiegel und Verbund
Performancemessungen kannst du nur auf dem direkt laufenden Betriebssystem machen (hier Proxmox) - alles andere kann Cachen .
Bei ZFS bin ich raus, da ich HW-Raid einsetze, aber ich meine hier durchaus mal etwas dazu gelesen zu haben.
Last edited:
Warum sollte man dies tun? Was erwartest du damit zu erreichen?
In meiner (kleinen und unvollständigen) Welt gibt es keinen Grund dazu.
Natürlich verhindert man dadurch "Platte voll"-Dramen. Aber gerade "over-provisioning" sowohl von CPU, als eben auch Storage ist doch der Vorteil von virtualisierenden Systemen. Festplatten werden normalerweise langsam, im Laufe von Monaten, gefüllt - und dies meldet hinreichend früh das installierte Monitoring. (Allerdings lasse ich Zabbix darauf aufpassen, ob PVE das "von alleine" meldet ist mir gerade unklar...)
Nur meine zwei Pfennig...
Weil es womöglich unnötig Performance kostet? Aber gut, ich habe es verworfen.
Insgesamt konnte ich die Probleme auf VirtIO neuer als .248 zurückführen. Tatsächlich habe ich auch den PVE-Host neu aufgesetzt, aber wieder mit einem RAID 10 und ZFS.
Windows-VMs laufen wieder flott. Auch eine Maschine, bei der ich in letzter Zeit das Gefühl hatte, dass sie mit angezogener Handbremse lief. Da war aber auch VirtIO .262 drauf. Ich habe sie kurzerhand platt gemacht. Das ist mein Resüme: VirtIO neuer als .248 - da lasse ich die Finger von.
Der nested Hyper-V-Host ließ sich ebenfalls problemlos installieren und die Hyper-V-Rolle hinzufügen, noch ohne jede Anpassung im PVE.
Kürzlich las ich hier im Forum >>Ich habe für tests schon öfters Win2022 mit HyperV genutzt. Habe noch nie Probleme gehabt, aber ich nutze die virtio Tools 0.1.262 nicht. Da sind mir zu viele Bugs drin. Für Server 2022 nutze ich 0.1.248.<<.
Ja!
Das kommt mir so bekannt vor und ich hatte eigentlich auf Version 266 gehofft, dass da alles wieder gefixt ist.
Ich kenne auch nix, aber vielleicht guckst du mal ob Fedora (Redhat) da etwas auf Github hat.
Dann wäre das wohl im Moment die einzige Quelle(n) :
Issues : https://github.com/virtio-win/kvm-guest-drivers-windows/issues
https://github.com/virtio-win/virtio-win-pkg-scripts/blob/master/README.md
https://docs.fedoraproject.org/en-U...indows-virtual-machines-using-virtio-drivers/
Issues : https://github.com/virtio-win/kvm-guest-drivers-windows/issues
https://github.com/virtio-win/virtio-win-pkg-scripts/blob/master/README.md
https://docs.fedoraproject.org/en-U...indows-virtual-machines-using-virtio-drivers/
Last edited: