PVE-Neuinstallation - welches Dateisystem

O

ollibraun

Member
Jan 28, 2023
51
16
8
Hallo,

ich möchte meinen PVE 8.3 neu aufsetzen. Mich würden Meinungen bezüglich des Dateisystems interessieren.

CPU: 48 x Intel Xeon Gold 5412U (1 Socket)
SSDs: 4x 1,92 TB NVMe-Datacenter SSDs

Es laufen ein paar Debian 12- und ein paar Windows 11/Server 2022-Maschinen. Gerade bei den Windows-Geräten wirkt der Zugriff auf den Windows-Explorer recht langsam (alle mit VirtIO single).

Ich hatte mich damals wohl für ZFS RAID-Z2 entschieden... oder lese ich das falsch?

Code: 
root@proxmox:~# zpool status
  pool: rpool
 state: ONLINE
  scan: scrub repaired 0B in 00:05:17 with 0 errors on Tue Nov 19 17:40:42 2024
config:


        NAME                                                 STATE     READ WRITE CKSUM
        rpool                                                ONLINE       0     0     0
          mirror-0                                           ONLINE       0     0     0
            nvme-eui.36344730528022380025384500000001-part3  ONLINE       0     0     0
            nvme-eui.3634473054b030920025385300000001-part3  ONLINE       0     0     0
          mirror-1                                           ONLINE       0     0     0
            nvme-eui.36344730525126400025384500000001-part3  ONLINE       0     0     0
            nvme-eui.3634473054b030170025385300000001-part3  ONLINE       0     0     0


errors: No known data errors

Belegt sind gerade einmal 750GB. RAM ist viel frei, Snapshots und Replikation benutze ich nicht.

Ich tendiere nun zu LVM mit RAID 10. Weil womöglich etwas mehr Performance, und die Vorteile von ZFS nutze ich nicht.

Was meint Ihr?

Oliver
 
  • Like
Reactions: ThoSo
das ist ein Raid 10 habe ich hier auch mit 4 mal 1 TB Enterprise NVME, bei mir laufen auch Windows Rechner sehr flüssig und ohne Probleme,
zfs Snapshots nutze ich bei wichtigen VMs finde ich seht praktisch
Replizierung nutze ich auch um die VMs auf nen zweiten Server zu syncen der für Notfälle da ist.

führ mal pveperv aus für deinen Storage

Code: 
[root@pve:~]$ pveperf /home/
CPU BOGOMIPS:      121363.20
REGEX/SECOND:      5299639
HD SIZE:           1031.56 GB (Raid10/home)
FSYNCS/SECOND:     16548.42
DNS EXT:           30.33 ms
DNS INT:           1.54 ms (HOME)
 
Last edited:
  • Like
Reactions: UdoB
Sieht Deinem recht ähnlich, bis auf DNS INT:

Code: 
root@proxmox:~# pveperf
CPU BOGOMIPS:      201600.00
REGEX/SECOND:      5075356
HD SIZE:           2878.87 GB (rpool/ROOT/pve-1)
FSYNCS/SECOND:     15702.57
DNS EXT:           18.54 ms
DNS INT:           12.33 ms (domain.de
)
root@proxmox:~# pveperf /home/
CPU BOGOMIPS:      201600.00
REGEX/SECOND:      5182117
HD SIZE:           2878.87 GB (rpool/ROOT/pve-1)
FSYNCS/SECOND:     16098.52
DNS EXT:           19.27 ms
DNS INT:           12.49 ms (domain.de)
 
ollibraun said:
Ich tendiere nun zu LVM mit RAID 10. Weil womöglich etwas mehr Performance, und die Vorteile von ZFS nutze ich nicht.
Was meint Ihr?
Click to expand...
Einerseits hast du anscheinend bereits eine Meinung, andererseits fragst du mich/uns.

Für mich sind die Vorteile von ZFS (transparente Komprimierung, garantierte Integrität, Bit-Rot-Detection, automatische "Heilung", "billige" Snapshots, Replikation, usw. usf.) wichtig. Jeglicher mögliche Performancegewinn durch weglassen dieser Features ist für mich vollkommen indiskutabel, wenn man dadurch möglicherweise kaputte Daten erhält und eben bestimmte Funktionen gar nicht zur Verfügung stehen.

Ich lehne klassische Dateisysteme nicht kategorisch ab, es laufen ja auch Milliarden Geräte - und auch etliche meiner Rechner - damit. Aber ZFS ist einfach... besser! Und da du bereits die empfohlene Hardware dazu hast, wäre es nach meiner Meinung schlicht schade, dieses Potential nicht zu nutzen. Dein bereits vorhandener "striped Mirror" wäre mein Vorschlag gewesen...

YMMV!
 
  • Like
Reactions: ThoSo, news and Johannes S
ollibraun said:
Hallo,

ich möchte meinen PVE 8.3 neu aufsetzen. Mich würden Meinungen bezüglich des Dateisystems interessieren.

CPU: 48 x Intel Xeon Gold 5412U (1 Socket)
SSDs: 4x 1,92 TB NVMe-Datacenter SSDs

Es laufen ein paar Debian 12- und ein paar Windows 11/Server 2022-Maschinen. Gerade bei den Windows-Geräten wirkt der Zugriff auf den Windows-Explorer recht langsam (alle mit VirtIO single).

Ich hatte mich damals wohl für ZFS RAID-Z2 entschieden... oder lese ich das falsch?

Code: 
root@proxmox:~# zpool status
  pool: rpool
 state: ONLINE
  scan: scrub repaired 0B in 00:05:17 with 0 errors on Tue Nov 19 17:40:42 2024
config:


        NAME                                                 STATE     READ WRITE CKSUM
        rpool                                                ONLINE       0     0     0
          mirror-0                                           ONLINE       0     0     0
            nvme-eui.36344730528022380025384500000001-part3  ONLINE       0     0     0
            nvme-eui.3634473054b030920025385300000001-part3  ONLINE       0     0     0
          mirror-1                                           ONLINE       0     0     0
            nvme-eui.36344730525126400025384500000001-part3  ONLINE       0     0     0
            nvme-eui.3634473054b030170025385300000001-part3  ONLINE       0     0     0


errors: No known data errors

Belegt sind gerade einmal 750GB. RAM ist viel frei, Snapshots und Replikation benutze ich nicht.

Ich tendiere nun zu LVM mit RAID 10. Weil womöglich etwas mehr Performance, und die Vorteile von ZFS nutze ich nicht.

Was meint Ihr?

Oliver
Click to expand...
Der ZFS Mirror ist doch gar nicht so schlecht, eventuell liegt das problem ja woanders. Wie sind denn die VMs gesized, welche langsam sind?
 
  • Like
Reactions: Johannes S
ThoSo said:
Das ist doch die Kiste die du bei hetzner hast oder täusche ich mich da?
Click to expand...

Ja, das ist ein Server bei Hetzner. Die Probleme in dem Thread, auf den Du Dich beziehst, kamen offenbar von den neueren VirtIO-Versionen.

Und ja, ich hatte eine Meinung bzw. eine Tendenz, aber ich habe mich schon so gut wie überzeugen lassen, die vorhandene Konfiguration beizubehalten.

Gleich mal zum Vergleich der beiden Maschinen. Aufgefallen war mir, dass auf einem W11 die Reaktionszeit im WIndows Explorer langsam war; es dauerte mehr als eine Sekunde, bis der Inhalt eines Ordners angezeigt wird, wenn man so durch die Ordner wechselt. Details im nächsten Post.
 
  • Like
Reactions: ThoSo
VM "PRTG" - Windows 11 24H2 - hier läuft eine Paessler-PRTG-Installation, Windows Explorer schnell:

1733120003990.png

1733120015290.jpeg


VM "Desktop" - Windows 11 24H2 - hier ist noch nichts installiert, aber es sind halt mehr Platten, Windows Explorer langsam:

1733120175594.png

1733120271980.png

Die Messwerte bestätigen mein subjektives Gefühl. Auch mit nur der ersten Festplatte (also die anderen beiden entfernt) bleibt das so:

1733121388206.png

Seltsam. Installiert wurden beide Systeme vom gleichen ISO, die PRTG so etwa sechs Wochen vorher. VirtIO war zunächst .262, wobei ich bei der langsamen Maschine nun die .248 probiert habe bezüglich Speicherkontroller.
 
Noch eine Frage,

wie lauten die Bezeichnung der 4x 1,92 TB NVMe-Datacenter SSD ?

Random 4k R/W sieht für mich bekannt aus.
 
Ja das ist das Problem der NVMe SSD.
Ich habe bisher alle wieder ausgebaut und aus meinen Promox VE mit ZFS verbannt.

Und nutzte heute SSD in Raid 10 oder anderen Konstellationen.

Beispiel: Kingston DC600M 960 GB
 
news said:
Ja das ist das Problem der NVMe SSD.
Ich habe bisher alle wieder ausgebaut und aus meinen Promox VE mit ZFS verbannt.

Und nutzte heute SSD in Raid 10 oder anderen Konstellationen.

Beispiel: Kingston DC600M 960 GB
Click to expand...
Wo soll da ein Problem mit den PM9a3 sein?
Die laufen überall vernünftig.
 
  • Like
Reactions: Johannes S and ThoSo
ollibraun said:
VM "PRTG" - Windows 11 24H2 - hier läuft eine Paessler-PRTG-Installation, Windows Explorer schnell:

View attachment 78551

View attachment 78552


VM "Desktop" - Windows 11 24H2 - hier ist noch nichts installiert, aber es sind halt mehr Platten, Windows Explorer langsam:

View attachment 78553

View attachment 78554

Die Messwerte bestätigen mein subjektives Gefühl. Auch mit nur der ersten Festplatte (also die anderen beiden entfernt) bleibt das so:

View attachment 78555

Seltsam. Installiert wurden beide Systeme vom gleichen ISO, die PRTG so etwa sechs Wochen vorher. VirtIO war zunächst .262, wobei ich bei der langsamen Maschine nun die .248 probiert habe bezüglich Speicherkontroller.
Click to expand...
Die zweite VM hat kein Discard an. Aber dass sollte keine Performance verschlechtern.
Eventuell bei der zweiten VM auch mal die Cores auf 4 setzen und dann mal messen.
 
  • Like
Reactions: Johannes S
Falk R. said:
Die zweite VM hat kein Discard an. Aber dass sollte keine Performance verschlechtern.
Eventuell bei der zweiten VM auch mal die Cores auf 4 setzen und dann mal messen.
Click to expand...

Ja, vorher war Discard an, und die Performance war schlecht, deshalb habe ich es versuchsweise ausgemacht.

Mit vier Cores ändert sich das Bild leider nicht:

1733213694530.png


Ich nehme an, dass bei allen VMs die "Datenpakete" quasi über alle vier SSDs verteilt sind. Oder kann es sein, dass eine VM nur zwei der SSDs nutzt? Eigentlich nicht... um so rätselhafter finde ich das.
 
Ich habe gestern Abend mal einen Test mit mit meinem Testsystem gemacht - (mit CrystalDiskManager 8.0.6). Dabei sind dann Werte herausgekommen, die der Technischen Spezifikation entsprochen haben. Die Bedienung und Reaktionszeit waren völlig in Ordnung.

Ich muss dazu sagen, das zwar ein Hardwareraid Controller mit Cache verbaut ist, da es aber billige Consumer SSDs sind, dieser hier auf WriteTrue eingestellt ist. Ebenso keine besonderen Tuningmaßnahmen in der VM, also bsp. nicht auf HOST gestellt, write Back, Cache etc.

Man kann sich da auch verrückt machen, wenn man hier die letzten MB/s noch meint rausquetschen zu wollen/müssen. Entscheidend ist doch das es läuft wie es soll.

Mir sind zwar auch die erheblichen Unterschiede zwischen den VM1 (12909) oben und der VM2 (2280) unten aufgefallen,
aber erstens die Maschinen haben unterschiedliche "Maschinen" einmal pc-q35-9.0 oben und pc-q35-8.1 unten (was da auch immer anders ist).
Was läuft den an Software auf den Maschinen, die evtl. Einfluss auf deine Benchmarks nimmt - bsp. Virenscanner?
Sind auf den VMs die selben Treiber-/ Patchstände?
Die NVMe hängen doch als Stripe hintereinander - überlappen sich die virtuellen Platten evtl?
Kann es sein, das evtl. eine NVMe davon einen "Schuss" weg hat?
 
Last edited:
  • Like
Reactions: Johannes S and Falk R.
Keine Frage, man muss nicht über-optimieren. Nur ist auf der zweiten Maschine halt das Arbeiten kaum möglich. Ich habe sie auch schon auf Q35 8.1 zurückgestellt, ohne dass sich am Bild etwas geändert hat. Beide sind vom selben ISO installiert, beide haben den Windows Defender, und auf der langsamen Kiste ist sonst noch nichts drauf, das schnelle Gerät betreibt PRTG, hat also eher etwas zu tun. Treiber und Patchstände sind identisch.

>>Die NVMe hängen doch als Stripe hintereinander - überlappen sich die virtuellen Platten evtl?<<

Was meinst Du damit?

>>Kann es sein, das evtl. eine NVMe davon einen "Schuss" weg hat?<<

Gibt's eine Möglichkeit, da etwas auszulesen unter PVE? Und ist es denkbar, dass die virtuellen Platten so verteilt sind, dass nur eine VM betroffen ist?
 
Dann klone mal die schnelle VM. Ich habe schon öfter identische Installationen mit identischen Images gesehen, die unterschiedliche Performance und Probleme hatten.
Ist halt nicht immer alles logisch.
 
  • Like
Reactions: ThoSo
>>Kann es sein, das evtl. eine NVMe davon einen "Schuss" weg hat?<<

Gibt's eine Möglichkeit, da etwas auszulesen unter PVE? Und ist es denkbar, dass die virtuellen Platten so verteilt sind, dass nur eine VM betroffen ist?
Click to expand...

Das müsstest du an Hand der Smartwerte in Augenschein nehmen, ob hier etwas auffällig ist.


ollibraun said:
>>Die NVMe hängen doch als Stripe hintereinander - überlappen sich die virtuellen Platten evtl?<<
Was meinst Du damit?
Click to expand...
Bei einem Raid 10 hast du 2 Platten, die hintereinander hängen (als 2TB + 2TB = 4TB) = Raid 0 (Stripe), dieses Konstrukt hast du 2x und spiegelts (Raid1). Knallt dir vorne die Platte beim Stripe (Raid0) weg sind die Daten auf der 2. Platte ebenfalls Schrott. Darum der Spiegel.

Jetzt hat du 4 TB Speicher für die VMs. Auf dieser liegt die VM1 und VM2.
Die Festplatten der VMs können entweder zum 100% in der vollen Größe angelegt sein, oder sie wachsen mit Zeit an.
Für Server nutze ich gerne die 100% Größe, da hier kein Speicher zugewiesen werden muss und die Platte an einem Stück (keine Fragmentierung) auf dem Datenträger liegt. Natürlich nur, wenn das von Anfang an so geplant wurde und nicht später geändert wurde. Außerdem kann man den vorhanden Speicher nicht über verteilen.

Dann schreibst du, das die Platten der VMs insgesamt etwa 750GB ausmachen. Das bedeutet in deiner Hardware, das die erste SSD alles hat und die zweite rumdümpelt und produktiv nicht genutzt wird.
Es wäre also zu überlegen, ob man nicht das Stripeset aufgibt und die 4 SSDs jeweils als 2x Raid1mit je 2TB zusammenhängt und die VMs auf 2 Datenspeichern aufteilt. Damit könnte jede VM in die Vollen gehen.

Ich benutze Raid 1 nur bei Systemlaufwerken. Mir ist ein Raid5 (das bietet sich bei Dir hier an) wesentlich lieber. Zum einen habe ich bei 4 x2 TB eine Datenkapazität von 6TB und eine Prüfplatte. Hier kann eine Platte ausfallen ohne Verlust. Außerdem habe ich eine wesentlich höhere Lese- und Schreibrate durch die Verteilung auf mehreren Datenträgern. In Kombination mit einem Hardware Raid Controller der über Cache und eine BBU verfügt - geradezu optimal. letzteres wird dir bei einem gemieteten Server wahrscheinlich nicht zur Verfügung stehen.

Ob du das aber ausprobieren kannst und willst, setzt auch voraus das du die VMs vorübergehend auslagern (Backup / Restore) kannst.

Die Idee von @Falk R. die schnelle VM mal zu klonen finde ich auch gut!
 
  • Like
Reactions: Johannes S
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom