ZFS raid 10, SSD's tauschen

D

donrusso

Active Member
Oct 7, 2020
60
5
28
43
Moin,

Habe ein ZFS raid 10 mit 8x Samsung 870 QVO SATA SSD's.

Diese Bremsen das System soweit aus I/O, Server load, dass der HA Cluster die Migration ausgeführt hat.

Aktuell habe ich auf der Node nur ein paar LXC's und würde die Platten gerne durch bessere ersetzen.

Wie wäre die Tauschreihenfolge der neuen Platte, funktioniert das überhaupt? Oder ist eine Neuinstallation der pragmatischere Weg?!

Was denkt ihr ?
 
Zeig mal bitte: lsblk, zpool status und zpool list -v
Und dann hängt es von den VDEV ab.
 
Last edited:
donrusso said:
Moin,

Habe ein ZFS raid 10 mit 8x Samsung 870 QVO SATA SSD's.

Diese Bremsen das System soweit aus I/O, Server load, dass der HA Cluster die Migration ausgeführt hat.

Aktuell habe ich auf der Node nur ein paar LXC's und würde die Platten gerne durch bessere ersetzen.

Wie wäre die Tauschreihenfolge der neuen Platte, funktioniert das überhaupt? Oder ist eine Neuinstallation der pragmatischere Weg?!

Was denkt ihr ?
Click to expand...
Am einfachsten ist bei den langsamen Dingern ein Backup zu machen und dann Restore auf vernünftige SSDs.
QLC SSDs und ZFS ist das tödlichste was du tun kannst. Da schreibt ein USB Stick schneller.
Ein Backup, also rein read sollte vernünftig funktionieren.
 
  • Like
Reactions: Johannes S, donrusso and news
Ich brauche kein Backup, die Gäste laufen Grad auf einer anderen Node. Pve# confs wären noch zu sichern. Im Prinzip geht es darum Zeit zu sparen. Neue Platten nachführen vs. Neu aufsetzen??
 
Falk R. said:
Am einfachsten ist bei den langsamen Dingern ein Backup zu machen und dann Restore auf vernünftige SSDs.
QLC SSDs und ZFS ist das tödlichste was du tun kannst. Da schreibt ein USB Stick schneller.
Ein Backup, also rein read sollte vernünftig funktionieren.
Click to expand...
Kommt noch ...
 
Wenn Du kein Backup benötigst, würde ich die Platten komplett tauschen und das ganze neu aufsetzen. Als „backup“ hast Du ja auch noch die alten SSDs.
Die PVe#conf sichern wäre meines wissen ein Backup von ETC - fragt sich nur, ob die wirklich brauchst - so viele Einstellungen sind es nicht.
 
  • Like
Reactions: donrusso
news said:
Zeig mal bitte: lsblk, zpool status und zpool list -v
Und dann hängt es von den VDEV ab.
Click to expand...
Code: 
root@pve1:~# lsblk
NAME      MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda         8:0    0   1.8T  0 disk
├─sda1      8:1    0  1007K  0 part
├─sda2      8:2    0     1G  0 part
└─sda3      8:3    0   1.8T  0 part
sdb         8:16   0   1.8T  0 disk
├─sdb1      8:17   0  1007K  0 part
├─sdb2      8:18   0     1G  0 part
└─sdb3      8:19   0   1.8T  0 part
sdc         8:32   0   1.8T  0 disk
├─sdc1      8:33   0  1007K  0 part
├─sdc2      8:34   0     1G  0 part
└─sdc3      8:35   0   1.8T  0 part
sdd         8:48   0   1.8T  0 disk
├─sdd1      8:49   0  1007K  0 part
├─sdd2      8:50   0     1G  0 part
└─sdd3      8:51   0   1.8T  0 part
sde         8:64   0   1.8T  0 disk
├─sde1      8:65   0  1007K  0 part
├─sde2      8:66   0     1G  0 part
└─sde3      8:67   0   1.8T  0 part
sdf         8:80   0   1.8T  0 disk
├─sdf1      8:81   0  1007K  0 part
├─sdf2      8:82   0     1G  0 part
└─sdf3      8:83   0   1.8T  0 part
sdg         8:96   0   1.8T  0 disk
├─sdg1      8:97   0  1007K  0 part
├─sdg2      8:98   0     1G  0 part
└─sdg3      8:99   0   1.8T  0 part
sdh         8:112  0   1.8T  0 disk
├─sdh1      8:113  0  1007K  0 part
├─sdh2      8:114  0     1G  0 part
└─sdh3      8:115  0   1.8T  0 part
zd0       230:0    0     1M  0 disk
zd16      230:16   0   256G  0 disk
├─zd16p1  230:17   0   499M  0 part
├─zd16p2  230:18   0    99M  0 part
├─zd16p3  230:19   0    16M  0 part
└─zd16p4  230:20   0 255.4G  0 part
zd32      230:32   0     4M  0 disk
zd48      230:48   0   256G  0 disk
├─zd48p1  230:49   0   100M  0 part
├─zd48p2  230:50   0    16M  0 part
├─zd48p3  230:51   0 255.1G  0 part
└─zd48p4  230:52   0   783M  0 part
zd64      230:64   0   232G  0 disk
├─zd64p1  230:65   0   100M  0 part
├─zd64p2  230:66   0    16M  0 part
├─zd64p3  230:67   0 231.1G  0 part
└─zd64p4  230:68   0   783M  0 part
zd80      230:80   0     1M  0 disk
zd96      230:96   0     1M  0 disk
zd112     230:112  0    32G  0 disk
├─zd112p1 230:113  0   487M  0 part
├─zd112p2 230:114  0     1K  0 part
└─zd112p5 230:117  0  31.5G  0 part
zd128     230:128  0   256G  0 disk
├─zd128p1 230:129  0   100M  0 part
├─zd128p2 230:130  0    16M  0 part
├─zd128p3 230:131  0 255.1G  0 part
└─zd128p4 230:132  0   783M  0 part
zd144     230:144  0     1M  0 disk
zd160     230:160  0   256G  0 disk
├─zd160p1 230:161  0   499M  0 part
├─zd160p2 230:162  0    99M  0 part
├─zd160p3 230:163  0    16M  0 part
└─zd160p4 230:164  0 255.4G  0 part
zd176     230:176  0     1M  0 disk
zd192     230:192  0     4M  0 disk
zd208     230:208  0     3T  0 disk
├─zd208p1 230:209  0   499M  0 part
├─zd208p2 230:210  0    99M  0 part
├─zd208p3 230:211  0    16M  0 part
└─zd208p4 230:212  0     3T  0 part
zd224     230:224  0    32G  0 disk
├─zd224p1 230:225  0   487M  0 part
├─zd224p2 230:226  0     1K  0 part
└─zd224p5 230:229  0  31.5G  0 part

Code: 
root@pve1:~# zpool status
  pool: rpool
 state: ONLINE
status: Some supported and requested features are not enabled on the pool.
        The pool can still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
        the pool may no longer be accessible by software that does not support
        the features. See zpool-features(7) for details.
  scan: scrub repaired 0B in 00:52:56 with 0 errors on Sun Oct 13 01:16:59 2024
config:

        NAME                                                   STATE     READ WRITE CKSUM
        rpool                                                  ONLINE       0     0     0
          mirror-0                                             ONLINE       0     0     0
            ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  ONLINE       0     0     0
            ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  ONLINE       0     0     0
          mirror-1                                             ONLINE       0     0     0
            ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  ONLINE       0     0     0
            ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  ONLINE       0     0     0
          mirror-2                                             ONLINE       0     0     0
            ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  ONLINE       0     0     0
            ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  ONLINE       0     0     0
          mirror-3                                             ONLINE       0     0     0
            ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  ONLINE       0     0     0
            ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  ONLINE       0     0     0

errors: No known data errors

Code: 
root@pve1:~#  zpool list -v
NAME                                                    SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
rpool                                                  7.25T  1.08T  6.17T        -         -    15%    14%  1.00x    ONLINE  -
  mirror-0                                             1.81T   270G  1.55T        -         -    15%  14.6%      -    ONLINE
    ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  1.82T      -      -        -         -      -      -      -    ONLINE
    ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  1.82T      -      -        -         -      -      -      -    ONLINE
  mirror-1                                             1.81T   273G  1.55T        -         -    15%  14.7%      -    ONLINE
    ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  1.82T      -      -        -         -      -      -      -    ONLINE
    ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  1.82T      -      -        -         -      -      -      -    ONLINE
  mirror-2                                             1.81T   284G  1.54T        -         -    15%  15.3%      -    ONLINE
    ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  1.82T      -      -        -         -      -      -      -    ONLINE
    ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  1.82T      -      -        -         -      -      -      -    ONLINE
  mirror-3                                             1.81T   281G  1.54T        -         -    16%  15.1%      -    ONLINE
    ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  1.82T      -      -        -         -      -      -      -    ONLINE
    ata-Samsung_SSD_870_QVO_2TB_S5RPNFXXXXXXXXX-part3  1.82T      -      -        -         -      -      -      -    ONLINE
 
Ok, man braucht als Erste die besseren SSD mit PLP und für ZFS geeignet usw.,
dann einen SATAIII Port oder stabilen USB 3.0 to SATAIII Adapter!

Die Partitionen 1 und 2 sind BIOS und EFI Boot.
in der Partition 3 liegt der Datenbereich des VDEV ZFS Mirror.
Was man damit macht, steht hier:

# https://www.thomas-krenn.com/de/wiki/Boot-Device_Replacement_-_Proxmox_ZFS_Mirror_Disk_austauschen

Dann wird zu jedem Pool "rpool" und seinen VDEVs ZFS mirror-n; n E {0,1,2,3}; nacheinander eine der neue partitionierte SSD-part3 eingebunden.

zpool rpool mirror-n attach <vorhandene-ssd-part3-aus-dem-mirror-n> <neue-ssd-part3-für-das-mirror-n>

Dann werden die Daten kopiert (zfs resilver), wenn das abgeschlossen ist, kann man die <vorhandene-ssd-part3-aus-dem-mirror-n> aus dem VDEV des zpool rpool mirror-n entfernen.

zpool rpool detach <zu-entfernende-ssd-part3-aus-dem-mirror-n>

Achtung: Man muss sich im klaren sein, welche SSD-part3 zu welchen ZFS Mirror-N gehört!
Am Besten alles vorher in einem Editor zusammen schreiben und dann dort mal "laufen" lassen.

# https://docs.oracle.com/cd/E19253-01/819-5461/gcfhe/index.html

Ich habe das mit VDEV im ZFS Mirror schon öfters laufen lassen und auch eine anschließende Erweiterung (expand) des Pools durchgeführt. Stichwort für deine Suche zpool online -e.

Deine 4x ZFS VDEV im Mirror/ Raid1 sind bestimmt mit den vielen Benennungen einen Hersausforderung.

Bitte beachten im Beispiel wurde von einem USB 3.0 zu SATA III gesprochen, die neu angesteckten SSD müssen auch immer vorher die Beschreibung von thomas-krenn durchlaufen.
Danach hat man dann erst die neue SDD-part3 Namenparat und beginnt dann mit dem ersetzen der ZFS VDEV alte SSD-part3 gegen die neue SSD-part3.

Zeitbedarf denke ich c.a. 4 h.

Wenn etwas unklart ist nicht anfangen und natürlich die Daten auf dem ZFS Pool vorher sichern.
 
Last edited:
  • Like
Reactions: ThoSo
Oha, vielen Dank für die ausführliche Antwort. In der Zeit habe ich die Kiste entspannt min. 2x aufgesetzt.

Bleibt dann nun die Frage nach den neuen Platten
 
  • Like
Reactions: ThoSo
Da habe ich etwas gelesen: "Wie wäre die Tauschreihenfolge der neuen Platte, funktioniert das überhaupt? Oder ist eine Neuinstallation der pragmatischere Weg?!"
 
Falk R. said:
Am einfachsten ist bei den langsamen Dingern ein Backup zu machen und dann Restore auf vernünftige SSDs.
QLC SSDs und ZFS ist das tödlichste was du tun kannst. Da schreibt ein USB Stick schneller.
Ein Backup, also rein read sollte vernünftig funktionieren.
Click to expand...
Nun ja, ich hätte zu QLC das Gleiche gesagt, aber zu den 870 QVOs finde ich gerade:
  • Lesen 560MB/s
  • Schreiben 530MB/s SLC-Cached (160MB/s QLC)
  • Cache 2GB (LPDDR4), SLC-Cache (dynamisch bis 78GB)
Und diesen Test, der zumindest in seinem Rahmen bestätigt, dass es nicht totale Gurken sind: https://ssd-tester.de/samsung_870_qvo_2tb.html
 
Auf solche nichtssagende Tests gebe ich gar nix. Da stehen keine Werte wie genau getestet wurde. Einmal Schreiben auf eine wenige GB Datei landet alles im Cache. Außerdem sind die Dinger wenn leer großzügiger beim Cache. Mit Befüllung wird das in der Regel auch schlechter. QLC hinter einem Controller mit gepufferten DRAM Cache, mag noch gehen. Ich möchte in meinem Notebook aber nicht so eine Gurke haben. Für Serverworkload sind die noch weniger geeignet.
 
Da hast du schon recht, dass der Test nicht so vielsagend ist. Aber genausowenig vielsagend ist ein Begriff wie Serverworkload :p Und in drei Jahren haben vermutlich auch die Enterprise SSDs nur noch QLC :eek:
 
ZFS mit mehreren VM entspricht Serverworkload. Also mehr als ein einzelner PC.
Das glaube ich nicht. Es gibt QLC als Enterprise schon seit Jahren, aber bisher nur in Archivsystemen. Rate mal warum.
 
Toxik said:
Aha :D Was soll denn das aussagen?
Click to expand...
Ihr Bau das einfach auf und teste das, warum denn nicht! Normale nvmes haben dann 20 bis 40 Megabyte pro Sekunde Durchsatz. Ich hatte schon eine 2 Terabyte in NVMe im ZFS Raid1 Betrieb, die hatten es fast auf 20 MB/s read gebracht! Das macht sehr viel Spaß. Dann gibt's auch den Ausdruck das läuft wie ein "Sack voll Nüsse".
 
Last edited:
  • Like
Reactions: Johannes S
Da widerspreche ich nicht, aber "ZFS mit mehreren VM entspricht Serverworkload" bleibt trotzdem eine Aussage ohne Gehalt. Ich habe zig VMs laufen, die quasi gar keinen IO machen. Die sind dann auch "Serverworkload", während sich die Platten drunter schlicht langweilen.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom