PVE rpool Hardwareempfehlung

[Swivel]

Hallo zusammen,

welche Empfehlungen könnt ihr mir für die PVE Installation geben?
Derzeit hatte ich 1xSSD als ZFS Mirror genommen. Die VM‘s liegen separat auf einen SSD Mirror.
Nun hat aber meine SSD Bad Sectoren bekommen und ich denke die schmiert bald ab.
was könnt ihr empfehlen?
1) ext4
2) zfs mit enterprise ssd
3) zfs mit hdd

danke,
swivel

 

[Dunuin]

Zeig mal die Smart-Werte deiner alten SSDs. Kannst du dir mit smartctl -a /dev/sda etc ausgeben lassen. iostat kannst du auch mal laufen lassen und uns den output zeigen. Mit apt update && apt install sysstat installieren und dann über z.B. iostat 900 2 mal 15 Minuten laufen lassen.
Dann kann man abschätzen wie stark deine SSDs belastet werden.

Consumer SSDs können ziemlich schnell kaputt gehen wenn deine Write Amplification zu hoch ist. ZFS auf enterprise SSD ist gut aber achte darauf, dass du auch eine langlebige enterprise SSD hast die am besten SLC oder MLC NAND nutzt. ZFS auf HDD nutzt sich zwar durch writes nicht so ab wie eine SSD, dafür kann die HDD aber schnell überfordert sein, wenn du wegen der Write Amplification zu viele kleine Schreibzugriffe hast und die IOPS dann einfach zu hoch sind. Ext4 schont natürlich eine SSD aber du hättest kein Raid mehr, außer du nutzt (Pseudo-)HArdwaere-Raid oder installierst Proxmox nachträglich auf ein Debian, welches du mit mdraid als Software-Raid und ext4 einrichtest.

 

[Swivel]

Hier mal die Ergebnisse:

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000a   099   099   000    Old_age   Always       -       4
  9 Power_On_Hours          0x0012   100   100   000    Old_age   Always       -       1641
 12 Power_Cycle_Count       0x0012   100   100   000    Old_age   Always       -       375
148 Unknown_Attribute       0x0000   255   255   000    Old_age   Offline      -       36
149 Unknown_Attribute       0x0000   255   255   000    Old_age   Offline      -       21
167 Write_Protect_Mode      0x0022   100   100   000    Old_age   Always       -       0
168 SATA_Phy_Error_Count    0x0012   100   100   000    Old_age   Always       -       0
169 Bad_Block_Rate          0x0000   100   100   000    Old_age   Offline      -       12
170 Bad_Blk_Ct_Erl/Lat      0x0013   100   100   010    Pre-fail  Always       -       0/12
172 Erase_Fail_Count        0x0032   100   100   000    Old_age   Always       -       0
173 MaxAvgErase_Ct          0x0000   100   100   000    Old_age   Offline      -       41 (Average 23)
181 Program_Fail_Count      0x0012   100   100   000    Old_age   Always       -       0
182 Erase_Fail_Count        0x0000   255   255   000    Old_age   Offline      -       5
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       2
192 Unsafe_Shutdown_Count   0x0012   100   100   000    Old_age   Always       -       349
194 Temperature_Celsius     0x0023   075   065   000    Pre-fail  Always       -       25 (Min/Max 19/35)
196 Reallocated_Event_Count 0x0000   100   100   000    Old_age   Offline      -       7
199 SATA_CRC_Error_Count    0x0032   100   100   000    Old_age   Always       -       0
218 CRC_Error_Count         0x0000   100   100   000    Old_age   Offline      -       0
231 SSD_Life_Left           0x0013   100   100   000    Pre-fail  Always       -       97
233 Flash_Writes_GiB        0x0013   100   100   000    Pre-fail  Always       -       2549
241 Lifetime_Writes_GiB     0x0012   100   100   000    Old_age   Always       -       1644
242 Lifetime_Reads_GiB      0x0012   100   100   000    Old_age   Always       -       549
244 Average_Erase_Count     0x0000   100   100   000    Old_age   Offline      -       23
245 Max_Erase_Count         0x0000   100   100   000    Old_age   Offline      -       41
246 Total_Erase_Count       0x0000   100   100   000    Old_age   Offline      -       138576

und bei Iostat sagt er das hier:

x 5.4.73-1-pve (pve)        12/07/2020      _x86_64_        (4 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.41    0.00    0.38    0.04    0.00   99.17

Device             tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               5.41        37.68        20.58      86402      47200
sdb               5.36        34.51        20.58      79134      47200
sdc              22.13        69.35       249.25     159018     571528

sda/sdb - VM Pool
sdc - PVE

Wie kann man das nun deuten?

 

[Dunuin]

Die Werte an sich sehen ja gar nicht mal so schlecht aus. Also ohne die Write Amplification von der SSD selbst schreibt dann deine PVE SSD 650GB im Monat. Laut Smart hat die SSD eine Write Amplification von Faktor 1.55x (falls das die Werte für /dev/sdc sind), also in der Summe dann grob 1TB pro Monat. Musst du mal gucken was bei deiner SSD für eine TBW angegeben ist, aber da sollte die ja eigentlich viele Jahre halten. Und die SSD hat ja erst 2,5 TB geschrieben bisher.
Wäre die PVE SSD auch gespiegelt wäre das Problem kleiner. Dann wären ja schlechte Sektoren nicht so wild, da keine Daten verloren gehen und sich ZFS einfach mit den heilen Sektor der zweiten SSDs selbst heilen könnte. Ohne einen Mirror oder raidz fehlen ja dem Pool die Paritätsdaten und ZFS erkennt korrumpierte Daten zwar aber kann dann nichts dagegen machen.