Großes HDD-Sterben ist angesagt, darf ich 3TB gegen 2TB tauschen? (ZFS)

[fireon]

Hallo Leute,

ja die Überschrift ist etwas verwirrend da die Antwort darauf normalerweise ja nein wäre. Meine Config sieht aber folgender Maßen aus, daher glaub ich das dies doch funktioniert. Die HDD's sind teilweise 7 Jahre alt. Eine Faulted habe ich heute getauscht. Die andere wäre eben ne 3TB HDD.

ZFS Pool RaidZ10 mit 14 HDD's. Grundsätzlich sollten es alles 2TB HDD's ein. Aber weil noch 3TB herumliegen hatten, baut ich die im Pool dazu ein. Da die Mehrheit ja 2TB HDD's sind, denke ich mir das ja doch nicht mehr genutzt werden kann als die 2TB pro Platte. Sehe ich das so richtig?

NAME                                                      SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
rpool                                                     222G  15.3G   207G        -         -    25%     6%  1.00x    ONLINE  -
  mirror                                                  222G  15.3G   207G        -         -    25%  6.88%      -    ONLINE
    ata-SAMSUNG_MZ7KM240HAGR-00005_S2HRNX0J401976-part3      -      -      -        -         -      -      -      -    ONLINE
    ata-SAMSUNG_MZ7KM240HAGR-00005_S2HRNX0J401757-part3      -      -      -        -         -      -      -      -    ONLINE
stytank01                                                26.3T  14.0T  12.4T        -         -     5%    53%  1.00x  DEGRADED  -
  raidz1                                                 12.7T  6.88T  5.85T        -         -     6%  54.1%      -  DEGRADED
    ata-WDC_WD2001FFSX-68JNUN0_WD-WMC5C0D1LZD5               -      -      -        -         -      -      -      -    ONLINE
    ata-WDC_WD2001FFSX-68JNUN0_WD-WMC5C0D3404L               -      -      -        -         -      -      -      -  DEGRADED
    ata-WDC_WD2001FFSX-68JNUN0_WD-WMC5C0D6U08D               -      -      -        -         -      -      -      -  DEGRADED
    ata-WDC_WD2001FFSX-68JNUN0_WD-WMC5C0D78NCJ               -      -      -        -         -      -      -      -    ONLINE
    ata-WDC_WD2001FFSX-68JNUN0_WD-WMC5C0D9CNRT               -      -      -        -         -      -      -      -  DEGRADED
    ata-WDC_WD3001FFSX-68JNUN0_WD-WCC135VUVDFE               -      -      -        -         -      -      -      -   FAULTED
    ata-WDC_WD3001FFSX-68JNUN0_WD-WCC135EH34AX               -      -      -        -         -      -      -      -  DEGRADED
  raidz1                                                 12.7T  7.02T  5.71T        -         -     5%  55.1%      -  DEGRADED
    ata-WDC_WD2001FFSX-68JNUN0_WD-WMC5C0DA95YF               -      -      -        -         -      -      -      -  DEGRADED
    ata-WDC_WD2002FFSX-68PF8N0_WD-WMC6N0E6U9RS               -      -      -        -         -      -      -      -  DEGRADED
    ata-WDC_WD2002FFSX-68PF8N0_WD-WCC6N3NE4U14               -      -      -        -         -      -      -      -    ONLINE
    ata-WDC_WD2002FFSX-68PF8N0_WD-WMC6N0L72SEN               -      -      -        -         -      -      -      -    ONLINE
    ata-WDC_WD2002FFSX-68PF8N0_WD-WMC6N0R83MCV               -      -      -        -         -      -      -      -  DEGRADED
    ata-WDC_WD3001FFSX-68JNUN0_WD-WCC130HASY0L               -      -      -        -         -      -      -      -  DEGRADED
    ata-WDC_WD3001FFSX-68JNUN0_WD-WCC132JTTADE               -      -      -        -         -      -      -      -    ONLINE
special                                                      -      -      -        -         -      -      -      -  -
  mirror                                                  888G  58.9G   829G        -         -    21%  6.63%      -    ONLINE
    nvme-Force_MP510_20098263000129531306                    -      -      -        -         -      -      -      -    ONLINE
    nvme-Force_MP510_20098263000129531542                    -      -      -        -         -      -      -      -    ONLINE
logs                                                         -      -      -        -         -      -      -      -  -
  ata-SAMSUNG_MZ7KM240HAGR-00005_S2HRNX0HB00643-part1    14.5G   132K  14.5G        -         -     0%  0.00%      -    ONLINE
cache                                                        -      -      -        -         -      -      -      -  -
  ata-SAMSUNG_MZ7KM240HAGR-00005_S2HRNX0HB00643-part2     209G   208G  78.5M        -         -     0%  100.0%      -    ONLINE

Nach der Größe nach, müsste das doch passen oder?

Wenn man natürlich den Formatierungsstatus ansieht, sieht nicht so rosig aus...

NR      START        END    SECTORS SIZE NAME                 UUID
 1       2048 5860515839 5860513792 2,7T zfs-b2cf2753c46631d0 ead08055-9290-4147-84dd-35ddc11c374e
 9 5860515840 5860532223      16384   8M                      e5327ae7-0426-7848-950a-9d9fe39a5390

NR      START        END    SECTORS SIZE NAME                 UUID
 1       2048 3907012607 3907010560 1,8T zfs-04af49300f29fed6 efbdb77e-54c0-494d-a001-87e131df5812
 9 3907012608 3907028991      16384   8M                      e3a4cd26-0b02-fa48-bcd4-4d7a6fc043d5

 

[fireon]

errors: 44105428 data errors, use '-v' for a list

Glaube das ist nun nichts mehr zu retten...

 

[Felix.]

Oooooof. Wegsichern, solange es noch irgendwie geht.
Einen weiteren Resilver überleben die Teile eventuell nicht mehr.

Kamen die alle aus der selben Charge oder wie kommts, dass die fast alle auf einmal die Biege machen?

 

[fireon]

Sind nicht alles die gleichen, aber ja da es halt so viele sind und auch noch ein RaidZ10 hat's wohl zusammen gepasst. die Hälfte läuft auch schon 7 Jahre. Das so gut wie alle zu gleich den Geist aufgeben... naja... Zum Glück ist es nur der Backupserver und es gab auch noch ein Backup vom Backup. Mittlerweile hab ich als Notlösung ein 16GB HDD eingebaut.

Dort ist der gleiche Pool nochmal als Backup drauf. Jetzt das synct grad vom Aktivsystem wieder alles da drauf. PBS ist schon fast fertig. Ab jetzt mach ich am Backup auch nur mehr Raid10. Alles andere gibt es nicht mehr.

 

[Felix.]

Ab jetzt mach ich am Backup auch nur mehr Raid10. Alles andere gibt es nicht mehr.

Ende des Jahres kommen bei mir frische Kisten für PBS ins Haus, bin da noch innerlich am zögern welches Pool Setup es wird.
Ursprüngliche Idee war auch striped mirrors (RAID-10) und fertig, aber... da kommt dann doch der Geiz und man überlegt...

8x 10TB werden drin stecken.
Vielleicht ein RAIDZ-2 oder, was mir viel besser gefallen würde, ein dRAID2, falls zu der Zeit schon ZFS 2.1 zur Verfügung steht.

Aber da keine Special Devices o.Ä. zur Verfügung stehen bleibt es vielleicht einfach bei RAID-10... mal sehen was die Benchmarks sagen.

RAIDZ1 würde ich mit HDDs aber heutzutage auch nicht mehr freiwillig fahren, besonders mit >5 Disks pro vdev, das kommt nicht mehr in Frage.

 

[fireon]

Vielleicht ein RAIDZ-2 oder, was mir viel besser gefallen würde, ein dRAID2, falls zu der Zeit schon ZFS 2.1 zur Verfügung steht.

= voll angezogene Handbremse

 

[Falk R.]

Auch wenn ich von den ZFS Freunden gesteinigt werde, ich bin ein Freund von vernünftigen Hardware Raid Controllern. Wenn ich dann 12 7,2k HDDs im Raid6 betreibe und da Backups mit 1,1 GB/s (10GBit 100% ausgelastet) drauf schreibe und laut iotop ca 60% utilisation habe, da kommt ein Software Raid bestimmt nicht dran.

Gruß Falk

 

[fireon]

Alles gut, du wirst nicht gesteinigt! Es spricht nichts gegen Hardwareraid. Ist eben alles eine große Werkzeugkiste, wo man zum Richtigen Zeitpunkt das richtige Werkzeug rausnehmen muss. Alles hat seine Vor und Nachteile.

 

[Dunuin]

Hardware-Raid für PBS fänd ich jetzt auch nicht so schlimm. Deduplikation, Kompression und Verschlüsselung bringt ja schon PBS auf Applikationsebene mit und ein Verify kann PBS ja auch machen, dass da Checksumming vom Dateisystem aus nicht so super wichtig ist (auch wenn ich da natürlich ZFS bevorzugen würde, weil es halt dann auch gleich die Defekte reparieren kann).

Aber kann ja jeder machen wie er will, hauptsache es sind immer genug Backups vorhanden

 

[Falk R.]

Mit persönlich bringt der PBS nicht genug Funktionen mit. Ich nutze doch lieber Veeam.
Das Hardened Repository ist extrem gut und meine wichtigsten Daten werden per S3 verschlüsselt nach Wasabi hochgeladen.

 

[Falk R.]

Übrigens sortieren die meisten Raid Controller, die Disks schon bei deutlich weniger Fehlern aus. Ich glaube bei der Fehlerrate kann auch ZFS nicht zaubern.

 

[Dunuin]

Veeam wollte ich hier auch mal für meine Windows PCs testen. Da gibt es ja auch die "Veeam Backup & Replication Community Edition" die man wohl als Ziel für den Windows Client nutzen kann. Bringt es da einen Vorteil die "Veeam Backup & Replication Community Edition" als Ziel zu nehmen anstatt einfach nur ein SMB-Share (was auf ZFS liegt) zu nutzen? Was ich da so bisher gelese habe klang es eher so, als wäre die "Veeam Backup & Replication Community Edition" nur dafür da um HyperV VMs wegzusichern.
Oder ist das schon in etwa mit dem PBS und dessen Datastores vergleichbar, wo dann ja ganz viel wie Deduplikation und Co auf dem Datastore selbst passiert unabhängig vom Client?

Aber so rein für VM/LXC Sicherungen gefällt mir PBS schon sehr gut. 1000x besser als Vzdump + ZFS Snapshots was ja sonst nur die Option war.
Aber bei den PBS Features gebe ich dir recht. Da fehlt noch wirklich viel an den Basics (wie z.B. Importieren von Datastores nach einer Neuinstallation) aber das kommt ja hoffentlich alles noch. Ist ja noch recht neu.

 

[Falk R.]

Ich nutze Zuhause die Community Edition. Die Windows und Linux Agents werden zentral verteilt und konfiguriert. Vor allem beim Restore und Objectstore Anbindung ist Veeam ganz vorn dabei.

 

[Felix.]

Das Hardened Repository ist extrem gut

Immutable Backups stehen ja auf der Roadmap für PBS, da kommt vielleicht noch was Vergleichbares.

und meine wichtigsten Daten werden per S3 verschlüsselt nach Wasabi hochgeladen

Verschlüsselung ist ja kein Problem bei PBS und einen S3 Bucket könnte man ja als Datastore mounten und PBS dann synchronisieren lassen.

Will Veeam nicht abwerten oder so, habe es selbst (noch) im Einsatz, aber im täglichen Einsatz von PBS blicke ich fast nie zurück.
Für die Proxmox-Welt ein gewaltiger Fortschritt, hin zu einem konkurrenzfähigen Produkt für die klassische vSphere/Veeam Kombi.
Etwas Vergleichbares zu Sure Backup wäre noch Wahnsinn, aber das ist auch schon wieder mehr ein Luxusproblem.

Hardware RAID hat schon was, die Parity Calculation auf nem eigenen Chipsatz, das macht schon was her!
Bei ZFS habe ich aber auch die anderen Funktionen, wie Snapshots und Clones ungemein schätzen gelernt. Replication, inkrementelle Replication!
Das dRAID in 2.1 lockt mich auch.

What a time to be alive!

 

[Falk R.]

DRaid ist natürlich noch mal schöner. Gibt's das schon irgendwo stable?

 

[Felix.]

Gibt's das schon irgendwo stable?

https://arstechnica.com/gadgets/2021/07/a-deep-dive-into-openzfs-2-1s-new-distributed-raid-topology/
Wurde schon vor einer Weile released, aber leider noch nicht in den PVE Repos.