pbs Raidz2 mit special device

[crmspezi]

Hallo zusammen,
ich wollte mal checken ob ich die relative schlechte Backup Performance (meist nur 20-50MByte/s pro VM trotz 10GBit/s Link) meines pbs02 verbessern kann in dem ich ein zfs special device mirror hinzufüge. Auf keinen Fall möchte ich mit "Kanonen auf Spatzen schießen" und den DATSTORE mit SSD's ausstatten müssen.

Derzeit:

NAME STATE READ WRITE CKSUM
RAID-Z2 ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YJXP6DD ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_JEK3X4DN ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YJXREZD ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YJXXABD ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_1EGJKJ0Z ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_1EGJ04ZZ ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_JEJMHXTN ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YK1YM2D ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YJY1JMD ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_JEJE9D2N ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_1EGJ2L7Z ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_JEK6H6DN ONLINE 0 0 0
cache
sdo2 ONLINE 0 0 0

Ich möchte gern 2x INTEL S3710 hinzufügen.
zpool add RAID-Z2 special mirror /dev/sdi /dev/sdj

aber ich bekomme:
root@pbs02:~# zpool add RAID-Z2 special mirror /dev/sdi /dev/sdj
invalid vdev specification
use '-f' to override the following errors:
mismatched replication level: pool and new vdev with different redundancy, raidz and mirror vdevs, 2 vs. 1 (2-way)
root@pbs02:~#

Zerstöre ich mit "-f" meinen bisherigen Datenstore oder kann ich dies nur derzeit nicht mehr rückgängig machen? Ich habe beim Googlen nicht brauchbares dazu gefunden. Wer von Euch hat das schonmal probiert?

Vielen Dank vorab.

crmspezi

 

[pakuzaz]

Das sieht aber noch nicht danach aus ob alles so prima läuft. Das halbe Forum hat Performance Probleme egal ob pve pbs mailgeteway

 

[crmspezi]

pve
Bei den pve's (11 Stück) hatte ich noch nie echte Performanceprobleme im Betrieb mit zfs oder zfs over iscsi (nur Backupzeiten sind mit pbs lang). Die Stabilität ist momentan sehr gut.

pbs
Stabilität sehr gut, Performance leider nicht, allerdings setze ich HDD's als DATASTORE ein. SSD's kommen hier nicht in Frage.

Mailgateway
Stabilität und Performance ist gut.


Aber das Thema war hier nicht mein anderer Beitrag , sondern zfs special device. Kennt sich jemand damit aus und kann mir meine Frage beantworten?

VG
crmspezi

 

[tom]

pbs
Stabilität sehr gut, Performance leider nicht, allerdings setze ich HDD's als DATASTORE ein. SSD's kommen hier nicht in Frage.

Proxmox Backup Server storage (chunk store) ist für lokalen SSDs entwickelt und optimiert und wird mit HDDs immer (zu) langsam sein.

Die Mehrkosten mit SSDs werden durch die Deduplizierung und hohe Zuverlässigkeit/Lebensdauer schon heute kompensiert (TCO), im Desasterfall ist der Ausfall dann natürlich auch viel kürzer. Kommt also drauf an, wie und welche Kosten man in die Betrachtung dazunimmt, rein der Preis der SSD ist zu wenig.

 

[crmspezi]

Proxmox Backup Server storage (chunk store) ist für lokalen SSDs entwickelt und optimiert und wird mit HDDs immer (zu) langsam sein.

Die Mehrkosten mit SSDs werden durch die Deduplizierung und hohe Zuverlässigkeit/Lebensdauer schon heute kompensiert (TCO), im Desasterfall ist der Ausfall dann natürlich auch viel kürzer. Kommt also drauf an, wie und welche Kosten man in die Betrachtung dazunimmt, rein der Preis der SSD ist zu wenig.

Hallo Tom, ich verstehe den Ansatz vom PBS, trotzdem ist die Frage nach dem Mittelmaß mit "zfs special device" dennoch doch erlaubt. Ich frage also nochmals:

Zerstöre ich mit "-f" meinen bisherigen Datenstore oder kann ich dies nur derzeit nicht mehr rückgängig machen? Ich habe beim Googlen nicht brauchbares dazu gefunden. Wer von Euch hat das schonmal probiert?

siehe oben ...

 

[H4R0]

Da steht doch alles, wo ist das Problem ?

ZFS informiert dich, dass du bei deinem special device mirror nur eine Parität von 1 hast, beim raidz2 hast du aber 2.

Rauchen dir beide SSD's gleichzeitig ab sind alle Daten weg. Paritäten mischen macht kein wirklichen sinn, deswegen die Warnung.

Ignorier die Warnung mit "-f" oder nimm ein striped mirror mit 4 SSD's um auch eine Parität von 2 zu haben.

Nur so nebenbei special devices bei raidz entfernen ist nicht möglich. Wenn du es rückgängig machen willst heißt es pool neu anlegen.

 

[crmspezi]

Danke für die gute und ausführliche Antwort. Das Problem des Nichtverstehens ist mein schlechtes Englisch.

Ein Striped Mirror hat auch keine garantierte Parität von 2. Dann eher Raidz2.

 

[crmspezi]

Ich bin auf den Vorschlag von H4R0 eingegangen und habe die Paritäten gleich gelassen. Danke für den Hinweis! Ist ja auch sinnvoll!

Ich habe einen Mirror aus 3 SSD's (SATA S3710 je 400GB) hinzugefügt. NVME's sind hier technisch nicht möglich. Mir ist klar, das ich das Special Device nicht mehr bei einem Raidz(x) Hauptpool entfernen kann ohne Zerstörung dessen. Ob das Entfernen von einem Mirror oder Stripe-Mirror geht habe ich nicht testen können. Zur Auswahl stand auch ein Raidz2, bestehend aus 4 SSD's oder eben ein Mirror aus 3 SSD's.

root@nasomv6:~# zpool status
pool: RAID-Z2
state: ONLINE
scan: scrub canceled on Fri May 15 19:40:48 2020
config:

NAME STATE READ WRITE CKSUM
RAID-Z2 ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YJXP6DD ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_JEK3X4DN ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YJXREZD ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YJXXABD ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_1EGJKJ0Z ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_1EGJ04ZZ ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_JEJMHXTN ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YK1YM2D ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_2YJY1JMD ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_JEJE9D2N ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_1EGJ2L7Z ONLINE 0 0 0
ata-WDC_WD100EMAZ-00WJTA0_JEK6H6DN ONLINE 0 0 0
special
mirror-1 ONLINE 0 0 0
sdi ONLINE 0 0 0
sdj ONLINE 0 0 0
sdp ONLINE 0 0 0
cache
sdo2 ONLINE 0 0 0

errors: No known data errors

Ich habe mich für den 3-fach Mirror entschieden, weil ich glaube (nicht weiß) das die Latenz bei Lese-Zugriffen, auf die kommt es durch das Backupprinzip mittels Chunk beim PBS drauf an, durch gleichzeitige verteilte Zugriffe auf alle 3 SSD's geringer als bei einem Strip ist. Bei Raidz2 hätte ich wahrscheinlich (Annahme) weniger Speed, dafür aber doppelt so viel Metadaten Speicherplatz. Laut "Faustformel" reichen die 400GB für meine 100TB (0,3%) aus. Kleine Dateien lasse ich NICHT auf dem Special Device speichern.

Ich fahre jetzt das erste neue PBS Backup über 10 VM's, die Metadaten sollten nun auf den SSD's landen und mit der Zeit verschwinden die alten Metadaten auf den Festplatten. Ich werde also mal 2 Wochen warten und berichten ob sich dies merklich auswirkt.

Weiß jemand wie ich den Füllstand der "Special Device" überwachen kann?

VG crmspezi

 

[crmspezi]

Danke trotzdem, hab's rausbekommen.

 

[crmspezi]

Zwischenstand:
Ich habe schon nach 3 Tagen ca. die 8-fache Geschwindigkeit der Backups (inkrementell). Ich hätte mir gewünscht, das ich im Januar/Februar auf meine Beiträge zum gleichen Thema hier eine genaue Funktionserklärung bekommen hätte. Damals hatte ich auch mit Hardware Raid Controllern, anderen NIC's, etc. probiert und den pbs als nicht wirklich produktiv einsetzbar empfunden und dies mehrfach hier kommuniziert. Ich glaubte immer, es liegt an der Schreib-Performance.

Danke Tom, durch Deine Erklärung ist es mir klar geworden. Ihr lest Verzeichnisse (.chunk) mit tausenden Dateien ein, vergleicht dann Check-Summen, etc. Da kommt keine HDD hinterher.

Ein SSD Storage muss es wirklich nicht sein! Wie ich bereits schon einmal hier sagte, man braucht keinen Aston Martin um im Baumarkt 3 Kabelkanäle zu holen! Hier wäre das "Entwicklungsziel" (O-Ton: pbs wurde für SSD Storage entwickelt) in gut 10 Jahren ok, aber nicht 2021.

Für mich ist Stand heute (3 Tage Test) ein HDD Raidz2 mit "Special Device Mirror aus 3 SSD's) absolut ok! Ich glaube man sollte Seitens Proxmox dies auch genauso bewerben (und nicht SSD Storage als fast MUSS), denn nicht jeder ist willig einen "Aston Matin" für Basics zu kaufen!

Das Produkt pbs ist klasse, wenn man weiß wie es wirklich gut funktioniert.

Viele Grüße, auch an eure Marketing Abteilung!
Euer crmspezi

 

[tom]

Ein SSD Storage muss es wirklich nicht sein!

Wir haben sehr viel mit verschiedensten Setups getestet. Natürlich "gehts" auch mit special devices, aber halt nicht perfekt. Wenn dann noch schnelle Tape Backups nötig werden, wird man sehen das nur SSDs Datastores die Tapes mit voller Geschwindigkeit schreiben können (+300 MB/s)

 

[Dunuin]

Zwischenstand:
Ich habe schon nach 3 Tagen ca. die 8-fache Geschwindigkeit der Backups (inkrementell). Ich hätte mir gewünscht, das ich im Januar/Februar auf meine Beiträge zum gleichen Thema hier eine genaue Funktionserklärung bekommen hätte. Damals hatte ich auch mit Hardware Raid Controllern, anderen NIC's, etc. probiert und den pbs als nicht wirklich produktiv einsetzbar empfunden und dies mehrfach hier kommuniziert. Ich glaubte immer, es liegt an der Schreib-Performance.

Und wie ist die Performance sonst noch so? Bei mir den den Servern stecken auch gerade 8x WD80EMAZ und 13x S3710/S3700. Hatte da auch überlegt ob ich beim nächsten Upgrade ein paar von meinen S3710 als Special Devices nutzen sollte. Merkst du da auch einen Geschwindigkeitsvorteil beim SMB/NFS auf den Pool z.B. beim Lesen/Schreiben von vielen kleinen Dateien oder bringt das wirklich nur etwas für spezielle Fälle wie Ordner auflisten? Von der Theorie her hätte ich jetzt gedacht, dass sich da bei kleinen Dateien sich auch die Leistung grob verdoppeln sollte, wenn da keine Metadaten mehr auf der HDD landen und sich die IOPS auf die HDDs damit halbieren?
Wäre nett wenn du da noch generell abseits von PBS etwas zur Performance sagen könntest.

 

[crmspezi]

Wir haben sehr viel mit verschiedensten Setups getestet. Natürlich "gehts" auch mit special devices, aber halt nicht perfekt. Wenn dann noch schnelle Tape Backups nötig werden, wird man sehen das nur SSDs Datastores die Tapes mit voller Geschwindigkeit schreiben können (+300 MB/s)

Hallo Tom,
ich finde, ihr habt eine Nische mit Tape-Backup priorisiert. Ich muss ganz viele TB täglich wegschaufeln, da bin ich mit 2 Second PBS viel besser dran. Das Tape bringt sich nicht allein in einen anderen Brandabschnitt! Klar LTO8 ist schnell aber mit nativ 12TB/Band auch zu klein.

Die Masse der (zahlenden) User sucht eine Lösung, die bezahlbar ist. Mit SSD Storage und Tape-Backup ist dies wenig lukrativ.

Man sollte die Kommunikation beim PBS Storage vorrangig auf "Special Devices" setzen und SSD als Idealfall. Alles andere wirkt unrealistisch und weltfremd.

 

[crmspezi]

Und wie ist die Performance sonst noch so? Bei mir den den Servern stecken auch gerade 8x WD80EMAZ und 13x S3710/S3700. Hatte da auch überlegt ob ich beim nächsten Upgrade ein paar von meinen S3710 als Special Devices nutzen sollte. Merkst du da auch einen Geschwindigkeitsvorteil beim SMB/NFS auf den Pool z.B. beim Lesen/Schreiben von vielen kleinen Dateien oder bringt das wirklich nur etwas für spezielle Fälle wie Ordner auflisten? Von der Theorie her hätte ich jetzt gedacht, dass sich da bei kleinen Dateien sich auch die Leistung grob verdoppeln sollte, wenn da keine Metadaten mehr auf der HDD landen und sich die IOPS auf die HDDs damit halbieren?
Wäre nett wenn du da noch generell abseits von PBS etwas zur Performance sagen könntest.

Ich rede nur vom PBS Storage, nicht vom Storage für die VM's. Du kannst allerdings auch bei Special Devices die kleinen Dateien abgreifen. Ich schreibe nur Metadaten dort hin. Dann landen alle kleine Dateien z.B. kleiner 128KByte auf dem SSD Storage, parallel zu den Metadaten. Pass aber auf, das die Schwelle kleiner als die Recordsize (nicht gleich, also z.B. 127KByte) ist. Sonst landet alles auf den Special Devices. Der Standard liegt bei Record Size bei 128Kbyte. Dies habe ich aber nicht getestet.

Für den Fall, das Du auch kleine Dateien auf dem Special Devices schreiben möchtest, nimm z.B. 2 oder 3 SSD's mit mind. 2TB. Denke aber dran, die Schreibhäufigkeit ist dann um ein vielfaches höher (wegen der Haltbarkeit der SSD's).

Ich nutze kein NFS und CIFS nur für Entwicklung-VM's mit qcow2. Für alles produktive nutze ich ZFS over iSCSI.