ZFS Raid 10 mit 6 Samsung PM893 1,92TB Sata Schreckliche Schreibraten

[cwt]

Hm, die PM897 haben wir zuhauf bei mehreren Kunden im Einsatz. Unterschiedliche Boards/CPUs/Chipsätze/HBAs. Die o.g. Probleme können wir bis jetzt nicht nachvollziehen unter PVE 8.x . Teilweise sind die SSDs schon recht lange im Einsatz und stehen auch ordentlich unter Last.

Würde mich allerdings auch interessieren, wie man ggf. an aktuelle Firmware für die Serie kommt. Gebrandete FW gibts zwar von HPE & DELL, aber nicht direkt von Samsung (afaik). Das DC-Tool ist mit diesen Modellen nicht kompatibel.

 

[Falk R.]

Hm, die PM897 haben wir zuhauf bei mehreren Kunden im Einsatz. Unterschiedliche Boards/CPUs/Chipsätze/HBAs. Die o.g. Probleme können wir bis jetzt nicht nachvollziehen unter PVE 8.x . Teilweise sind die SSDs schon recht lange im Einsatz und stehen auch ordentlich unter Last.

Würde mich allerdings auch interessieren, wie man ggf. an aktuelle Firmware für die Serie kommt. Gebrandete FW gibts zwar von HPE & DELL, aber nicht direkt von Samsung (afaik). Das DC-Tool ist mit diesen Modellen nicht kompatibel.

Moin,

nutzt ihr die alle mit ZFS? Habt ihr da bestimmte Einstellungen?

 

[cwt]

Moin,

nutzt ihr die alle mit ZFS? Habt ihr da bestimmte Einstellungen?

Ja, alle in ZFS RAID (ausnahmslos RAID 1+0 bzw. RAID1 für den PVE selbst). Spezielle Einstellungen haben wir da nicht gesetzt, außer Quota von max. 80%. Je nach Anwendungsszenario sind storages mit unterschiedlichen blocksizes eingerichtet, überwiegend thin provisioned. Auch in diversen PBS laufen die SSDs als ZFS RAID.

 

[jsterr]

Wir haben letztendlich die HBA Firmware auf die aktuellste Version gehoben (FW + PSOC Update) - die Samsung FW hatten wir von Samsung direkt - Wir mussten leider auch noch HW tauschen, die Updates alleine haben nicht geholfen. Unsere Kunden haben Austausch-Server bekommen - Kunde hat die alten Platten in das neue System gepackt und den Pool neu aufgesetzt. Seit 2-3 Wochen keine Fehler. Was jetzt das Problem gelöst hat können wir somit leider nicht 100%ig sagen.

 

[Falk R.]

Wir haben letztendlich die HBA Firmware auf die aktuellste Version gehoben (FW + PSOC Update) - die Samsung FW hatten wir von Samsung direkt - Wir mussten leider auch noch HW tauschen, die Updates alleine haben nicht geholfen. Unsere Kunden haben Austausch-Server bekommen - Kunde hat die alten Platten in das neue System gepackt und den Pool neu aufgesetzt. Seit 2-3 Wochen keine Fehler. Was jetzt das Problem gelöst hat können wir somit leider nicht 100%ig sagen.

Hi Jonas,

welche HBAs habt ihr denn genutzt?

 

[jsterr]

Hi Jonas,

welche HBAs habt ihr denn genutzt?

Hi Falk,

Broadcom HBA 9500-8i SAS-SATA-NVMe

Grüße Jonas

 

[cwt]

Und wo habt Ihr die FW für die SSDs herbekommen?

 

[jsterr]

Und wo habt Ihr die FW für die SSDs herbekommen?

Direkt über den Samsung Support per E-Mail - als "Consumer" wirds schwierig denke ich da dran zukommen.

 

[Falk R.]

Direkt über den Samsung Support per E-Mail - als "Consumer" wirds schwierig denke ich da dran zukommen.

Das ist mal wieder ganz übel, wenn du die Dinger gekauft hast wirst du im Regen stehen gelassen. Es gibt ja bestimmt auch Hersteller die solche Firmware auf ihrer Webseite einbinden.

 

[VoIP-Ninja]

@jsterr interessant - sind die Probleme auch auf Systemen ohne HBA aufgetreten?

Wir haben so ein paar von den Samsung im Raid1 zfs wohl aber in AMD Systemen, also ohne HBA und bisher diese Fehler nicht festgestellt.

 

[Fatz]

(Ich musste das auf Google übersetzen, da mein Deutsch schlecht ist. Der Originaltext ist unten. )

Ich wollte mich nur einmischen, da mir dieser Thread bei Google aufgefallen ist, da ich auch die ausgegrauten Kästchen bei Thomas Krenn bezüglich Proxmox und den PM 893-Laufwerken gesehen habe und mich gefragt habe, warum das so steht.

Der Grund dafür ist, dass ich seit fast einem Jahr ohne Probleme zwei Server mit jeweils zwei dieser Laufwerke in einem ZFS-Spiegel betreibe. Da ich aber meine HBAs für meine Haupt-„Datenspeicher“ (mit anderen Laufwerken) verwende, sind diese beiden Laufwerke über SATA verbunden und dienen ausschließlich der Proxmox-Installation.

Es handelt sich um die 240-GB-Modelle (MZ7L3240HCHQ-00A07), die derzeit einen Verschleiß von 2 % aufweisen und sich daher gut behaupten. Meine zpool status Ausgabe zeigt auf keinem der Hosts solche Fehler. Möglicherweise ist dies nur bei HBA/RAID-verbundenen Festplatten dieses Modells ein Problem?

Ich wollte nur mein 2c hinzufügen und werde dieses Gespräch mit Interesse verfolgen.

======================================

Just wanted to chime in as this thread caught my eye from Google, as i also saw the 'greyed out' boxes on Thomas Krenn regarding Proxmox and the PM 893 drives, and wondered why it said this.

The reason is - I have been running 2 servers, each with 2x of these drives in a ZFS mirror, for almost a year without issue. But since i use my HBAs for my main 'datastores' (with other drives), these 2 drives are connected via SATA and used purely for the Proxmox installation.

They are the 240GB models (MZ7L3240HCHQ-00A07), currently 2% wearout, so holding up well. My zpool status output shows no such errors on either host. Maybe this is an issue only with HBA/RAID connected disks with this model?

Just wanted to add my 2c and will follow this conversation with interest.

 

[Falk R.]

Das war auch unsere Vermutung, als Jonas geschrieben hat, dass er die Probleme mit den Broadcom HBAs hat.
Ich habe die SSDs 1,92TB-7,68TB in PBS Servern verbaut und da direkt onboard. Bisher gab es da auch keine Probleme.

 

[jsterr]

Unser Kunde hatte Austauschserver bekommen, wir haben danach auch nochmal die Tests mit einer weiteren Hardware wiederholt. Hier sind die Ergebnisse wen es interessiert:

Testablauf Proxmox Backup Server

Betrifft Ticket Nr. 249367 bzw. SN 9000304289

Hier wurde die Konfiguration des Kunden versucht mittels Testaufbau nachzustellen.

Firmware und Softwarepakete wurden so installiert, dass alles dem Auslieferungszustand des originalen Systems entsprach. Nach dem Aufbau wurde Proxmox Backup Server in der Version 2.4-1 installiert und ein ZFS Pool auf die Samsung SSDs im RAID Verbund erstellt.

Eine Backplane wurde nachträglich auch noch mit verbaut, um diese als Fehlerquelle ausschliessen zu können.

Erst folgten ein paar kleinere Schreibtests und dann wurden die SSD mittels Skript 5 Tage lang beschrieben – zusätzlich dazu habe ich noch X:\21_Operating Systems als zu sichernden Pfad angegeben, um zur bereits vorhanden Schreiblast auch noch ordentlich Netzwerk-Traffic zu erzeugen.

Im Testzeitraum von rund 170 Stunden (wurde auch nachts und am Wochenende beschrieben) wurden insgesamt 59.96 TB auf den ZFS Pool geschrieben.

Lt. SMART sind die Platten nun zu 1% abgenutzt.

Ergebnis: Keinerlei Fehlermeldungen oder gar „Aussteiger“ des ZFS Pools.

Wir werden die SSDs wohl bald wieder einblenden.

 

[Üba3ba]

Servus, gibt es etwas neues zu der Problematik?

Ich überlege nämlich mir von den PM893 welche zuzulegen.
Die sollen an einem Cisco UCSC-SAS12GHBA 12G SAS betrieben werden.
Bei TK sind die Platten immer noch ausgegraut.

 

[Falk R.]

Guck mal was der Cisco HBA für ein Modell ist. Eventuell auch mal aktuelle Firmware drauf packen, hat noch nie geschadet

 

[jsterr]

Servus, gibt es etwas neues zu der Problematik?

Ich überlege nämlich mir von den PM893 welche zuzulegen.
Die sollen an einem Cisco UCSC-SAS12GHBA 12G SAS betrieben werden.
Bei TK sind die Platten immer noch ausgegraut.

Ich gebe Montag ein Update, der Kunde von damals hat sich nochmal gemeldet und ich kann ggf. ein Update geben.

 

[Üba3ba]

Ich schau mal nach, Falk.

Danke jsterr.

Das schreckt mich schon bisschen ab, jetzt noch die PM893 zu kaufen.
Die Intel 3D-S4520 scheinen zu laufen.
Ich informier mich noch bisschen. Eventuell werden es dan die Intel.

 

[jsterr]

Falscher Alarm, Kunde hatte nur den gleichen Namen, war aber ein anderes Thema (auch Samsung SSDs). Wir haben immer noch ein mittleren zweistelligen Monatsverbrauch von der 960 GB und andere Größen entsprechend auch. Ich habe auch keine weitere Meldung mehr gehört.

So ein Problem ist also nie nur Datenträger bezogen, sondern meist immer eine Kombination aus Mainboard + Controller + Datenträger. Trotzdem greife ich persönlich mittlerweile gerne lieber auf Intel Datenträger, weil der Support besser ist, wenn mal was nicht klappt.

 

[Falk R.]

Trotzdem greife ich persönlich mittlerweile gerne lieber auf Intel Datenträger, weil der Support besser ist, wenn mal was nicht klappt.

Intel gibts aber schon ne Weile nicht mehr. Ist alles verkauft und heißt Solidigm. Ich arbeite gern mit Kioxia, aber die haben kaum noch SATA. NVMe ist ja bei den Enterprise SSDs inzwischen günstiger als SATA (zumindest im Einkauf)

 

[jsterr]

Intel gibts aber schon ne Weile nicht mehr. Ist alles verkauft und heißt Solidigm. Ich arbeite gern mit Kioxia, aber die haben kaum noch SATA. NVMe ist ja bei den Enterprise SSDs inzwischen günstiger als SATA (zumindest im Einkauf)

Meine ich ja ;-) Yes Solidigm ist korrekt. Ich persönlich sehe SATA nur noch als Boot-Medium für Server relevant, die kein 2x m.2 NVMe onboard haben.