Kompatibilität Dell Server

[JCFuchs]

Hallo Forum,
Ich bin auf der Suche nach einer unterstützten Hardware für einen PVE.

Jetzt habe ich ein Angebot erhalten für einen PowerEdge R350 Server 210-BBRU. Wisst ihr, ob der von der Hardware her geeignet ist für Proxmox?
Ich möchte bei diesem kein Hardware RAID verwenden, sondern aus 4 HDDs ein ZFS bauen.

Ich hoffe ich habe alle notwendigen Angaben gemacht, bei Serverhardware kenne ich mich gar nicht aus.

Besten Dank
Jan

 

[Dunuin]

PVE nutzt einen modifizierten Ubuntu kernel + Debian Userspace. Du kannst also gucken ob deine Hardware bei Ubuntu auf der Support-Liste steht: https://ubuntu.com/certified
Für ZFS solltest du dann auch nicht die Disks an einem Raid-Controller betreiben, außer der hat einen richtigen HBA-Modus bzw lässt sich mit IT-mode Firmware flashen.

 

[sb-jw]

Also ich konnte bisher nie Probleme mit Dell PowerEdge und Proxmox feststellen. Ich habe Proxmox schon auf PE 1950 / 2950 genutzt, dann auf R610, R710, R620, C2100, R320, R330, R630 etc. Insofern wirst du mit einem aktuelleren Modell sicherlich keine Probleme dahingehend haben.

Ob dir die Ausstattung reicht, das musst du natürlich selbst wissen

Für ZFS solltest du dann auch nicht die Disks an einem Raid-Controller betreiben, außer der hat einen richtigen HBA-Modus bzw lässt sich mit IT-mode Firmware flashen.

Ab Gen 13 lassen sich die Controller auf jeden Fall umstellen (ggf. sogar schon in Gen 12). Ansonsten den HBA330 direkt verwenden.

 

[JensF]

@sb-jw sicher dass das auch für den PERC 750/755 gilt, welcher mit dem Server kommen kann?
Ein HBA 350/355 wäre natürlich ideal.

 

[sb-jw]

sicher dass das auch für den PERC 750/755 gilt, welcher mit dem Server kommen kann?

Garantieren kann ich dir das nicht. Bei der PERC 9er Serie war es möglich, bei der PERC 10er offenbar nicht und bei der PERC 11er offenbar wieder.

Auf der nachfolgenden Seite wird zumindest "non-RAID" mit ja beschrieben, also muss das möglich sein.
https://www.dell.com/support/manual...af8b59-903f-49c1-8832-f3997d125edf&lang=en-us

Eine Übersicht über die Generationen findest du hier: https://www.dell.com/support/kbdoc/...id-controller-perc-typen-für-dell-emc-systeme

 

[JCFuchs]

Vielen Dank für die schnellen Antworten. Im Angebot habe ich drei Positionen Zum Thema RAID.

1x Nicht konfiguriertes RAID 780-BCDS
1x PERC H755 SAS Front 405-AAZB
>> was ist das 780 BCDS?


1x BOSS-S2-Controller-Karte + mit 2 M.2 480 GB (RAID 1) 403-BCMB
>> Diese ist wohl für das Betriebssystem

4x 1,92 TB SSD-SATA, leseoptimiert, 6 Gbit/s 512 2,5"-Hot- Plug-AG-Laufwerk, 1 DWPD,
>> Kann ich denn diese Festplatten direkt am Motherboard anschließen und habe sie so in Proxmox als ZFS zur Verfügung?

Besten Dank
Jan

 

[Falk R.]

1x Nicht konfiguriertes RAID 780-BCDS

Das ist der Bestellcode für keine Raid Konfiguration

1x PERC H755 SAS Front 405-AAZB

Das ist ein vollwertiger Raid Controller, man kann diesen aber auch zum HBA degradieren. Ob das dann ein echter oder fake HBA Mode ist, kann ich dir nicht sagen.

1x BOSS-S2-Controller-Karte + mit 2 M.2 480 GB (RAID 1) 403-BCMB
>> Diese ist wohl für das Betriebssystem

Ja, auf den Boss Cards ist immer ein Raid1, da drauf installiere ich den PVE auch immer mit ext4

4x 1,92 TB SSD-SATA, leseoptimiert, 6 Gbit/s 512 2,5"-Hot- Plug-AG-Laufwerk, 1 DWPD,
>> Kann ich denn diese Festplatten direkt am Motherboard anschließen und habe sie so in Proxmox als ZFS zur Verfügung?

Musst du gucken ob die Kabel von der Backplane passen, sonst den H755 im HBA Modus nutzen.

 

[UdoB]

Ich weise mal auf ein Detail zum BOSS hin:

Ja, auf den Boss Cards ist immer ein Raid1, da drauf installiere ich den PVE auch immer mit ext4

Ich habe gerade erstmals (versehentlich) ein BOSS-N1 = NVMe am Start. Es gibt die auch mit SATA (!), dann kann man beide Devices sehen und ZFS/Mirrored aufbauen. Mit NVMe ist das tatsächlich nicht möglich.

Ich will aber ZFS. Darum habe ich PVE nun mit

~# zfs get copies rpool
NAME   PROPERTY  VALUE   SOURCE
rpool  copies    2       local

installiert.

Ist das ein "call for desaster" oder tolerierbar?

Nachtrag: natürlich halbiert das Lebensdauer und die Performance. Beides ist eher egal: dort liegt nur das OS und die normalen Logfiles.

 

[Falk R.]

Ich will aber ZFS. Darum habe ich PVE nun mit

~# zfs get copies rpool
NAME   PROPERTY  VALUE   SOURCE
rpool  copies    2       local

installiert.

Ist das ein "call for desaster" oder tolerierbar?

Nachtrag: natürlich halbiert das Lebensdauer und die Performance. Beides ist eher egal: dort liegt nur das OS und die normalen Logfiles.

Warum die Copies? Damit tötest du die SSDs noch schneller. Das sind OS-SSDs, die haben in der Regel maximal 0,3 DWPD und sind bei ZFS Single schon hart am Limit.

 

[UdoB]

Warum die Copies?

Naja, die Idee war in dem Moment natürlich, ZFS eine Chance auf "self-healing" zu geben.

Aber dazu müsste natürlich erst einmal ein Lesefehler bis auf diese Ebene durchschlagen. Das ist zugegebener maßen eher unwahrscheinlich, wenn ich nochmal darüber nachdenke.

Damit tötest du die SSDs noch schneller.

Ja, das ist klar. Mir fehlen noch "historische" Daten, daher unter Vorbehalt: inklusive der Installationphase und einiger Tests habe ich in 68 Tagen...

~# smartctl  -A /dev/nvme1n1  | grep -E "Data Units Written|Power On Hours"
Data Units Written:                 5,514,559 [2.82 TB]
Power On Hours:                     1,645

... anscheinend nur 0.01 DWPD Schreiblast erzeugt. Das Teil dürfte also einige Zeit halten, auch wenn hier mehrere Wochen "idle" inbegriffen sind.

Viele Grüße

 

[sb-jw]

Was ist denn für eine Disk verbaut? DWPD ist ja in der Regel die maximale Schreibleistung berechnet auf 3 oder 5 Jahre.

 

[Falk R.]

Bei den Boss Card sind in der Regel 0,3 DWPD auf 5 Jahre verbaut. Die Modelle sind verschieden, da Dell auf mehrere Hersteller zurückgreift.

 

[UdoB]

~# nvme list
Node                  Generic               SN                   Model                                    Namespace Usage                      Format           FW Rev
--------------------- --------------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
...
/dev/nvme1n1          /dev/ng1n1            CN0Wxxxxxxxxxxxxxxx   Dell BOSS-N1                             1         480.04  GB / 480.04  GB    512   B +  0 B   11131069

 

[sb-jw]

Bei den Boss Card sind in der Regel 0,3 DWPD auf 5 Jahre verbaut. Die Modelle sind verschieden, da Dell auf mehrere Hersteller zurückgreift.

Deshalb ja meine Frage, was da verbaut ist. Da ich noch keine solche Karte in der Hand hatte: sind die so zugenagelt, dass man via smartctl nicht die Modelle dahinter bekommt?

 

[Falk R.]

Anhand der Seriennummer kann Udo mal gucken welches Modell das ist, oder mal auf die Hardware gucken.

 

[UdoB]

Anhand der Seriennummer kann Udo mal gucken welches Modell das ist, oder mal auf die Hardware gucken.

Ich komme da gerade nur umständlich dran. Aber 0.3 DWPD ist ziemlich sicher korrekt.

Viele Grüße

@JCFuchs sorry, dass ich diesen Thread gekapert hatte, BOSS war für dich ja nur ein kleines Detail. Mein Punkt war lediglich, dass es verschiedene BOSS-xyz gibt und ich BOSS-Sata plus ZFS nehmen würde.

 

[hda]

Nur der Vollständigkeit halber sei erwähnt dass PVE (zumindest bei mir) auf dem Dell T30 nicht läuft. Das ist auch zu erwarten, da die Ubuntu Kompatibilität laut Dell bei Ubuntu 16.04 aufhörte. Schade, dass die Distros immer speziell angepasst werden müssen für manche Dell-Server.
Zugegebenermaßen ist der t30 auch kein Server sondern eine workstation und somit für den Windows-Gebrauch optimiert.

 

[Falk R.]

Nur der Vollständigkeit halber sei erwähnt dass PVE (zumindest bei mir) auf dem Dell T30 nicht läuft. Das ist auch zu erwarten, da die Ubuntu Kompatibilität laut Dell bei Ubuntu 16.04 aufhörte. Schade, dass die Distros immer speziell angepasst werden müssen für manche Dell-Server.
Zugegebenermaßen ist der t30 auch kein Server sondern eine workstation und somit für den Windows-Gebrauch optimiert.

Da muss nichts angepasst werden, die Kiste ist halt schon recht alt und oft laufen dann neuere Kernel mit der Hardware nicht mehr richtig.