Moin moin
ich hatte vor einiger Zeit schon mal einen Thread, wo es um einen Samba File Server ging.
Mittlerweile konnte ich diese Probleme alle lösen und habe meinen Storage Server in Betrieb genommen.
Weil das Budget begrenzt war, habe ich nur 8x 16TB Disks kaufen können. Da ich in der Vergangenheit schlechte Erfahrungen mit der Performance mit RAIDZ2 gemacht habe, und auch schon die Erfahrung sammeln durfte, wie lange das Resilvern dauerte nachdem eine Disk ausgefallen war, habe ich meinen neuen Pool mit den 8x 16 TB aufgebaut, jeweils 2 Disks als Mirror. Also 4x 2 Disk Mirrors. Auch die Expandierbarkeit, welche ein wichtiges Kriterium ist, scheint mir mit den Mirrors besser zu sein. Ich muss nur 2 Disks hinzufügen, und schon kann ich expandieren. Auch sollte der Speed besser sein, wenn ich viele kleine vdevs habe; denn mein Netzwerk hat 50 GBit Glasfaser.
Ich werde später, wenn es das Budget wieder erlaubt, einen zusätzlichen JBOD Disk Shelf kaufen, wo ich weitere 8 Disks einfügen kann und dann meinen bestehenden Mirror so aufteilen, dass die eine Hälfte im einen Gehäuse, und die andere Hälfte im anderen Gehäuse ist. So könnte ein HBA oder der Disk Shelf komplett ausfallen, und alle Daten wären immer noch da.
Backups werden natürlich gemacht auf einen externen Tape Archiv.
Im Moment ist es in der Tat leider so, dass alle Disk-Schächte voll sind, ich kann also keine weiteren Disks hinzufügen. Wenn ich den JBOD dran habe, geht das wieder. Die Idee ist eigentlich, die Disks zu ersetzen, bevor sie ausfallen, und da würde ich bei einem 2x Mirror dann einfach eine 3. Disk hinzufügen, den Resilver abwarten, und die zu ersetzende Disk dann entfernen. Im Moment könnte ich das nicht, ich müsste eine Disk, die droht auszufallen, erst komplett entfernen, und dann ersetzen.
Gescrubbt wird wöchentlich, und SMART Daten täglich angeschaut. Die Disks sind neu und vom Lieferanten einem "Burn in" Test unterzogen worden, daher rechne ich eigentlich nicht damit, dass sofort eine ausfällt.
Die Resilver-Zeit dürfte auch OK sein: wenn die Disk 200MB/sec lesen kann, dauert das Wiederherstellen einer 16TB Disk rund 22 Stunden. Das gilt beim Mirror. Wenn ich aber RaidZ nehmen würde, dann müssten ja, um 1 Disk wiederherzustellen, alle anderen 7 Disks gelesen werden, dh. es müssten 7x 16 TB gelesen werden, um 16 TB zu rekonstruieren, d.h. es würde rund 7 Tage für den Resilver brauchen. Der Mirror ist besser, nicht?
Was ist von diesem Setup zu halten? war das dumm? hätte ich doch RAIDZ2 nehmen sollen? mit 8 Disks hätte das natürlich schon mehr Platz gebracht, aber eben auch weniger Performance.
ich hatte vor einiger Zeit schon mal einen Thread, wo es um einen Samba File Server ging.
Mittlerweile konnte ich diese Probleme alle lösen und habe meinen Storage Server in Betrieb genommen.
Weil das Budget begrenzt war, habe ich nur 8x 16TB Disks kaufen können. Da ich in der Vergangenheit schlechte Erfahrungen mit der Performance mit RAIDZ2 gemacht habe, und auch schon die Erfahrung sammeln durfte, wie lange das Resilvern dauerte nachdem eine Disk ausgefallen war, habe ich meinen neuen Pool mit den 8x 16 TB aufgebaut, jeweils 2 Disks als Mirror. Also 4x 2 Disk Mirrors. Auch die Expandierbarkeit, welche ein wichtiges Kriterium ist, scheint mir mit den Mirrors besser zu sein. Ich muss nur 2 Disks hinzufügen, und schon kann ich expandieren. Auch sollte der Speed besser sein, wenn ich viele kleine vdevs habe; denn mein Netzwerk hat 50 GBit Glasfaser.
Ich werde später, wenn es das Budget wieder erlaubt, einen zusätzlichen JBOD Disk Shelf kaufen, wo ich weitere 8 Disks einfügen kann und dann meinen bestehenden Mirror so aufteilen, dass die eine Hälfte im einen Gehäuse, und die andere Hälfte im anderen Gehäuse ist. So könnte ein HBA oder der Disk Shelf komplett ausfallen, und alle Daten wären immer noch da.
Backups werden natürlich gemacht auf einen externen Tape Archiv.
Im Moment ist es in der Tat leider so, dass alle Disk-Schächte voll sind, ich kann also keine weiteren Disks hinzufügen. Wenn ich den JBOD dran habe, geht das wieder. Die Idee ist eigentlich, die Disks zu ersetzen, bevor sie ausfallen, und da würde ich bei einem 2x Mirror dann einfach eine 3. Disk hinzufügen, den Resilver abwarten, und die zu ersetzende Disk dann entfernen. Im Moment könnte ich das nicht, ich müsste eine Disk, die droht auszufallen, erst komplett entfernen, und dann ersetzen.
Gescrubbt wird wöchentlich, und SMART Daten täglich angeschaut. Die Disks sind neu und vom Lieferanten einem "Burn in" Test unterzogen worden, daher rechne ich eigentlich nicht damit, dass sofort eine ausfällt.
Die Resilver-Zeit dürfte auch OK sein: wenn die Disk 200MB/sec lesen kann, dauert das Wiederherstellen einer 16TB Disk rund 22 Stunden. Das gilt beim Mirror. Wenn ich aber RaidZ nehmen würde, dann müssten ja, um 1 Disk wiederherzustellen, alle anderen 7 Disks gelesen werden, dh. es müssten 7x 16 TB gelesen werden, um 16 TB zu rekonstruieren, d.h. es würde rund 7 Tage für den Resilver brauchen. Der Mirror ist besser, nicht?
Was ist von diesem Setup zu halten? war das dumm? hätte ich doch RAIDZ2 nehmen sollen? mit 8 Disks hätte das natürlich schon mehr Platz gebracht, aber eben auch weniger Performance.
Last edited:
