Thin LVM oder ext4 als Directory?

[semiworld]

Hallo,

ich bin gerade dabei meinen ersten Promox VE Server inbetriebzunehmen und ersuche um eine Einschätzung zum Thema Storage.

Die Hardware des Server hat ein Hardware RAID (LSI MegaRAID 9560-8i mit BBU) und 4x 12TB SAS HDDs + 4x 960GB SSDs jeweils als RAID10 am RAID Controller für VMs + 2x 480GB nvme für Promox direkt am Mainboard verbaut. Das Storage soll also lokal im Server sein. Das Hardware RAID würde ich - wenn nicht ganz unvernünftig gerne behalten.

Für die NVMEs auf denen Promox läuft habe ich ein ZFS - also mit Software Raid erstellt.

Für VMs bin ich nun unsicher ob ich ein Thin-LVM oder alternativ ein EXT4 machen. Ich suche einen Rat. Live Replikation oder ähnlich ist für mich kein Thema.

Aus Performance Sicht wäre Thin-LVM nehme ich an hier das Storage der Wahl. Allerdings habe ich hier etwas bedenken, da ich von Thin-LVM schon div. Schauermärchen gehört und gelesen habe wo ein Thin-LVM nach Stromausfällen etc. kaputt gegangen und scheinbar nicht mehr zu reparieren war. Ich weiß, dafür hat man ein Backup und das habe ich auch - dennoch ist das Backup dann halt immer "älter" und man versucht zuerst erst wieder zu reparieren. Ich habe bisher LVM so gut wie nirgends verwendet und daher auch keine Erfahrung damit.

Das klassische EXT4 wäre da wahrscheinlich "stabiler" bzw. zumindest in solchen Fällen wahrscheinlich einfach zu handeln. Wobei ich dazu sagen muss, dass der Server in einem Rechenzentrum mit redundanter Stromversorgung steht.

Snapshots wären prinzipiell auch gut, habe ich in der Vergangenheit aber auch kaum gebraucht. Ich weiß auch nicht wie hoch die Wahrscheinlichkeit eines kaputten LVMs bzw. Thin-LVMs in der Praxis wirklich ist. Wenn man danach googelt findet man einige User, die um Hilfe schreien und keine Inputs bekommen bzw. wo es dann mit Restore aus Backup geendet hat.

Kann man mir jemand einen Tipp geben zu welchem Storage ich greifen sollte.

Ich bin für jede Meinung / Input dankbar.

Vielen Dank vorab!

 

[Falk R.]

Hallo,

ich bin gerade dabei meinen ersten Promox VE Server inbetriebzunehmen und ersuche um eine Einschätzung zum Thema Storage.

Die Hardware des Server hat ein Hardware RAID (LSI MegaRAID 9560-8i mit BBU) und 4x 12TB SAS HDDs + 4x 960GB SSDs jeweils als RAID10 am RAID Controller für VMs + 2x 480GB nvme für Promox direkt am Mainboard verbaut. Das Storage soll also lokal im Server sein. Das Hardware RAID würde ich - wenn nicht ganz unvernünftig gerne behalten.

Für die NVMEs auf denen Promox läuft habe ich ein ZFS - also mit Software Raid erstellt.

Für VMs bin ich nun unsicher ob ich ein Thin-LVM oder alternativ ein EXT4 machen. Ich suche einen Rat. Live Replikation oder ähnlich ist für mich kein Thema.

Aus Performance Sicht wäre Thin-LVM nehme ich an hier das Storage der Wahl. Allerdings habe ich hier etwas bedenken, da ich von Thin-LVM schon div. Schauermärchen gehört und gelesen habe wo ein Thin-LVM nach Stromausfällen etc. kaputt gegangen und scheinbar nicht mehr zu reparieren war. Ich weiß, dafür hat man ein Backup und das habe ich auch - dennoch ist das Backup dann halt immer "älter" und man versucht zuerst erst wieder zu reparieren. Ich habe bisher LVM so gut wie nirgends verwendet und daher auch keine Erfahrung damit.

Solche Schaermärchen habe ich noch nicht gehört oder gesehen. Vermutlich weil ich nicht auf Facebook oder Twitter unterwegs bin.
Ich nutze LVM-Thin Pools auch bei einigen Kundenistallationen, sowie bei vielen Homeinstallationen, wo ich unterstützt habe. Ich habe noch nie ein defektes LVM gesehen, außer einmal auf einer Disk mit vielen Physikalischen Fehlern. Da hätte es aber auch jedes andere System zerissen.

Das klassische EXT4 wäre da wahrscheinlich "stabiler" bzw. zumindest in solchen Fällen wahrscheinlich einfach zu handeln. Wobei ich dazu sagen muss, dass der Server in einem Rechenzentrum mit redundanter Stromversorgung steht.

Eher nein. LVM reicht dir das Blockdevice direkt an die VM, bei Ext4 hast du wieder ein extra Dateisystem mit Overhead und die Wahrscheinlichkeit für Fehler verdoppeln sich theoretisch. Praktisch läuft beides Stabil, aber das extra Dateisystem kostet auf jeden Fall Performance.

Snapshots wären prinzipiell auch gut, habe ich in der Vergangenheit aber auch kaum gebraucht. Ich weiß auch nicht wie hoch die Wahrscheinlichkeit eines kaputten LVMs bzw. Thin-LVMs in der Praxis wirklich ist. Wenn man danach googelt findet man einige User, die um Hilfe schreien und keine Inputs bekommen bzw. wo es dann mit Restore aus Backup geendet hat.

Wo findest du solche Anfragen? Hier im Forum, wo einem gut geholfen wird ist mir noch kein kaputtes LVM untergekommen. Eventuell habe ich den einen Thread bisher überlesen.
Snapshots kannst du mit LVM-Thin sowie per qcow2 auf deinem Dateisystem machen. Geht also in beiden Fällen.

Wenn du das Hardwareraid nutzen willst, würde ich bei LVM-Thin bleiben und wenn du lieber die maximale Datenkonsistenz und Überprüfung haben möchtest, solltest du ZFS Mirror nutzen.

 

[semiworld]

Danke Dir für die Einschätzung! Das mit dem doppelten Dateisystem ist natürlich ein Argument!

Also sollte ich mich also eher zwischen ZFS ohne Hardware Raid und LVM-Thin mit Hardware Raid entscheiden...

 

[semiworld]

Wo findest du solche Anfragen? Hier im Forum, wo einem gut geholfen wird ist mir noch kein kaputtes LVM untergekommen. Eventuell habe ich den einen Thread bisher überlesen.
Snapshots kannst du mit LVM-Thin sowie per qcow2 auf deinem Dateisystem machen. Geht also in beiden Fällen.

Bei meiner Google Suche bin ich dann auf Beiträge gestoßen wo das LVM aus irgendeinem Grund voll gelaufen ist und dann weg war oder eben nach Stromausfällen... Überlaufen bei LVM-Thin scheint ein Thema zu sein, das muss man dann wohl gut monitoren?

Bei ZFS hatte mich ursprünglich eben die Tatsache, dass ich einen RAID Controller für den Server gekauft hatte (das war ursprünglich noch für Vmware geplant), dass ZFS scheinbar "viel" Ram braucht und ich mit ZFS auch noch keine praktische Erfahrung habe abgehalten...

 

[ThoSo]

Was spricht bei Hardware-Raid eigentlich gegen Raid 5 (oder 6)? Würde ich einem Raid 10 immer vorziehen.
Wenn's noch "stabiler" werden soll dann auf "Write Thru" statt "Write Back" stellen.

Überlege dir auch auch, wo du die ISOs speichern willst - das geht bei LVM nicht nur mit Verzeichnis!

Dann kannst dir auch den Backup Server einrichten und dort tägliche Sicherungen aktivieren - dann sind die Backups auch nicht veraltet - wenn mal "Not am Mann" wäre.
Und vorher auch mal testen - bevor das Produktiv wird!

 

[semiworld]

Was spricht bei Hardware-Raid eigentlich gegen Raid 5 (oder 6)? Würde ich einem Raid 10 immer vorziehen.

RAID10 ist halt denk ich schneller beim Schreiben und rebuildet jedenfalls auch schneller im Falle eines Festplattenausfalles als ein RAID5. Dafür hätte man Speicherplatz.... Hab zugegeben schon ewig kein RAID5 mehr gebraucht.

Überlege dir auch auch, wo du die ISOs speichern willst - das geht bei LVM nicht nur mit Verzeichnis!

Sehr guter Input... das war mir nicht bewusst.... Das muss ich noch lösen! Danke!

EDIT: Spricht etwas dagegen die ISOS (sind nur wenige bzw. 3 notwendige) auf pve local zu legen? Dort hätte ich noch 200gb frei!

Dann kannst dir auch den Backup Server einrichten und dort tägliche Sicherungen aktivieren - dann sind die Backups auch nicht veraltet - wenn mal "Not am Mann" wäre.
Und vorher auch mal testen - bevor das Produktiv wird!

das würde auch nichts dran ändern, dass ich im Fehlerfall immer zuerst das LIVE System reparieren würde, bevor ich zu einem Backup greife - weil selbst mehr als ein tägliches Backup habe ich nicht und selbst wenn das nur etwas jünger ist, ist das natürlich immer besser alle Daten zu haben..sofern möglich. Tägliches Backup muss es sowieso immer geben...

 

[semiworld]

Weiss jemand zufällig ob man den RAID Controller Broadcom MegaRAID 9560-8i in den HBA Mode (IT-Mode) versetzen kann, ggf. mit Flash um ZFS sicher verwenden zu können?

 

[Falk R.]

Klar kannst du die umstellen, ZFS Sicher ist eigentlich blödsinn, es ist immer nur so sicher wie du es benutzt.
Wenn du einen Controller auf HBA Mode setzt, bleibt er das auch, bis du das von Hand änderst. Das war schon immer so und wird sich auch nicht ändern. Außerdem können die aktuellen Controller alle Hybrid mode. Alle Raid konfigurierten DIsks werden mit dem Raid Chip angesprochen, alle anderen Disk immer im HBA Mode durchgereicht. Das benötigen Produkte wie vSAN oder MS S2D. Die sind auch auf sauber durchgereichte Disks angewiesen.