[SOLVED] ZFS Mirror mit M2 NVMe und SSD?

[gustel]

Hallo Forum,

leider findet man nicht wirklich viel zu dem o.g. Setup, was meine Frage sehr wahrscheinlich auch beantworten wird.
Macht es sinn, aus einer 1TB M2 NVMe und einer 1 TB SSD ein RAID1 für die LXC und VM´s zu erstellen?

Kurz zum Vorhaben;
ich habe zwei identische Mini-PC´s mit 1x 500GB SSD, 1x 1TB NVMe und 1x 1TB SSD.
Gedacht war die 500GB für die Installation von PVE, die NVMe für LXC und VM, die 1TB SSD für eine PBS-VM durchgereicht.
Das ganze wird dann in einem 2 Node Cluster mit einem QDevice betrieben.
In einem anderen Thread hat mich Dunuin schon vor einem schleichenden Datenverlust der NVMe gewarnt.

Gruß und danke!
Frank

PS: sollte ich einen Thread übersehen haben, freue ich mich auch über einen Link oder Hinweis!

 

[UdoB]

Macht es sinn, aus einer 1TB M2 NVMe und einer 1 TB SSD ein RAID1 für die LXC und VM´s zu erstellen?

Nun ja, ob es Sinn macht kommt insbesondere auch darauf an wieviel dir "Ausfall-Redunanz" wert ist.

• du bekommst Redundanz = eines der beiden Geräte darf ausfallen.
  Wenn (nicht: falls) eines von beiden ausfällt, läuft das System zunächst weiter.
• du bekommst "nur" die Sync-Write-Performance der (mit großer Wahrscheinlichkeit) lahmeren SSD; Lesen geht allerdings durchaus schneller.
• es kostet mehr Geld - bzw. andersherum: der Plattenplatz halbiert sich.

Aber funktionieren wird es.

Ich persönlich setze jeden privaten Server (nicht jedoch meinen (Heim-) Arbeitsplatz) mit Redundanz auf. Und zwar sowohl Betriebssystem als auch Datenbereich. Je nach Verwendungzweck als zweifach/dreifach Mirror, Striped Mirror oder auch Raidz1/RaidZ2. (Dreifach Mirror ist ernstgemeint. Wenn ein Server wichtig ist, hat man sofort ein mulmiges Gefühl, wenn in einem zweifach-Mirror einer der beiden Devices ausfällt. Been there, done that.)

Und nicht vergessen: diese Redundanz-Konzepte ersetzen kein Backup!

Viele Grüße

 

[gustel]

Hallo UdoB,

danke für deine Antwort!

du bekommst "nur" die Sync-Write-Performance der (mit großer Wahrscheinlichkeit) lahmeren SSD; Lesen geht allerdings durchaus schneller.

Wenn das alles ist steht dem ganzen nichts im Weg.
Ich dachte eher, dass es sich eventuell "nicht verträgt" und man lieber bei einem System bleiben sollte, also SSD+SSD oder NVMe+NVMe.

Backups mach ich taglich auf einen zweiten PBS und zusätzlich meine wichtigen Daten auf einen Ubuntu-Server mit rsnapshot.

Gruß Frank

 

[Dunuin]

Kann ich mich nur anschließen. Redundanz sollte man eigentlich immer überall haben, dann erspart man sich viel Ärger und Nerven, wenn mal eine Disk ausfällt (und das werden sie immer, die frage ist nur wie schnell). Redundanz des VM Storages ist aber auch nicht so super sinnvoll, wenn deine PVE Disk keine Redundanz hat. Schmiert dir die Systemdisk ab, dann ist dein Node ja auch offline und der gespiegelte VM Storage bringt nicht mehr viel.
Und wie UdoB schon sagte, Raid ersetzt kein Backup. Eine Disk für dein PBS brauchst du trotzdem noch und die sollte im Idealfall größer sein als als ein VM Storage.
Mit dem was du schon hast, und wenn nur 2x 2,5" SATA + 1x M.2 in deine Server passen, dann würde ich aus der 1TB SATA SSD + 1TB NVMe SSD einen Mirror bilden (auch wenn es Geldverschwendung ist, da dir die schnelle NVMe nicht viel bringt, da sie von der SATA SSD ausgebremst wird...da hätte es dann auch eine günstigere M.2 SATA SSD getan) und den Mirror dann sowohl für PVE System wie auch als VM Storage nutzen. Den anderen SATA Port hättest du dann frei für eine Backup Disk die du für PBS nutzen kannst. Da bringt dir deine 512GB SSD aber nicht viel, wenn du wirklich alle Gäste sichern willst und ich würde da schon eine Disk mit wenigstens 2TB nehmen. Bei 2TB 2.5" HDDs musst du aber aufpassen, da die oft zu hoch sind oder SMR nutzen und dann nicht gehen. Und HDDs sind generell recht schnell durch PBS überfordert und daher sehr sehr langsam. Aber halt günstiger als sich da noch eine 2 TB SSD zu holen. Wobei da 2TB SSDs inzwischen auch schon nur noch 20-50% mehr kosten als HDDs...würde ich dann doch lieber gleich zur SSD greifen. 2TB 2,5" HDDs die für Dauerbetrieb ausgelgt sind kosten sogar schon 300€ und wären damit doppelt so teuer wie eine günstige 2TB SSD.

 

[gustel]

Hallo Dunuin,

ich baue die zwei Mini-PC´s identisch auf und sie bilden dann ein Cluster mit Replizierung und HA.
Dann könnte mir 1 Node ausfallen und der 2. springt ein. (funktionierte im Testlauf recht gut)
Für die Backups wird gesorgt, ich habe noch 2 Backup-Server (PBS + Ubuntu-Server mit rsnapshot) die mir täglich Backups machen.
Ich könnte mir aber auch vorstellen, wie erst gedacht, PBS in einer VM und dann z.B. mit NFS eine Freigabe von meinem kommenden UNRAID oder TrueNAS Server mounten. Als Backup Nr. 3 ....

Oder verrenne ich mich langsam aber sicher
Die Möglichkeiten sind für mich als Hobby Copy/Paster kaum überschaubar

Gruß Frank

 

[Dunuin]

Für den Heimgebrauch wären 2 lokale Backups völlig ausreichend. Die zwei PBS kann man dann ja syncen und wenn dann einer der beiden Nodes ausfällt, dann läuft ja immer noch der andere und man kann dessen PBS nutzen um den ausgefallenen Node wiederherzustellen.
Wenn du unbedingt ein drittes Backup haben willst, dann würde ich das lieber irgendwo offsite haben. Das dir beide PBS gleichzeitig ausfallen ist schon sehr unwahrscheinlich und wenn dann wohl durch einen Einbruch, Brand oder Blitzschlag und dann wäre das dritte lokale Backup ja ebenfalls betroffen.
Dann lieber als drittes Backup alle paar Monate mal Vzdump Backups auf eine verschlüsselte USB-HDD sichern und die HDD dann bei Familie/Freunden/Arbeit lagern.

Wenn du vorhast noch einen zusätzliches bare metal Unraid/TrueNAS NAS zu betreiben, dann kannst du auch dort in einer VM dein PBS laufen lassen und dir das PBS auf den beiden PVE Nodes sparen. Ein PBS auf dem NAS für tagesaktuelle Backups plus eine USB-HDD als Langzeit-Offsite-Backup sollte da auch völlig reichen.

 

[gustel]

Hallo Dunuin,

erst einmal danke für deine Mühe!!

Das 3. Backup war nur ein Gedanke auf deine Antwort.

Den anderen SATA Port hättest du dann frei für eine Backup Disk die du für PBS nutzen kannst.

Aber wie ich schon geschrieben habe, könnte ich auch noch ein NFS-Share mounten.

Aktuell habe ich den PVE auf der 500GB mit ZFS installiert und die NVMe für die LXC und VM ebenfalls mit ZFS. Die 1TB SSD wartet noch auf ihre Aufgaben.
Wenn man die Backups mal außen vor lässt, war meine Idee,
500GB SSD mit ext4 für PVE (oder auf ZFS lassen?)
NVMe + SSD mit ZFS RAID1 für LXC und VM

Gruß Frank

 

[Dunuin]

Sollte wie gesagt problemlos gehen mit NVMe + SATA SSD als Mirror. Aber die 500GB SSD würde ich weglassen und PVE mit auf dem 1TB Mirror installieren. Ist zwar ganz nett wenn man PVE OS und VM Storage auf getrennten Disks hat aber wenn du keine Möglichkeit hast noch eine vierte SSD einzubauen, damit auch deine Systemdisk gespiegelt wäre, dann würde ich es wichtiger finden das auch deine Boot- und System Partitionen gespiegelt sind. PVE braucht ja auch nur so 16-32GB, nimmt also quasi fast keinen Platz vom VM Storage weg. Und ZFS kann Thin-Provisioning, da können sich also dein Directory Storage für das OS/ISOs/Backups/Templates/Snippets und dein VM/LXC Storage den selben Platz dynamisch teilen. Es wird also echt nur das belegt, was wirklich von Daten benutzt wird und beides könnte bis zu 1TB nutzen.

 

[gustel]

ok, dann gehe ich das einmal an, danke!!
Wie kann ich eigentlich die PVE Installation am besten wegsichern, damit ich bei einem Ausfall das Backup zurück spielen kann?

 

[Dunuin]

Da kannst den proxmox-backup-client per cron laufen lassen damit dieser dir die PVE-Configs auf dem PBS wegsichert (ich sicher da immer den kompletten "/etc", "/root" und "/var" Ordner). Für ein volles System-Backup müsstest du schon in ein externes Debian mit proxmox-backup-client oder in clonezilla booten (hab da immer einen USB-Stick für stecken) und dann damit ein Blocklevel-Backup deiner kompletten System-Disks machen. Letzteres ist natürlich ungünstig, wenn System + VM Storage auf den selben Disks sind, da man dann die vollen 2TB sichern müsste was Platz verschwendet, da die VMs/LXCs ja schon bereits anderweitig über PBS gesichert sind. Aber selbst wenn du PVE auf das 500GB SSD lässt wäre es Platzverschwendung, da du dann immer noch die 500GB sichern müsstest, auch wenn PVE nur 32GB brauchen würde. Deshalb kaufe ich da meine SSDs für die System Disks so klein wie möglich (bei mir überall 100GB oder 120GB SSD da man kaum mehr kleinere SSDs wie 32GB oder 64GB bekommt).

 

[gustel]

Hallo zusammen,

ich wollte einmal ein kurzes positives Update geben.
Die zwei PVE´s laufen sehr gute und ohne Probleme.
Ich habe wie von Dunuin vorgeschlagen, die 1TB NVMe und die 1TB SSD im ZFS-Mirror (lz4) und die 500GB SSDs warten noch auf ihre Aufgaben.
Ich denke, die nehme ich mal für die ISO´s oder so.
Das Ganze dann im Cluster mit HA und Replizierung.
Aktuell bin ich an UNRAID, wo dann in einer VM ein PBS installiert wird der mir das tägliche Backup1 fährt, dieser wird dann von meinem zweiten Backupserver (räumlich getrennt) als Backup2 weggesichert.
Wenn UNRAID dann mal das Array fertig hat (ich sag nur Stunden.... ) und PBS läuft muss ich mir mal das manuelle starten des PBS-Client anschauen, damit ich dann auch PVE selbst wegsichern kann.

Vielen Dank noch einmal an alle, vor allem an Dunuin für seine Mühe und Geduld mir zu helfen!!

Gruß Frank