[SOLVED] Software RAID 1 nachträglich einrichten

[xtim]

Hallo zusammen,

ich habe vor einigen Monaten probeweise auf meinem alten Office PC proxmox installiert und aktuell mehrere LXCs, sowie VMs laufen. Da ich aber gerne noch weitere Projekte auf diesem System realsierien würde und ein höheres Maß an Datensicherheit erreichen will, habe ich einige Hardware Updates geplant. Aktuell sind 1x 128GB SSD für die Container/VMs und 1x 500GB HDD für die Daten an Speicher und 4GB RAM verbaut. Ich würde gerne:

1)RAM von 4GB auf 16GB aufrüsten - geht das Plug and Play?
2)Die 500GB HDD durch 2x 2TB im RAID 1 ersetzen (Wenn möglich ohne Datenverlust). Meine Idee wäre an dieser Stelle die HDD zu Clonen und den VMs/Containern mehr Speicher zu zu teilen. Geht das in der Praxis so problemlos und wie realisiere ich anschließend das Raid?

Ich hoffe ihr könnt mir weiterhelfen. Meine doch recht überschaubaren Proxmox- und Linuxkünste haben es bisher nicht geschafft.

Grüße Tim

 

[fireon]

Für den Ram musst die die Maschine schon ausschalten. Plug and Play geht nur bei so machen Großrechnern. Da gibt es sogar CPU Plug and Play. Raid1 kannst du erweitern sofern du ZFS verwendet hast. Glaub ich jetzt aber nicht, da du nur 4GB Ram verwendest. Trifft das so zu?

 

[Dunuin]

16 GB wäre schon recht wenig RAM, wenn ZFS genutzt werden soll und da dann noch etliche VMs drauf laufen sollen.
mdraid wäre prinzipiell noch eine RAM sparende Alternative, aber ist deutlich schwerer einzurichten.
Wenn du 4 SATA-Anschlüsse hast kannst du doch einfach beide 2TB HDDs zusätzlich einbauen, Raid auf denen einrichten und danach deine Daten von der 500GB HDD auf das neue Raid-Array kopieren.
Denk daran, dass Raid keine Backups ersetzt. Nochmal extern speichern muss die 2TB dann trotzdem noch.

 

[xtim]

Danke für eure Ideen! Aktuell nutze ich ZFS und die Idee, die Platten erst mal gleichzeitig laufen zu lassen finde ich auch nicht schlecht. Ich habe nur die Befürchtung, mir die Daten beim Kopieren auf das neue Raid-Arry zu zerschießen.

@Dunuin Als wie Iditensicher würdest du deinen Vorschlag einschätzen? Hast du vielleicht eine Anleitung, damit ich mir selbst ein Bild machen kann?

Aktuelles Idiotenlevel: Ich wusste das RAM kein Hotswap unterstüzt, habe aber nur mit Mühe und Not einen Cronjob in nem LXC hinbekommen.

 

[Dunuin]

Danke für eure Ideen! Aktuell nutze ich ZFS und die Idee, die Platten erst mal gleichzeitig laufen zu lassen finde ich auch nicht schlecht. Ich habe nur die Befürchtung, mir die Daten beim Kopieren auf das neue Raid-Arry zu zerschießen.

@Dunuin Als wie Iditensicher würdest du deinen Vorschlag einschätzen? Hast du vielleicht eine Anleitung, damit ich mir selbst ein Bild machen kann?

Aktuelles Idiotenlevel: Ich wusste das RAM kein Hotswap unterstüzt, habe aber nur mit Mühe und Not einen Cronjob in nem LXC hinbekommen.

Wenn man den Server komplett neu aufsetzt ist mdraid nicht so super schwer. Dann kann man einfach ein normales Debian installieren und dort kann man dann im Installationsassistent alle Festplatten einrichten. Inkl. mdraid, Verschlüsselung, LVM usw. Debian dann zum Proxmox-Server zu machen sind auch nur wenige Befehle. Schwieriger wird es, wenn du mdraid nachträglich einrichten willst. Dann musst du die Festplatten erst per CLI partitionieren, mdraid einrichten, alles formatieren usw. Das ist dann schon sehr kompliziert. Eine gparted Live CD booten wäre vielleicht noch eine Option. Damit kannst du dann per GUI die Laufwerke einrichten. Bin aber nicht sicher ob gparted auch mdraid kann.
Hast du ein Pseudo-HW-Raid auf dem Mainboard? Falls ja wäre das wohl die einfachste Alternative.

Daten von der 500GB HDD auf ein Raid-Array zu kopieren sollte eigentlich nicht das Problem sein. Du musst die Daten ja nicht verschieben. Die Daten bleiben ja beim Kopieren auf der 500GB HDD erhalten und du kannst das so oft wiederholen bis alles passt. Solltest du nur vorher alle VMs/LXCs runterfahren und vermutlich muss du danach dann die Pfade neu anpassen, damit die VMs/LXCs die Daten am neuen Ort finden.

Faustregel für ZFS ist übrigens 4GB + 1 GB RAM pro 1 TB an roher Festplattenkapazität. Nach der Faustformel wären das 8GB RAM was ZFS bei dir gerne hätte (wobei es wohl auch mit 4GB recht ordentlich laufen sollte).

 

[fireon]

Faustregel für ZFS ist übrigens 4GB + 1 GB RAM pro 1 TB an roher Festplattenkapazität. Nach der Faustformel wären das 8GB RAM was ZFS bei dir gerne hätte (wobei es wohl auch mit 4GB recht ordentlich laufen sollte).

Dem würde ich aus Eigenerfahrung wohl nicht vertrauen. Hat zumindest bei mir mit so niedrigen Ramlevel nicht funktioniert.

 

[xtim]

Schwieriger wird es, wenn du mdraid nachträglich einrichten willst. Dann musst du die Festplatten erst per CLI partitionieren, mdraid einrichten, alles formatieren usw. Das ist dann schon sehr kompliziert. Eine gparted Live CD booten wäre vielleicht noch eine Option. Damit kannst du dann per GUI die Laufwerke einrichten. Bin aber nicht sicher ob gparted auch mdraid kann.

Okay, daran scheitert es vermutlich Ich hatte heute Nacht um 4 Uhr eine meiner besseren Ideen gehabt, zumindest hoffe ich so. Was haltet ihr davon, die VMs über die Funktion "Backup" im Datacenter des Overlays auf eine exterene Festplatte zu sichern, proxmox auf der SSD neu zu installieren mit einem Software-RAID auf den neuen Platten und die Backups anschließend im neuen System wiederher zu stellen?

Faustregel für ZFS ist übrigens 4GB + 1 GB RAM pro 1 TB an roher Festplattenkapazität. Nach der Faustformel wären das 8GB RAM was ZFS bei dir gerne hätte (wobei es wohl auch mit 4GB recht ordentlich laufen sollte).

Das habe ich auch schon gelesen, aber im aktuellen Betrieb haben mein NAS und meine Nextcloud eine gecapte Auslastung von 3GB und würden sich gerne mehr genehmigen. Bevor ich mir jetzt also 8GB hole und in nem Jahr bei weiteren Anwendungen wieder aufrüsten muss, scheint es mir vernünftig es direkt richtig zu machen, vorallem bei den aktuellen Preisen für Arbeitsspeicher.

 

[Dunuin]

VMs aus Backups importieren klappte bei mir bisher immer sehr zuverlässig. Achte nur darauf, dass da auch wirklich alle virtuellen Festplatten im Backup mitgesichert werden. Wie sieht es bei dir mit sonstigen Proxmox Einstellungen aus? Hast du da alles normal gelassen oder noch selbst recht viel Konfiguriert? Also neue User erstellt, Firewall-Regeln, Netzwerk-Shares usw? Da solltest du dann noch alle Proxmox-Konfigurationen einmal sichern. Bin nur gerade nicht mehr sicher welcher Ordner das war.

Guck mal da wegen einer Anleitung bezüglich Proxmox auf Debian nachinstallieren. Hatte mit der bei mir gut geklappt.

Ansonsten kannst du es nach dem Sichern aber auch mal testen direkt ein raid1 in deinem bestehenden Proxmox nachträglich einzurichten. Das wäre z.B. hier beschrieben.

Wenn du erst einmal nur Üben willst könntest du dir auch testweise eine neue VM mit 4 winzigen virtuellen Festplatten erstellen und in der dann Debian/Proxmox installieren. Dann könntest du da testen, ob du ein Raid1 mit den virtuellen Festplatten hinbekommst.

Ich fand die RAM-Preise eigentlich gerade echt gut. 16GB gebrauchten ECC-RAM gab es für um die 30-60€. Normalen DDR4 RAM gibt es ja auch schon neu für 50€ für 16GB. Ärgere mich nur, dass ich da nur 4x 16GB und nicht 4x 32GB genommen habe. Jetzt sitze ich voll bestückt bei 64GB und die sind 80% ausgelastet. So ein Hypervisor ist eeeecht RAM hungrig.

 

[xtim]

VMs aus Backups importieren klappte bei mir bisher immer sehr zuverlässig. Achte nur darauf, dass da auch wirklich alle virtuellen Festplatten im Backup mitgesichert werden. Wie sieht es bei dir mit sonstigen Proxmox Einstellungen aus? Hast du da alles normal gelassen oder noch selbst recht viel Konfiguriert? Also neue User erstellt, Firewall-Regeln, Netzwerk-Shares usw? Da solltest du dann noch alle Proxmox-Konfigurationen einmal sichern. Bin nur gerade nicht mehr sicher welcher Ordner das war.

Also mein aktuellen Backup Job sieht wie folgt aus:



Meines erachtens müsste es reichen, hier alle VMs / LXCs auszuwählen und anschließend im GUI bei neu angelegten VMs / LXCs mit den entsprechenden IDs auf Restore zu gehen oder stelle ich mir das zu einfach vor? Und zu deiner Zweiten Anmerkung, ich habe einige wenige Änderungen in manchen Firewalls vorgenommen. Die würde ich händisch nachpflegen, ist vermutlich einfacher.

Wenn du erst einmal nur Üben willst könntest du dir auch testweise eine neue VM mit 4 winzigen virtuellen Festplatten erstellen und in der dann Debian/Proxmox installieren. Dann könntest du da testen, ob du ein Raid1 mit den virtuellen Festplatten hinbekommst.

Die Idee ist genial, leider fehlt mir aktuell die Zeit fürs Rumprobieren. Deshalb bin ich umso mehr dankbar für eure Beiträge, verkürzt das ganze für mich deutlich und sorgt für mehr Spaß

Ich fand die RAM-Preise eigentlich gerade echt gut. 16GB gebrauchten ECC-RAM gab es für um die 30-60€. Normalen DDR4 RAM gibt es ja auch schon neu für 50€ für 16GB. Ärgere mich nur, dass ich da nur 4x 16GB und nicht 4x 32GB genommen habe. Jetzt sitze ich voll bestückt bei 64GB und die sind 80% ausgelastet. So ein Hypervisor ist eeeecht RAM hungrig.

Außer das DDR3-RAM aktuell gleich viel kostet und teilweise teurer ist als DDR4, kann ich dir nur zustimmen!

 

[Dunuin]

Meines erachtens müsste es reichen, hier alle VMs / LXCs auszuwählen und anschließend im GUI bei neu angelegten VMs / LXCs mit den entsprechenden IDs auf Restore zu gehen oder stelle ich mir das zu einfach vor? Und zu deiner Zweiten Anmerkung, ich habe einige wenige Änderungen in manchen Firewalls vorgenommen. Die würde ich händisch nachpflegen, ist vermutlich einfacher.

Ja, ist bei VMs wirklich so simpel. Bei LXCs kann das komplizierter sein, da die ja nur halb isoliert sind. Da muss man dann ggf. noch später Pfade ändern usw.

Außer das DDR3-RAM aktuell gleich viel kostet und teilweise teurer ist als DDR4, kann ich dir nur zustimmen!

Im Gebrauchtmarkt geht das aber eigentlich. Ich hatte mir z.B. einen kompletten lauffähigen 4 jahre alten Tower-Server (8-Kern Xeon, 32GB DDR4 ECC, 90mm Towerkühler, 2TB Enterprise HDD, 200GB Enterprise SSD, Geforce GT710, Intel 1x Gbit Netzwerkkarte, Supermicro Mainboard mit IPMI/2x Gbit LAN/14x SATA, 900W 80+ Gold Netzteil und leisen Midi-Tower) für 300€ gekauft. Habe mir dann noch 2x 16GB RAM-Riegel (120€) nachgekauft sowie 4 zusätzliche 200GB Enterprise SSDs (ca 135€), 2 zusätzlichen 100GB Enterprise SSDs (20€), eine I350-T4 4x Gbit Netzwerkkarte (35€) und alles in ein neues 4U-Gehäuse (ca 80€) verfrachtet.
Bin da super happy mit, außer das ich gerne mehr PCIe und RAM Slots hätte weil alle schon belegt sind. Sind leider nur 3 PCIe und 4 RAM-Slots da es nur ein mATX-Board ist. Da werde ich wohl irgendwann das Mainboard tauschen müssen, wenn ich mehr RAM und 10Gbit LAN nachrüsten will.

Für mein NAS und Backup-NAS hatte ich mir Mainboard-Kits geholt. Jeweils ein Supermirco Mainboard mit IPMI/2x Gbit-LAN/8x SATA, 4-Kern-Xeon, Passiv-CPU-Kühler und 16GB bzw. 32GB DDR3 ECC RAM. Für das Kit mit 16GB RAM hatte ich glaube ich 110€ gezahlt und für das mit 32GB RAM 160€.

 

[xtim]

Vielen Dank Dunuin für deine Unterstützung! Ich hoffe du und die anderen hier im Forum können mir, jetzt wo ich die Teile zusammen gesammelt habe wieder einbisschen weiter helfen.

Im Gebrauchtmarkt geht das aber eigentlich. Ich hatte mir z.B. einen kompletten lauffähigen 4 jahre alten Tower-Server (8-Kern Xeon, 32GB DDR4 ECC, 90mm Towerkühler, 2TB Enterprise HDD, 200GB Enterprise SSD, Geforce GT710, Intel 1x Gbit Netzwerkkarte, Supermicro Mainboard mit IPMI/2x Gbit LAN/14x SATA, 900W 80+ Gold Netzteil und leisen Midi-Tower) für 300€ gekauft. Habe mir dann noch 2x 16GB RAM-Riegel (120€) nachgekauft sowie 4 zusätzliche 200GB Enterprise SSDs (ca 135€), 2 zusätzlichen 100GB Enterprise SSDs (20€), eine I350-T4 4x Gbit Netzwerkkarte (35€) und alles in ein neues 4U-Gehäuse (ca 80€) verfrachtet.

So nettes Spielzeug hat der Weihnachtsmann leider bei mir nicht vorbei gebracht. Jedoch habe ich jetzt das Raid 1 auch zwei HDDs laufen. Ein Traum!

Ja, ist bei VMs wirklich so simpel.

Leider scheiterts daran bereits ._. Ich habe die externe Platte mit dem vzdump-qemu file gemounted und würde Sie gerne Restoren. Mein Problem: Ich möchte die VM (in dem Fall OpenMediaVault) auf sda, sprich der SSD laufen lassen und das Datenarchiev auf dem RAID der HDDs (sdb und sdc). Im GUI muss ich einen "storage" zur Wiederherstellung angeben. Gibt es eine Möglichkeit den dumpfile entsprechend über mehrere Devices wiederherzustellen oder werden beim restoren alle Daten auf ein storage gepackt?
Vorher war die VM auf sda und die Datan auf sdb (einer einzelnen HDD).

 

[Dunuin]

Vielen Dank Dunuin für deine Unterstützung! Ich hoffe du und die anderen hier im Forum können mir, jetzt wo ich die Teile zusammen gesammelt habe wieder einbisschen weiter helfen.


So nettes Spielzeug hat der Weihnachtsmann leider bei mir nicht vorbei gebracht. Jedoch habe ich jetzt das Raid 1 auch zwei HDDs laufen. Ein Traum!


Gibt es eine Möglichkeit den dumpfile entsprechend über mehrere Devices wiederherzustellen oder werden beim restoren alle Daten auf ein storage gepackt?
Vorher war die VM auf sda und die Datan auf sdb (einer einzelnen HDD).

Oh, das weiß ich gerade nicht. Aber im zweifelsfall geb halt den größeren storage als ziel an. Dann ist zwar alles auf den HDDs, aber du kannst ja problemlos nachher die eine virtuelle Festplatte wieder vom HDD-Pool rüber zum SSD-Pool schieben. Dann sind die ja wieder da wo sie sein sollten. Dauert halt nur etwas länger. Als ich noch meinen HDD-Pool hatte, habe ich da ständig virtuelle HDDs zwischen dem SSD- und HDD-Pool hin- und hergeschoben.

Einfach nur VM runterfahren, dann unter Hardware die gewünschte virtuelle HDD auswählen, den "Move disk" Knopf drücken und einen anderen Pool als Ziel wählen.
Sonst muss man da eigentlich nichts spezielles machen.

 

[xtim]

Vielleicht ein kleiner Nachtrag, an alle mit dem gleichen Problem und dem fehlenden Fachwissen zur Lösung: Ich habe mich letztendlich für eine komplette Neuinstallation von Proxmox entschieden. Würde ich es wieder machen? Ja, weil es wieder alles funktioniert. Womit müsst ihr rechnen? Neue Fehler in den einzelnen Maschinen, obwohl ihr exakt gleich vorgeht. Ist das Nervig? Definitiv.
Sollte das an einem oder mehreren freien Wochenenden als Hobby okay gehen, wie bei mir, kann ich das ganze empfehlen. Ansonsten würde ich vermutlich zu einem Vollbackup der bisherigen Konfiguration tendieren und es wie in dem letzten Beitrag von Dunuin beschrieben angehen, sprich Backup der VMs/LXCs auf einer neuen Proxmoxinstallation einspielen und ggf. die Dateipools verschieben.