Nas auf Proxmox mit Raid

[Solarstorm]

Hallo,

ich heiße Marcel und bin gerade dabei Proxmox auf meinem Server zu installieren. Soweit funktioniert alles. Nur ein Openmediavault will nicht so wie ich das will.
Ich habe 5 Festplatten die ein Raid 5 bilden sollen. Noch dazu ein Raid 0 mit 3 Festplatten. Wie ich schon herausgefunden habe, unterstützt Proxmox kein Raid. Höchstens ein ZFS Raid welches für mich nicht in Frage kommt. Kann man die Festplatten vieleicht weiterreichen und dann in OMV ein Raid erstellen? Alternativ dazu vieleicht mit MDADM ein Raid erstellen und dieses dann in Proxmox einbinden?

Ich würde mich freuen wenn mir Jemand helfen. Ich verzweifel hier gerade etwas.
Grüße Marcel

 

[LnxBil]

Höchstens ein ZFS Raid welches für mich nicht in Frage kommt.

Warum nicht?

Kann man die Festplatten vieleicht weiterreichen und dann in OMV ein Raid erstellen?

Klar, Passthrough. Dann können diese aber nicht mehr außerhalb verwendet werden.

Alternativ dazu vieleicht mit MDADM ein Raid erstellen und dieses dann in Proxmox einbinden?

Klar geht auch. Kannst alles mit mdadm machen, musst dann aber den Weg über Debian gehen.

 

[Solarstorm]

Hallo,

danke für deine Antwort. Ich versuche jetzt erstmal den weg über mdadm zu gehen. Ich hatte bereits ein RaidZ mit zfs erstellt. Dort hatte ich aber das Phänomen wenn ich der OMV VM 6TB zur verfügung stelle ist das Raid mit 9TB ausgelastet. Keine Ahnung warum das so ist. Ebenso habe ich bei zfs keine möglichekit für ein Raid 0 gesehen.

 

[UdoB]

Ich hatte bereits ein RaidZ mit zfs erstellt. Dort hatte ich aber das Phänomen wenn ich der OMV VM 6TB zur verfügung stelle ist das Raid mit 9TB ausgelastet. Keine Ahnung warum das so ist. Ebenso habe ich bei zfs keine möglichekit für ein Raid 0 gesehen.

Die Belegt/Frei-Angaben in ZFS sind gerne verwirrend. Pool-Angaben schauen direkt auf die Platten, Volume-Angaben zeigen das, was die Anwendung sieht. Einmal gehen die Redundanzen mit in die Angaben ein, einmal nicht. Auch Snapshots verwirren gerne die Wahrnehmung.

"Raid 0" ist default! Wenn man einfach "zpool add meinpool weitereplatte" macht, erzeugt das ein "Stripe" = equivalent zu "Raid 0" und ohne jegliche Redundanz. Wenn eine Platte stirbt, ist der gesamte Pool weg.

Meine Faustregel: wenn ich IOPS für VMs brauche, nutze ich Mirrors. Wenn ich Platz brauche nehme ich RAIDZ (mit einer Redundanz-Platte). Wenn die Daten wichtig sind nehme ich RAIDZ2 mit zwei redundanten Platten, die gleichzeitig ohne Datenverlust sterben dürfen.

ZFS ist (für mich) um Größenordnungen besser als MDRAID+LVM. Auch wenn "besser" sehr stark auf den Anwendungsfall ankommt und es durchaus Ausnahmen geben könnte...

Just my 2¢

 

[Solarstorm]

Mein Problem war nur das ich vom erstellten RaidZ mit 10,5TB nur 6TB an die vm weitergeben konnte. Ich wollte aber von 10,5TB auch 10,5TB an die vm weitergeben. Dies ging aber nicht. Es kam immer der Fehler das nicht so viel Speicherplatz verfügbar ist.

 

[LnxBil]

Mein Problem war nur das ich vom erstellten RaidZ mit 10,5TB nur 6TB an die vm weitergeben konnte. Ich wollte aber von 10,5TB auch 10,5TB an die vm weitergeben. Dies ging aber nicht. Es kam immer der Fehler das nicht so viel Speicherplatz verfügbar ist.

Es macht auch keinen Sinn den gesamten Platz an eine VM durchzureichen, welchen Vorteil sollte man dann von der Storagevirtualisierung haben?

danke für deine Antwort. Ich versuche jetzt erstmal den weg über mdadm zu gehen.

Funktioniert auch. Ich hatte auch 15 Jahre nur mdadm eingesetzt, was prima funktioniert hat ... dann kam ZFS und mdadm hatte überhaupt keine Daseinsberechtigung mehr - kann mich hier völlig @UdoB anschließen.

 

[Solarstorm]

Ich habe jetzt ein zfs Raid 0 Pool mit zpool add Commad erstellt. Danke für den Command! Das funktioniert auch soweit. Nun versuche ich die anderen Festplatten für das Raid5 direkt an die OMV vm durchzureichen da die Fesplatten nur für OMV sind und OMV den ganzen Fesplattenspeicher nutzen soll. Ich hoffe das Klappt. das Raid mit mdadm hat nicht funktioniert. Nach dem erstellen und neustarten des Servers war das Raid weg.

 

[LnxBil]

das Raid mit mdadm hat nicht funktioniert. Nach dem erstellen und neustarten des Servers war das Raid weg.

Man muss schon noch die alten Dinge machen, die solch ein archaisches System benötigt:
1) Hinzufügen der Konfiguration mittels examine in die Haupt-mdadm-Konfigurationsdatei
2) Neubau des initrd.

Nun versuche ich die anderen Festplatten für das Raid5 direkt an die OMV vm durchzureichen da die Fesplatten nur für OMV sind und OMV den ganzen Fesplattenspeicher nutzen soll.

Normales Disk-Passthrough in der VM-Konfiguration:

sata0: /dev/sdc

 

[Solarstorm]

Normales Disk-Passthrough in der VM-Konfiguration:

sata0: /dev/sdc

Ich habe den Befehl in der VM konfiguration eingetragen. Die Festplatten tauchen nun in der OMV vm als Qemu-Harddisk auf. Mit diesen Laufwerken lässt sich aber kein Raid in OMV erstellen. Warum? Was habe ich falsch gemacht?

 

[LnxBil]

Ich habe den Befehl in der VM konfiguration eingetragen. Die Festplatten tauchen nun in der OMV vm als Qemu-Harddisk auf. Mit diesen Laufwerken lässt sich aber kein Raid in OMV erstellen. Warum? Was habe ich falsch gemacht?

Das musst du die Leute von OMV fragen, generell klappt das prima, haben viele - mich eingeschlossen - schon gemacht.

 

[Solarstorm]

Nachdem ich nun mit dem Command

dd if=/dev/zero of=/dev/vdX bs=512 count=10000

Die Partitionstabelle gelöschte hatte, konnten die Laufwerke in der VM Konfigurationsdatei mit

qm set 103 -scsi1 /dev/disk/by-id/ata-WDC_WD20EFRX-68EUZN0_WD-WCC4M7DL5P6J

eingebunden werden und man konnte in OMV ein Raid erstellen. Die 103 ist in meinem Fall die VM Nummer und die WDC Nummer ist der Festplattenname. Den Namen findet man mit

ls -la /dev/disk/by-id/

 

[Solarstorm]

Ich habe soeben eine weitere leere Festplatte eingebaut. Wie kann ich diese nun dem zfs Raid0 pool hinzufügen? Mein Raid pool heißt RAID0. die neue Festplatte dev/sdh. Muss der Command dann so heißen? RAID0 für den Raid Namen und raid0 für den raid modus?

zpool add RAID0 raid0 /dev/sdh

 

[sc3705]

I'm not trying to derail you, but why not just configure the raid on Proxmox (LVM, ZFS, doesn't matter) and just assign a single large virtual disk to OMV? I didn't think you have to use raid with OMV, you could just share out a single disk. If the disk has raid protection at the HV level, i'm not sure why it's also needed it at the VM level; or why one would be better than the other (minus not being able to live migrate).

I had one of my setups like this in VMware many years ago. If there's a problem with this type of setup, i went almost 7 years without seeing it.

 

[Solarstorm]

Ich habe in der Proxmox Gui keine möglichkeit gefunden ein Raid0 zu erstellen. Desshalb habe ich das auf Komando zeilen ebene gemacht. Die Laufwerke habe ich an OMV weitergereicht weil ich über OMV die volle Kontrolle über die Festplatten haben wollte. Ich hatte vorher die Festplatten als RaidZ in Proxmox erstellt. Da hatte ich das Problem das von 10TB nur 6TB an OMV weiter gegeben werden konnten. Nun muss ich aber den SATA Controller an die OMV VM weiter geben da ich aktuell keine Smart Werte auslesen kann und die Festplatten gehen nicht in den sleep modus. Über einen anderen Sata Controller hab ich nun ein zfs Raid0 welches unter anderem für die Zoneminder VM ist. Dieses Raid0 muss ich nun über die Komandozeile erweitern. Ich weiß nur den richtigen Kommando nicht.

 

[sc3705]

I don't know anything about a raid0 in the GUI. Maybe that's at the root of all this. Respectfully, good luck with that. My assumption is you have a plan.

To my earlier point; do you need SMART data in OMV if Proxmox is getting them and managing the disks? I could be out of line but I didn't think SMART assisted in data integrity, aside from warning you the disk is going to fail. My understanding is it's only reading and\or reporting on hardware level events. In that case, I'm suggesting you leave the disk management to the hyper visor and pass a single virtual disk to OMV. Then you also get the added benefits of live migrating your storage server, if you're clustered.

When I did this in the pass (in VMware) I attached a 20TB virtual disk to a server essentials 2012R2 VM and a separate 20TB virtual disk to an Ubuntu VM. Both virtual disks were sitting on the same pool that was no where near 20TB large. The hyper visor reported on and managed disk failures and warning, while the VMs just focused on managing the FS and shares (I guess technically the HV was also managing a FS...). As I said, i ran like this for many years with zero issues and performance was more than acceptable. Don't get worried that you're not seeing disk stats like temp, etc in OMV. As long as the hypervisor is managing it you technically don't need it in the VM. IMO...

I'm not trying to rude, but you should probably check your VM settings. I just attached a 20TB virtual disk to a test Ubuntu VM in Proxmox and I'm seeing the full capacity in the VM.

BTW, I'm not an expert but as I said this worked for me and I had no regrets.

 

[Solarstorm]

Ich habe am Anfang OMV einen Virtuallen Datenträger mit 6TB gegeben. In Proxmox stand jedoch das der Datenträger mit 9 TB belegt ist. Das ist einfach falsch. Die Festplatten die ich an OMV weiter reichen möchte, sind auch nur für OMV. Die Festplatten brauchen gar nicht in Proxmox zu sehen sein. Da habe ich momentan auch kein Problem mit. Ich habe momentan nur ein Problem damit das ich nicht weiß ob der zpool add Kommando den ich gepostet habe richtig ist.

 

[LnxBil]

Ich habe in der Proxmox Gui keine möglichkeit gefunden ein Raid0 zu erstellen.

und das ist auch gut so. Sachen die nicht angeboten werden, sind meistens auch nicht gut und genau so ist das hier auch.

Das ist einfach falsch.

oder du hast nicht verstanden was ZFS dir damit sagen will. Bei raidz ist das eben so, genau wie es auch bei RAID5 der Fall wäre. ZFS zeigt dir je nach Tool mal die Netto und mal die Bruttokapazität an, da es verschiedene Sichten auf verschiedene Dinge sind.

Ich habe momentan nur ein Problem damit das ich nicht weiß ob der zpool add Kommando den ich gepostet habe richtig ist.

Für die meisten wäre es falsch, aber für dich ist das Kommando das Richtige.

 

[sc3705]

Got it.

I don't think you need that second "raid0" in there. So I think it's " zpool add RAID0 /dev/sdh " .

Also, I remember in the past our storage guy going on and on about re-balancing the pool afterwards. Look into that.

kind regards

 

[Solarstorm]

und das ist auch gut so. Sachen die nicht angeboten werden, sind meistens auch nicht gut und genau so ist das hier auch.

Warum ist das nicht gut? Ich habe nunmal mehrere Festplatten hier liegen und möchte die Kapazität aller Festplatten nutzen. Eine Sicherheit brauche ich nicht da die Datan auf dem Raid0 nicht wichtig sind. Auf den Festplatten werden nur Videodaten von den Überwachungskameras geschrieben. Fällt eine platte aus, ist es egal. Die Daten werden nicht zwingend benötigt. Es gibt noch einen weiteren Videorecorder für die Kameras.

oder du hast nicht verstanden was ZFS dir damit sagen will. Bei raidz ist das eben so, genau wie es auch bei RAID5 der Fall wäre. ZFS zeigt dir je nach Tool mal die Netto und mal die Bruttokapazität an, da es verschiedene Sichten auf verschiedene Dinge sind.

Um es mal genau zu nehmen: Ich habe mit 5 Festplatten a 2,7TB Netto ein RaidZ erstellt. Dieses hatte später durch die parität und das Dateisystem eine Netto Kapazität von 10,5TB. Wenn ich der OMV VM ein virtuellen Datenträger von diesem Raidz mit 6TB zur verfügung gestellt habe, waren laut Proxmox 9TB des RaidZ belegt. Somit sind nur noch 1,5TB theoretisch zur verfügung gewesen. In der Realität konnte ich noch ein virtuellen Datenträger mit 1TB erstellen. Dann war das RaidZ voll. Für mich ist das nen Bug in Proxmox. Wenn ich 10,5TB Netto habe, will ich auch 10,5TB für VMs zur verfügung haben.

Für die meisten wäre es falsch, aber für dich ist das Kommando das Richtige.

Für die meisten währe es falsch wenn das Raid0 anders benannt wird. Das ist richtig.

 

[fabian]

Um es mal genau zu nehmen: Ich habe mit 5 Festplatten a 2,7TB Netto ein RaidZ erstellt. Dieses hatte später durch die parität und das Dateisystem eine Netto Kapazität von 10,5TB. Wenn ich der OMV VM ein virtuellen Datenträger von diesem Raidz mit 6TB zur verfügung gestellt habe, waren laut Proxmox 9TB des RaidZ belegt. Somit sind nur noch 1,5TB theoretisch zur verfügung gewesen. In der Realität konnte ich noch ein virtuellen Datenträger mit 1TB erstellen. Dann war das RaidZ voll. Für mich ist das nen Bug in Proxmox. Wenn ich 10,5TB Netto habe, will ich auch 10,5TB für VMs zur verfügung haben.

das ist kein bug, sondern fehlendes wissen wie ZFS/RaidZ funktioniert. such mal hier im forum nach 'zvol' und 'space', dann findest du einige posts die das detailliert erklaeren..