ZFS Storage und Proxmox LVM

[Dominik2000]

Hallo,

ich habe einen ZFS Storage, auf dem alle meine VMs von Proxmox liegen, bis jetzt war diese über 1Gb Netzwerk angeschlossen. Jetzt wollte ich auf FC SAN umstellen. Habe mir zwei FC HBA Karten gekauft und direkt mit einem DAC Kabel verbunden. Soweit so gut.
Nachdem ich einiges gelesen habe, ist es ja nicht möglich das ganze sinnvoll mit ZFS zu gestalten. Jetzt meine Frage: Da mein Storage aus anderen Gründen ZFS bleiben muss (Ist ein ganz normaler Debian Server), kann ich ein ZFS ZVOL als LUN per Multipath sharen und dann am Proxmox Host LVM haben? Das wäre doch die einzige Möglichkeit die es gibt, oder? Oder muss ich am Storage Server schon ein LVM auf einem ZVOL erstellen und das dann als LUN sharen? Das habe ich versucht und konnte aufgrund des Filters in der lvm.conf kein LVM erstellen.

Vielen Dank!

 

[wolfgang]

Hi,

kann ich ein ZFS ZVOL als LUN per Multipath sharen und dann am Proxmox Host LVM haben?

Ja das ist möglich.
Die Anleitung ist zwar für iSCSI aber mit FC ist das das Gleiche.

Das wäre doch die einzige Möglichkeit die es gibt, oder?

Naja, ich kenne dein Setup nicht und es ist auch fragwürdig wie viel arbeit das ist.
Du könntest wenn dein Setup das zulässt IP over FC machen und dann "ZFS over iSCSI" verwenden.
Das Problem sind FC switche die das nicht unterstützen oder extra kosten verursachen.
Auch ist das konfigurieren einer FC HBA tricky.

Oder muss ich am Storage Server schon ein LVM auf einem ZVOL erstellen und das dann als LUN sharen?

Das ist egal wo du das machst.
Bei FC hast du das LUN am Node ja als normales Block Dev welches du dann verwendest.

Das habe ich versucht und konnte aufgrund des Filters in der lvm.conf kein LVM erstellen.

Wie ist den der Pfad von deinem importierten LUN im PVE?

1.) https://pve.proxmox.com/wiki/ISCSI_Multipath

 

[Dominik2000]

Ok, danke vielmals, das werde ich dann gleich ausprobieren.

Also mein Kommando war folgendes: pvcreate /dev/zvol/vm-storage/test
Fehlermeldung war dann: Device /dev/zvol/vm-storage/test excluded by a filter.

Und die Einstellung die das einsrchränkt in der lvm.conf ist folgende:
global_filter = [ "r|/dev/zd.*|", "r|/dev/mapper/pve-.*|" "r|/dev/mapper/.*-(vm|base)--[0-9]+--disk--[0-9]+|"]

IP over FC ist bei mir leider (noch) nicht möglich.

Lg
Dominik

 

[wolfgang]

Jetzt kenne ich mich grade nicht aus?
Ist das zvol am File Server oder am PVE?

 

[Dominik2000]

Aso, da muss ich jetzt etwas mehr ausholen. Derzeit habe ich zwei Proxmox Nodes und eine davon ist AUCH der Storage. Ich habe leider noch keinen dezidierten Storage.
Ist das das Problem?

 

[LnxBil]

Habe mir zwei FC HBA Karten gekauft und direkt mit einem DAC Kabel verbunden.

Du hast FC-HBAs ohne Tranceiver gekauft? Die sind IMHO recht selten (ich hab selbst noch keinen in der Hand gehabt).

Die Anleitung ist zwar für iSCSI aber mit FC ist das das Gleiche.

Öhh.... hast du das mal gemacht? Ich hatte es vor Jahren probiert und bin dran gescheitert (hab' es aber direkt mit FC als Protokoll versucht und hab kein IP-over-FC gemacht).

 

[wolfgang]

Hi LnxBil,

Öhh.... hast du das mal gemacht?

Ja vor langem aber direct mit FC.
Ich rede aber von der Client Seite nicht von der Server Seite.
IP over FC ist ein Biest und wie ich schon geschrieben hab nicht so einfach.

 

[Dominik2000]

Heißt das ich muss am Server per Targetcli ein Target erstellen? Und am Client eine Multipath.conf anlegen? Ich bin gerade ein wenig verwirrt.

 

[wolfgang]

Als ich das mit den Multipath geschrieben habe hast du mir noch nicht gesagt, das es sich hier um zwei Proxmox VE Nodes handelt.
Ich bin von einem DAS ausgegangen.
In deinem Fall bringt Multipath nichts.

Ich glaube nicht das das generell gehen kann.
Ich habe noch nie einen Server mit FC eingereichte aber wenn du das ZVol an das Traget(z.B lio) bindest kannst du es Lokal nicht mehr verwenden.
Mit IP könntest du das über traget ansprechen aber ob das mit FC geht weis ich nicht?

 

[LnxBil]

Ich hab das aus Spaß gerade mal gemacht und es scheint zu gehen. Recht einfach sogar, targetcli kann schon alles was man benötigt .. ach und natürlich QLogic HBAs, mit Emulex hab ich es nicht hinbekommen. Ich musste auch die Firmware auf den Karten flashen, was schon etwas abenteuerlich war. Ich habe alles in PVE selbst getestet, d.h. erste Karte an eine VM, zweite Karte an eine andere VM durchgereicht, Kabel angeschlossen und los ging es.