Error - Erstellen oder Löschen zfs-over-iscsi

[floh8]

Hello staff.

Teste grad zfs-over-iscsi und stelle fehlerhaftes Verhalten des Storage-Plugins zfs-over-iscsi fest. Ich nutze eine truenas als backend. Einrichtung des Storage zeigt keine Probleme. Konfig sieht so aus:



Bei Erstellung einer VM wird das zvol erstellt, die vm verschwindet aber. Wenn ich die vdisk über Storage löschen will, erscheint Fehlermeldung:


Wenn ich eine VM ohne vdisk erstelle und sie nachträglich hinzufügen will, kommt diese Fehlermeldung:


Das passiert übrigens mit 2 verschiedenen PVE-Versionen 7.2-7 und 7.2-3.

 

[dcsapak]

ist denn istgt auf dem truenas installiert?

 

[floh8]

istgt war nicht installiert. ich habe es mal nachgeholt und beim boot laden lassen, aber der Fehler bleibt.

 

[floh8]

Ich habe das Plugin https://github.com/TheGrandWazoo/freenas-proxmox/ installiert und bin auch auf einen Fehler gestoßen, der sich dann mit dem Post
https://github.com/TheGrandWazoo/freenas-proxmox/issues/87
geklärt hat. Damit funktioniert alles.
Ich verstehe leider nicht, warum nicht Proxmox so ein PlugIN anbietet. Truenas ist das bedeutenste ZFS Produkt auf dem Markt. Die zfs-over-iscsi Schnittstelle ist eine wirklich wichtige Alternative zu NFS und Cephfs, wenn es um Shared Stoarage geht - Gerade weil es zfs als Unterbau hat. Für meinen Geschmack müßte Proxmox solch ein Plugin offiziell supporten und auch ein CLusterFilesystem anbieten, für alle die ein Blocklevel-Storage nutzen wollen und das dürften nicht wenige sein, die noch FC oder ISCSI im Einsatz haben. Gerade, wenn man von VMWare auf Proxmox wechseln will, steht man plötzlich im Wald.

 

[dcsapak]

hier ist ein 2 jahre alter mailinglisten post wegen integration vom freenas plugin: https://lists.proxmox.com/pipermail/pve-devel/2020-June/043806.html
tl;dr ist wenn wir patches bekommen und die unserem standard entsprechen, würden wir sie wohl integrieren, das ist aber bis jetzt nie passiert

zfs-over-iscsi wird hier getestet, aber hauptsächlich mit linux + lio (da wir hier am meisten know-how dazu haben)

bzgl cluster filesystemen auf blockstorage, kann man zb ocfs2 oder gfs2 verwenden, ist zwar nicht direkt integriert, benutzt aber das standard 'directory' storage plugin

auch iscsi + lvm oder pures iscsi ist immer noch eine möglichkeit (mit den nachteilen dieser systeme natürlich)

 

[floh8]

LVM hat keine Snapshots. Wenn man im Forum nach ClusteredFilesystem sucht, wird man zwar fündig, aber ich meinte, dass das FS in eurer Storagetabelle steht und supportet wird, damit jeder es gleich findet. Keiner sucht im Forum danach. Man will ja etwas offizielles haben, wenn man das System produktiv einsetzt.

 

[Falk R.]

@floh8 wenn du dir andere KVM basierende Virtualisierungen anguckst und ich meine nicht RedHat, dann wirst du wenige Cluster Filesysteme im Einsatz finden.
Da heutzutage alles in Richtung HCI geht, hat Proxmox mit Ceph schon die richtige Wahl getroffen. Wenn ich vSphere oder HyperV Cluster ablöse, dann bisher immer als HCI Cluster mit Ceph. Auch ich musste am Anfang erst einmal Umdenken, da ich seit 16 Jahren mit VMware Produkten arbeite, aber derzeit installiere ich nur noch HYperV mit S2D (auch als ASHCI) oder Proxmox mit Ceph. Klassisches Storage wird überall abgelöst.

 

[floh8]

Genau deshalb wäre es ja schön, wenn es eine Alternative geben würde, um die alte Hardware wiederzuverwenden. Schließlich ist so ein DualController Plech richtig teuer. Deine Kunden nehmen Ceph, weil sie nichts anderes angeboten bekommen. Es gibt schlicht weg keine gute Alternative. Da wäre es doch schön, wenn Proxmox die Lücke füllt. Bei Ceph und S2D fehlt mir immer noch die Deduplizierung, was zfs alles anbietet.

 

[Falk R.]

Hi, Dedup ist bei S2D schon ne Weile drin.
Ich halte aber nix davon alles zu Deduplizieren. Ich mach dann lieber im Filer das Dedup.
Nenn mir mal ein ClusterFS welches Dedup drin hat.
Alte Hardware kann man ja auch weiter nutzen, auch wenn man manchmal Kreativ werden muss.
Der Entwicklungsaufwand ist einfach zu groß um manchmal alte HW weiter zu nutzen. Oft sind alte Storages schon 7 Jahre+, dann lohnt das alles nicht.

 

[floh8]

Nenn mir mal ein ClusterFS welches Dedup drin hat.

Beim Thema ClusterFS geht es allein um die Wiederverwendung.

Hi, Dedup ist bei S2D schon ne Weile drin.

durch das RefS nehm ich an.

Ich halte aber nix davon alles zu Deduplizieren. Ich mach dann lieber im Filer das Dedup.

beim Filer geht das ,aber bei den Betriebssystemen bietet sich ja auch vor allem Dedup an.

Der Entwicklungsaufwand ist einfach zu groß um manchmal alte HW weiter zu nutzen. Oft sind alte Storages schon 7 Jahre+, dann lohnt das alles nicht.

Das ist immer eine Abwägung, das ist klar. Ich meine natürlich von den Fällen, wo es Sinn macht. Wenn mir mein Storage zu langsam wird, dann muss ich ihn auch bei VMware ergänzen/austauschen.