[SOLVED] Storage Plugin Entwicklung

[NojuHD]

Hallo geschätztes Proxmox Team,

wir sind aktuell in Kontakt mit Pure Storage bzgl. einer PVE Storage Integration (Storage Plugin), da wir bei uns ein Pure FlashArray in Verwendung haben und die Überlegung aufkam, dass aktuelle Hyper V Cluster auf Proxmox umzustellen.
Da leider aufgrund der Storage-Anbindung per Fiber Channel bzw. iSCSI in diesem Fall keine Snapshots möglich wären, haben wir uns an Pure gewandt um evtl. eine Unterstützung in Form eines Plugins zu erhalten/ermöglichen.

Laut Pure fehlen leider die Verbindungen zum Hersteller (Proxmox), was einen vollen Support erschwert. Ich denke Pure ist noch nicht bewusst, dass hier der Großteil der Arbeit bei Pure selbst liegt.

Nun die Frage:
Gibt es Dokumentationen bzw. Hilfestellungen seitens Proxmox für Storage Hersteller zur Entwicklung eines solchen Storage Plugins oder ggf. Schnittstellen an die Pure sich wenden könnte?

Vielen Dank vorab.

VG

 

[fabian]

es gibt eine developer mailingliste fuer fragen:
- https://lists.proxmox.com/pipermail/pve-devel/

hier ist das base plugin:
https://git.proxmox.com/?p=pve-storage.git;a=blob;f=src/PVE/Storage/Plugin.pm

hier werden custom plugins geladen (sollte fuer entwickler eigentlich selbsterklaerend sein )
https://git.proxmox.com/?p=pve-stor...06a62096b68b760f1c3945cd289518657;hb=HEAD#l70

 

[NojuHD]

Danke für die schnelle Rückmeldung, wie immer super Support

Für alle interessierten, falls es Neuigkeiten bezüglich einer Pure - Proxmox Integration gibt, werde ich es hier teilen.

 

[mduessil@pure]

Hallo @NojuHD,

wir/Pure beschäftigen uns durchaus mit Proxmox und Integrationsmöglichkeiten. Proxmox bietet über die API durchaus Möglichkeiten hier mit einem Plugin anzusetzen.

Am besten gehen Sie direkt auf Ihr zuständiges Account-Team bei Pure Storage zu und nehmen Bezug auf meine Antwort im Thread.

Viele Grüße
//M - Marcel Düssil

 

[dR3b]

@mduessil@pure
Wie ist den der aktuelle Status zu diesem Thema (Plugin)? Auch wir haben aktuell mehrere FA-X20R2 im Einsatz. Bis Ende Jahr wird eine Entscheidung gefällt werden müssen (Proxmox ja/nein).

Besten Dank

 

[mduessil@pure]

Servus @dR3,
nein. Der Status ist unverändert: keine offizielle Entwicklung eines Plugins (meines Wissens nach kein Storage-Hersteller derzeit). Derzeit gibt es auch kein Interesse an einer partnerschaftlichen Zusammenarbeit seitens Proxmox. Plugin-Entwicklung maximal auf OpenSource-Basis, derzeit ist mir nicht bekannt, ob dies schon ein Projekt in der Community ist.
Der PVE Kernel (Debian) wird offiziell supported - der Hypervisor selbst nach Best-Effort. Es gibt einige PVE-Kunden, welche erfolgreich im großen Stil Pure‘s angebunden haben. Ohne Plugin - erfordert ggf. einfach etwas mehr manuelle Steps als wie bisher gewohnt.

Ich persönlich teste viel in Richtung ideale Anbindung/Protokolle Standalone/ActiveCluster, allerdings ist das ein „Hobby“.

Weitere Infos können Sie gern über Ihr zuständiges Pure-Account Team anfragen.

Beste Grüße

 

[Falk R.]

Proxmox kann derzeit keine Ressourcen verschwenden um Techniken welche Global auf dem Rückzug sind, besser zu integrieren.
Die Ganze Welt geht immer mehr in Richtung HCI, PVE mit Ceph, HyperV mit S2D und Broadcom hat jetzt den überfälligen Schritt getan, vSAN mit als Basis ins Produkt aufzuhemen (leider mit sehr unschönen Preiserhöhungen).
Einige Storagehersteller sind realistisch und geben ihren FC, iSCSI & NVMEoF-Produkten noch 10 Jahre.

Klar integriere ich regelmäßig verschiedene Storages, welche vorher mit vSphere betrieben wurde jetzt in PVE, aber auch wenn ich seit 20 Jahren meine Storages liebgewonnen habe, gehe ich jetzt gern den HCI Weg.

 

[mduessil@pure]

Hallo Falk,
diese Aussagen kann ich nicht nachvollziehen. Diesen beschriebenen Trend sehe ich selbst als rückläufig-viele HCI/vSAN Setups werden rückgebaut. Ich bin gern offen auf Basis von freien Marktanalysen mich eines besseren belehren zu lassen.

Außerdem verstehe ich nicht, wieso iSCSI/NVMeoF nur noch 10 Jahre existieren sollte? Das ist nichts spezifisches, welches nur im beim „klassischen Storage“ zum Einsatz kommt.

Eigene Präferenzen bzw. Vorlieben für Technologien zu haben…ist natürlich legitim.
Ich sag immer jede Technologie hat seine Vor-Nachteile und Daseinsberechtigung.

 

[Falk R.]

Hallo Falk,
diese Aussagen kann ich nicht nachvollziehen. Diesen beschriebenen Trend sehe ich selbst als rückläufig-viele HCI/vSAN Setups werden rückgebaut. Ich bin gern offen auf Basis von freien Marktanalysen mich eines besseren belehren zu lassen.

Gardner können wir auf dem deutschen Markt vergessen, die haben noch nie verstanden wie der europäische Mittelstand funktioniert.
Wenn ich mir aber die Kundenumgebungen und die Anfragen der Systemhäuser anschaue, geht es jetzt erst richtig los mit HCI.
Klar gab es vor ein paar Jahren einen HCI Hype, wo viele ohne Sinn und Verstand dem Hype nachgegangen sind. Von den Kunden sind die letzten Jahre einige zurück. Aber seit 2023 sehe ich den Trend (zumindest im Mittelstand) wieder Fahrt aufnehmen. Vor allem die neuen vSphere Lizenzen befeuern das auch ganz schön.

Außerdem verstehe ich nicht, wieso iSCSI/NVMeoF nur noch 10 Jahre existieren sollte? Das ist nichts spezifisches, welches nur im beim „klassischen Storage“ zum Einsatz kommt.

Die Übertragungstechniken nicht, aber die Monolithischen Storagesysteme werden immer weniger werden. Klar sterben die nicht einfach so aus, aber der Marktanteil wird die nächsten Jahre drastisch zurück gehen. Gern sprechen wir in 3 jahren noch einmal.

Eigene Präferenzen bzw. Vorlieben für Technologien zu haben…ist natürlich legitim.
Ich sag immer jede Technologie hat seine Vor-Nachteile und Daseinsberechtigung.

Auch Tape ist Tot, es lebe Tape. Tape macht heutzutage nur noch Sinn als Archivierung, im Backup ist das keine echte Option mehr, allein wegen den Restorezeiten.
Da die klassischen VMware Cluster jetzt dank Broadcom wegfallen und die Kunden auf andere Hypervisoren oder die neuen teuren Lizenezn mit vSAN inklusive wechseln, wird sich der Storagemarkt garantiert stark verändern. Die klassischen Failovercluster mit shared Storage werden natürlich weiterleben. Deine Kollegen haben alle die gleiche Meinung, eventuell durch die Unternehmensführung und den tollen Gardner Berichten geschuldet, aber wenn ich mit Vertrieblern oder Consultants anderer Storagehersteller spreche, sehen die diese Veränderung auch schon.

 

[mduessil@pure]

Ich hab noch ein paar Jahrzehnte genau, wir werden den Thread hier dann in ein paar Jahren wiederbeleben.
Persönlich beschränke ich PVE Stand heute rein auf KMU. Not Enterprise-Ready. Das beginnt schon beim Support (8x5) - das wird jeder größere Kunde pauschal für alle Workloads ablehnen. Außerdem gibt es zu viele Applikationen, welche den Hypervisor Proxmox nicht unterstützen.
Die Frage ist immer, was man aus einem Speichersystem macht. Ich bin mir relativ sicher, dass die Nachfrage nach einem Plugin eben genau daher kommt, weil die Kunden auf Basis von 3-Tier bei uns die Möglichkeit haben ein 100% HCI-Look and Feel zu haben.

Grundsätzlich, um das klarzustellen: ich bin wirklich Proxmox-Fan! Ich finde das Produkt für gewisse Workloads (wo es passt und man mit den ein oder anderen Umgewöhnung leben kann). Allerdings sehe ich deutlich mehr Potenzial, wovon man beidseitig profitieren könnte (wir haben eine große Install-Base - Proxmox ist ein präsentes Thema - wir können aber nicht mehr sagen als ich es eben getan habe. So bleibt man an den bekannten Kooperations-Partnern hängen - ...lehnt man aber pauschal eine Zusammenarbeit ab...sage ich an der Stelle...wer nicht will...hat schon -> it is what it is. Was auch OK ist - man kann seinen Grundsätzen treu bleiben. So können wir aber auch keine direkten Empfehlungen aussprechen ergo: Neukunden ggf. vermitteln.

Dann bin ich wohl der erste Storage-SE, welcher das anders sieht. Für mich zählen die Fakten...evtl. ist es aber auch ein regionales Thema.

Wünsche einen schönen Tag - 'see ya in the field'

 

[dR3b]

Dann hätte ich bitte nur noch eine Frage: Welchen tech. Stack würde man den verwenden wollen? Proxmox und Pure Storage?

* Ein grosser Export per NFS oder iSCSI in Kombination mit OCFS2
* iSCSI Exports für jede einzelne Disk (Snapshots auf dem Pure)

Besten Dank!

 

[Falk R.]

Ich weiß nicht wie gut die Filerintegration bei Pure inzwischen ist. Meine letzten Tests sind 7 Jahre her und da gab es noch signifikante Performanceunterschiede.
NFS macht die Integration deutlich einfacher und mit qcow2 Images hast du auch Snapshots.
Wenn du iSCSI, FC oder NVMeoF (was ich bevorzugen würde) nutzt, musst du dich auf der CLI um das Multipathing kümmern und ich würde statt OCFS immer LVM bevorzugen. OCFS wird nicht mitgeliefert und somit auch nicht bei der Entwicklung getestet. Also müsstest du jeden Patch auf einem Testcluster selbst testen ob es Auswirkungen auf OCFS gibt.
Mit LVM hast du zwar keine Snapshots, aber mit Snapshot Backups kann man das gleiche und noch mehr erreichen. In der Regel macht man ja Snapshots vor einem Update, da finde ich ein Backup sogar praktischer, wenn nicht die ganze VM kaputt ist wo ich komplett zurückrollen muss, kann man aus dem Backup auch einzelne Dateien oder einzelne VM Disks wiederholen.

 

[mduessil@pure]

Dann hätte ich bitte nur noch eine Frage: Welchen tech. Stack würde man den verwenden wollen? Proxmox und Pure Storage?

* Ein grosser Export per NFS oder iSCSI in Kombination mit OCFS2
* iSCSI Exports für jede einzelne Disk (Snapshots auf dem Pure)

Besten Dank!

dazu müsste man sich das gesamte Setup näher ansehen:
- Standalone FA? Cluster - Stichwort: ActiveCluster?
- werden Snapshots +/o. SafeMode genutzt? Falls ja, wie? -> pgroup-basiert, global?

Ansonsten auf Basis meiner Erfahrungswerte:
- rock-solid iSCSI mit LVM (meine ersten Tests in Verbindung ActiveCluster: aktuell ohne Show-Stopper)
-> manuelles Multipathing p. Vol über CLI - ist lästig - könnte aber als Fleißaufgabe sicherlich geskriptet/automatisiert werden.
- OCFS würde ich nicht machen (aber auch noch nicht getestet)
- NFS ebenfalls möglich, allerdings mit Limitierung in Verbindung Snapshots/SafeMode und sync. Clustering

 

[NojuHD]

Servus @dR3,
nein. Der Status ist unverändert: keine offizielle Entwicklung eines Plugins (meines Wissens nach kein Storage-Hersteller derzeit). Derzeit gibt es auch kein Interesse an einer partnerschaftlichen Zusammenarbeit seitens Proxmox. Plugin-Entwicklung maximal auf OpenSource-Basis, derzeit ist mir nicht bekannt, ob dies schon ein Projekt in der Community ist.
Der PVE Kernel (Debian) wird offiziell supported - der Hypervisor selbst nach Best-Effort. Es gibt einige PVE-Kunden, welche erfolgreich im großen Stil Pure‘s angebunden haben. Ohne Plugin - erfordert ggf. einfach etwas mehr manuelle Steps als wie bisher gewohnt.

Ich persönlich teste viel in Richtung ideale Anbindung/Protokolle Standalone/ActiveCluster, allerdings ist das ein „Hobby“.

Weitere Infos können Sie gern über Ihr zuständiges Pure-Account Team anfragen.

Beste Grüße

Bedeutend finde ich tatsächlich, dass Pure Storage derzeit keine Entwicklung eines Plugins für Proxmox beabsichtigt.
Das Proxmox keine spezielle Partnerschaft anstrebt war jedoch abzusehen, da Proxmox durch die Bereitstellung der Plugin-Schnittstelle den Herstellern ermöglicht hat, die Entwicklung selbst in die Hand zu nehmen. Dadurch muss sich das Proxmox-Team nicht um zahlreiche Storage-Implementierungen kümmern, was meiner Meinung nach der beste Ansatz ist, den das Team wählen hätte können.

Es ist wohl auch eine Überarbeitung der API inkl. Dokumentation geplant (Siehe hier).

Letztendlich liegt es nun am Storage-Hersteller, ob er bereit ist, ein OpenSource-Plugin zu schaffen.

Mich würde jedoch interessieren, welche Art von Partnerschaft sich ein Unternehmen wie Pure Storage hier vorstellt

Beste Grüße

 

[Falk R.]

Ach ja, NetApp hat angekündigt zu Prüfen ob mit der Entwicklung für die Server 2025 Tools auch Proxmox mit anzugehen. Eventuell auch nach Server 2025 Support. Aber alle anderen Storagehersteller haben noch nichts angekündigt.
Aber ich vermute es ist wie beim Backup. Veeam hat angekündigt und diese Woche geliefert, daher haben alle großen Backuphersteller einen Proxmox Support angekündigt.
Wenn der erste große Storage Hersteller etwas offiziell ankündigt, werden alle anderen nachziehen.

 

[mduessil@pure]

Das Problem liegt eher im Kern der Sache: wenn man nicht bereit ist sich an den Tisch zu setzen, um gewisse Fragen bzw Rahmenparameter abzustecken…gibts auch keine Zusammenarbeit. Ganz einfach, weil so funktioniert das im Segment Enterprise-Storage nicht. Stichwort: Alleinkämpfer - wenn beiderseits Interesse und Unterstützung kommt man immer besser ans Ziel und dann wird es auch gut.

Mehr kann ich dazu nicht sagen.

 

[Falk R.]

Ich würde aber auch etwas Verständnis für die Proxmox GmbH aufbringen. Viele Systemhäuser wollen Partner werden wo das onboarding schon viel mehr Ressourcen kostet als die 1-2 Partner pro Jahr vorher (Nur geschätzte Menge). Jetzt fragen auch viele Hersteller von Backuplösungen, Storage und Monitoring an und jeder hätte gern Unterstützung bei der Integration. Das kann so ein kleines Team nicht stemmen.
Veeam hat ja ihre Storageintegration auch offen gemacht, damit jeder Storagehersteller selbst etwas schreiben kann. Und das Veeam Team war zu der Zeit auch schon viel größer.

 

[mduessil@pure]

darum gehts nicht Falk. Der Ansatz mit der offenen API für eine Integrations-Entwicklung ist auch der einzig richtige! Es geht allein um die Basis.
Veeam hat mit den einzelnen Herstellern Alliances und gibt Infos, welche Basis für Zertifizierung und Co. wäre.

 

[Falk R.]

Aber Veeam ist auch schon größer und hat mehr Personal was sich um solche Themen kümmern kann. Das was plötzlich auf Proxmox einprasselt hat ja keiner vorhersehen können.

 

[Johannes S]

Just for the record: Da nicht alle Leute warten wollen oder können, bis die Storage-Hersteller in die Gänge kommen, hat jemand das für Pure schon mal selbst gemacht: https://forum.proxmox.com/threads/purestorage-flasharray-proxmox-va-multipath.158584/

Für seinen Arbeitgeber reicht es wohl (praktisch wenn man Entwicklerressourcen für sowas bereitstellen kann), aber vielleicht kann das auch die Basis für was "offizielles" werden?