[SOLVED] Offizieller Support für FC Storage?

[SBauhaus]

Hallo zusammen,

wir stehen (wie viele andere auch) vor der Migration von vSphere zu Proxmox VE.
Unsere drei ESXi-Server sind per FC an ein HP MSA 2050 angebunden. In einer Testumgebung bekomme ich die Anbindung von Proxmox ans Storage schon hin (per LVM auf LUN), also gehe ich davon aus, dass das auf den produktiven Servern auch kein Hexenwerk wird.

Nun zu den Fragen:
- Würdet ihr PVE mit FC in einer produktiven Umgebung einsetzen? KMU, rund 20 Server Linux und Windows gemischt, nichts spezielles. Auf die Kompatibilität des entsprechenden FC HBAs/Treiber wird natürlich geachtet.
Hier im Forum lese ich in dem Zusammenhang überwiegend von Home Labs, daher die Frage.

- In unserem IT-Team bin ich der einzige, der mit Linux auf der Konsole vertraut ist. Kann ich davon ausgehen, dass der Support (wir peilen Standard oder Premium an) auch bei „Low Level“ FC-Problemen hilft? Oder greift dieser in diesem Fall nicht, weil es sich um kein Proxmox-Problem handelt?

Vielen Dank vorab!

Sebastian

 

[rprengel]

Hallo zusammen,

wir stehen (wie viele andere auch) vor der Migration von vSphere zu Proxmox VE.
Unsere drei ESXi-Server sind per FC an ein HP MSA 2050 angebunden. In einer Testumgebung bekomme ich die Anbindung von Proxmox ans Storage schon hin (per LVM auf LUN), also gehe ich davon aus, dass das auf den produktiven Servern auch kein Hexenwerk wird.

Nun zu den Fragen:
- Würdet ihr PVE mit FC in einer produktiven Umgebung einsetzen? KMU, rund 20 Server Linux und Windows gemischt, nichts spezielles. Auf die Kompatibilität des entsprechenden FC HBAs/Treiber wird natürlich geachtet.
Hier im Forum lese ich in dem Zusammenhang überwiegend von Home Labs, daher die Frage.

- In unserem IT-Team bin ich der einzige, der mit Linux auf der Konsole vertraut ist. Kann ich davon ausgehen, dass der Support (wir peilen Standard oder Premium an) auch bei „Low Level“ FC-Problemen hilft? Oder greift dieser in diesem Fall nicht, weil es sich um kein Proxmox-Problem handelt?

Vielen Dank vorab!

Sebastian

Hallo,
ist die Hardware noch in der Wartung beim Hersteller/ Lieferanten?
Wenn nein wird das eh eng.
Ist sthe hier vor einem ähnlichen Thema ein HP Bladecenter mit Plattenstorage von ESX auf Proxox umzuziehen. Die Bladen haben alle jeweils 256GB RAM und sind einfach zu schade für den Shredder. Aber halt ohne Wartung und daher nur für „Test & Dev „ Systeme nutzbar die im Fall von Problemen auch mal weg sein dürfen.
Gruß

 

[Falk R.]

Hallo zusammen,

wir stehen (wie viele andere auch) vor der Migration von vSphere zu Proxmox VE.
Unsere drei ESXi-Server sind per FC an ein HP MSA 2050 angebunden. In einer Testumgebung bekomme ich die Anbindung von Proxmox ans Storage schon hin (per LVM auf LUN), also gehe ich davon aus, dass das auf den produktiven Servern auch kein Hexenwerk wird.

Ja das ist sehr straight forward.

Nun zu den Fragen:
- Würdet ihr PVE mit FC in einer produktiven Umgebung einsetzen? KMU, rund 20 Server Linux und Windows gemischt, nichts spezielles. Auf die Kompatibilität des entsprechenden FC HBAs/Treiber wird natürlich geachtet.
Hier im Forum lese ich in dem Zusammenhang überwiegend von Home Labs, daher die Frage.

Wenn das Storage noch eine Weile genutzt werden soll, spricht erst einmal nichts dagegen.

- In unserem IT-Team bin ich der einzige, der mit Linux auf der Konsole vertraut ist. Kann ich davon ausgehen, dass der Support (wir peilen Standard oder Premium an) auch bei „Low Level“ FC-Problemen hilft? Oder greift dieser in diesem Fall nicht, weil es sich um kein Proxmox-Problem handelt?

Der Support hilft auch bei nicht direkt Proxmox Problemen, die sind sehr Lösungsorientiert.
Sobal es sich aber abzeichnet, dass es am Storage liegt, verweist jeder Hersteller dann an den Storagevendor. (HPE)

Falls neue Hosts beschafft werden, am besten gleich beim Sizing aufpassen. Die Hosts so ausstatten, dass man direkt im laufenden Betrieb Disks nachschieben kann und am besten im laufenden Betrieb auf Ceph wechseln.
Das mache ich öfter so.

 

[SBauhaus]

ist die Hardware noch in der Wartung beim Hersteller/ Lieferanten?

Ja klar, andernfalls würde ich das ohnehin nicht produktiv betreiben

Der Support hilft auch bei nicht direkt Proxmox Problemen, die sind sehr Lösungsorientiert.
Sobal es sich aber abzeichnet, dass es am Storage liegt, verweist jeder Hersteller dann an den Storagevendor. (HPE)

Das klingt gut! Und klar, wenn es am Storage liegt, ist es ja logisch, dass mit der Proxmox-Support nicht helfen kann, dafür hat man ja den Vendor Support. Ging mir jetzt eher um die Frage, ob der Support mir bei allen "Schweinereien" hilft, die man mit einem Debian so anstellen kann. VW hilft mir ja auch nicht bei der Frage, wie ich mit meinem Passat am besten driften kann (endlich mal wieder ein sinnfreier Autovergleich )

 

[Falk R.]

Um beim Auto zu bleiben, das driften bringen die dir nocht dabei, helfen dir aber auf der Straße zu bleiben.
Jede Schweinerei wird bestimmt nicht unterstützt, aber wenn es mal zu Probleme beim z. B. Multipathing kommt, wird natürlich unterstützt.

Außerdem gibt es immer mehr Dienstleister, die sich in dem Thema fit machen. Viele haben noch eine steile Lernkurve vor sich, aber ich gebe mein Wissen beim nächsten Projekt auch direkt an einen anderen Dienstleister weiter, der zuschauen und lernen darf.

 

[floh8]

Würdet ihr PVE mit FC in einer produktiven Umgebung einsetzen? KMU, rund 20 Server Linux und Windows gemischt, nichts spezielles. Auf die Kompatibilität des entsprechenden FC HBAs/Treiber wird natürlich geachtet.

Naja, LVM hat halt keine snapshots und ist nicht thinprovisioned. Das muss dir bewußt sein. Prinzipiell steht dem nichts entgegen. Früher liefen viele Systeme so.

 

[Falk R.]

Thin Provisioning machen heutzutage die Storages eh und doppelt ist nie von Vorteil.
Mit dem PBS braucht man auch keine Snapshots, dann macht man halt ein zusätzliches Snapshot Backup.

 

[floh8]

Thin Provisioning machen heutzutage die Storages eh

Bin mir nicht sicher, aber die HP MSA 2050 noch nicht.

dann macht man halt ein zusätzliches Snapshot Backup.

@SBauhaus : Habt ihr schon das Produkt Proxmox Backup Server entdeckt. Nicht ganz vergleichbar mit einem reinen snapshot, aber allemal günstiger als Veeam.

 

[Falk R.]

Bin mir nicht sicher, aber die HP MSA 2050 noch nicht.

Aber natürlich kann die das. Das konnte schon die 2040. Man muss es nur konfigurieren.

 

[sgw]

Grüß Euch, der Thread hier passt auch gut auf meine Aufgabenstellung, ich erlaube mir, hier meine Fragen dran zu hängen.

Eigtl selbe Ausgangslage: 3 ESXi per FC an einer MSA2040 ... und der Kunde will rüber zu Proxmox.

Ich habe 3 weitere HP DL360 Gen9 rumliegen, die wir als Zwischenstationen verwenden wollen. Meine grobe Idee:

* einen der DL360 an den einen freien FC-port an der MSA hängen
* neue LUN dort erstellen, diese in Proxmox einbinden. Soweit ich gelesen habe, als LVM? oder?
* später einen ESXi weg nehmen, proxmox auf die HW installieren ... Cluster aufbauen usw

Ist das grob richtig bzw. sinnvoll so?

Wir müssen grad noch abklären, welche Verkabelung es noch braucht (Physik), aber irgendwie so sollte es klappen, denke ich.
Wir haben auch noch den Dienstleister erreichbar, der damals die MSA eingerichtet hat.

 

[floh8]

Naja, für die Migration der VMs gibt es ja nun ein Tool von Proxmox, aber du benötigst halt eine separate LUN, die du frei als LVM nutzen kannst und die genug Speicherplatz bereit hält bw. die dann wachsen kann/muss. Das musst du bedenken. Einfach ist so eine Migration nicht.
Viel Erfolg.

 

[sgw]

Danke ... ja, braucht gewissenhaftes Vorgehen. Das haarigste ist das Anbinden des "neuen" Servers ... und dessen multipath-Config. Bzw. davor mal die Auswahl der Verkabelung

 

[Falk R.]

Eigentlich ist die Verkabelung das einfachste. Bitte die MSA vorher checken wie die LUNs präsentiert werden. Oft waren manche DL faul und haben bei direct attached einfach die LUNs für jedermann freigegeben. Das müsste man ändern, damit bei der Einrichtung/Migration kein Fauxpass passiert.
Für die multipath.conf gibt es genügend Beispiele im Internet.

Wenn genug Speicher auf der MSA frei ist, dann ist das eigentlich ein easy Projekt.

 

[sgw]

Das mit der Freigabe der vorigen LUN ist ein guter Hinweis. Das ist auch mein größtes Bauchweh: ja nicht die bestehenden VMs der vSphere-Umgebung "beleidigen". Werde mich einlesen, wie ich den Zugriff entsprechend einschränken kann, bzw. den Status mal prüfen.

Beim Kabel bin ich unerfahren, ein kurzer Blick von hinten auf den freien Port am Storage zeigte mir einen mir unbekannten Anschluss, da war kein SFP+ sondern eben (vermute ich) ein FC-spezifischer Anschluss. Lässt sich vermutlich dem Manual entnehmen? Das Kabel war recht dick und ging in eine SFP+ fähige Steckkarte im ESXi, soweit ich auf die Schnelle sehen konnte.

Im Proxmox-Node habe ich 2 Stück PCIe-Karten mit je 2 SFP+ Ports.

Was mich noch beschäftigt:
Nachdem die MSA nur 4 Anschlüsse hat und aktuell 3 ESXis dran hängen, kann ich in Phase1 nur einen PVE dran hängen.
Wie ist da das Vorgehen: dennoch schon vorab ein PVE-Cluster etablieren und dann erst später auch die neue LUN auf PVE2 und PVE3 einbinden?
Netzwerktechnisch kann ich alle 3 PVEs demnächst verbinden, das geht schon vorab (und klingt für mich auch sinnvoll). Es werden je 2 TB in RAID1 lokal in den Nodes drin sein, für den Start der Migration der VMs.

Wie Ihr bemerkt, bin ich Proxmox-spezifisch noch Anfänger. Ich bin erfahrener Linux-Admin und betreibe KVM-Hosts seit vielen Jahren, aber beim Thema Clustering in Kombi mit SAN habe ich wenig bis keine konkrete Erfahrung. Da will ich keinen Verständnisfehler drin haben und dann aufgrund falscher Reihenfolge einen Bock schießen.

Danke für jegliche Tips und Hilfestellung, ich weiß es sehr zu schätzen.

 

[sgw]

Ich checke Manuals etc / soweit ich das auf Anhieb verstehe, geht es ums Mapping der LUNs?
Ich werde am Montag voraussichtlich gemeinsam mit einem Mitarbeiter des Kunden die GUI der MSA sichten und checken, welche Controller verbaut sind (fürs Bestimmen des Kabels) und welche Mappings existieren.

 

[thearona]

sicher das FC verwendet wird? Die MSA2040 gibts in 2 Versionen, einmal mit SAS und einmal mit FC/iSCSI Controllern. Dicke Kabel die in einem SFP Port gehen klingt mehr nach einem DAC Kabel, sprich 10G Ethernet = iSCSI. iSCSI hätte den Vorteil, dass du einen normalen netzwerk Switch dazwischen hängen könntest (könnte man bei FC auch machen, falls ihr einen rumliegen habt ^^).

Du könntest auch PVE1 an freien Port an Controller A hängen und PVE2 an den freien Port von Controller B für die Migration ... du hast dann halt keien Redundanz, wenn ein Controller ausfällt (wobei die MSA2040 eh stabil laufen).

Ob du den Cluster vorher oder nach aufbaust ist glaub ich egal.

 

[Falk R.]

Wichtig ist nur, dass der joinende PVE keine VMs hat.
Wie mein Vorredner gehe ich davon aus, dass es eine iSCSI MSA ist. Die 2040 ist ja auch nicht mehr ganz so jung, eventuell lässt du mal jemand mit Erfahrung auf den kompletten Hardware Zoo gucken, eventuell lässt sich eine optimalere Lösung finden.

Ich habe nächste Woche genau so ein Migrationsprojekt vor mir, aber da haben wir ein etwas neueres Storage mit 25G iSCSI.
Guck auch, ob der Plattenplatz reicht, die VMs zu migrieren, du hast während der Migration den doppelten Speicherbedarf.

 

[sgw]

In einer stillen Minute ist mir noch eingefallen, dass ich da was vermischt habe: bei einem ANDEREN Kunden haben wir eine MSA-2040, die in dem proxmox-Projekt ist eine etwas neuere. Muss ich morgen prüfen.

Heute denk ich mich nicht mehr rein, morgen regnet es und da ist Zeit genug ;-) Schönen Sonntag noch

EDIT: laut Kunde ein R0Q84A ... ich google da ""HPE MSA 2062 12Gb SAS SFF Storage"

 

[sgw]

Wir haben das heute gecheckt. Das Storage ist per SAS-Adapter-Karten an die ESXi-Server angebunden. Dh. ich bräuchte solche Karten auch für die Proxmox-Server. Das lassen wir lieber. VMs migrieren, damit das Storage und die ESXi-Server leer räumen, dann auf deren HW neu das PVE-Cluster aufziehen ... das ist der Plan. Einwände? Ja, vorübergehend weniger Redundanz. Vertretbar laut Kunde.

EDIT: damit bin ich nun off-topic hier SAS != FC

 

[Falk R.]

SAS ist noch deutlich einfacher in der Handhabung als FC. Hostmapping ist aber identisch und deutlich einfacher als iSCSI. Das einzige Problem ist das Limit auf 4 Hosts.