FC Storage Anbindung

[ejung]

Hallo Zusammen,

ich habe da eine Frage wir stehen vor der VMware Lizenz Verlängerung, und machen uns Gedanken ob den nicht Proxmox VE eine alternative für uns ist.
Von dem Proxmox VE habe ich schon viel gehört und auch schon Live gesehen, ich könnte mir gut vorstellen das das gut bei uns passen könnte.

Aber leider finde ich irgendwie zu manchen Themen nicht die gewünschten Antworten, vielleicht könnt Ihr mir ja da einen Tipp geben

- Unterstützt Proxmox VE eine fiber channel Anbindung? Ich finde dazu nicht wirklich eine gute Antwort...
- Mit einer FC Anbindung sind dann die Snapshot Backup noch möglich über Veeam ?


Zu Unserer Umgebung

Host
- VMware 8 Hosts mit 16 GB FC Karten

Switche
- 4x FC Switche im full Cluster

Storage
- 2x HPE Alletra MP Storage im full Cluster mit 16 GB FC Anbindung

Backup
- Veeam Backup mit FC Anbindung für Snapshot

 

[dhcolesj]

I translated this from German to:
- Does Proxmox VE support a fiber channel connection? I cannot really find a good answer to that...
Yes. Our POC with Proxmox required this. Local boot disks work, and nearly all our storage is SAN based via Fibre Channel.
(if google translate is right) German:
Ja. Unser POC mit Proxmox erforderte dies. Lokale Bootdisketten funktionieren und fast unser gesamter Speicher ist SAN-basiert über Fibre Channel.

- With an FC connection, are snapshot backups still possible via Veeam?
Snapshots are not possible on Shared storage using LVM, but there are a lot of options for storage setup depending on your taste.
I can't answer it's compatibility with Veeam, but they do have a built in backup server that's pretty good and an Enterprise class version that's separate we have not tested yet. I think using that for "snapshots" (or instead of) might be acceptable, however we have not tested it with VMs with a LOT of storage.
(again from Google translate) German:
Snapshots sind auf gemeinsam genutztem Speicher mit LVM nicht möglich, aber es gibt viele Optionen für die Speichereinrichtung, je nach Geschmack.
Ich kann nichts zur Kompatibilität mit Veeam sagen, aber sie haben einen integrierten Backup-Server, der ziemlich gut ist, und eine separate Enterprise-Class-Version, die wir noch nicht getestet haben. Ich denke, die Verwendung für „Snapshots“ (oder stattdessen) könnte akzeptabel sein, wir haben es jedoch nicht mit VMs mit VIEL Speicher getestet.

 

[Johannes S]

As far I know the snaphot mode of PBS works on all storages even if a storage-level snapshot doesn't work since they use kvm ( the vm backend ) snapshot instead of native storage snapshot for it. This won't work for lxc containers though ( although my impression is that they are more a homelab, not an enterprise thing) At least this is what the official wiki phrases it:
https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Alternatives_to_Snapshots
Another possibility would be to work with qcow disk images who always support snapshots but might have worse performance due to the filesystem overhead. So be prepared to do some benchmarking before doing this in Producion.
A third option might be to use cluster-aware filesystem like ocfs2 ( it's Linux so a lot works even if not support3d) but it's not supported offically. But there are third Level Service Providers like Heinlein Support who offer Services for using them.
I don't know whether snapshots will work then though.

Hope this helps and best regards

Wenn ich alles richtig verstanden habe, unterstützen Backups mit dem Proxmox Backup Server Snapshots auch dann, wenn es mit dem Storage darunter keine Snapshots möglich sind. Das liegt daran, dass dafür die Snapshotfunktion vom eigentlichen Hypervisor kvm genutzt wird und die ist eben dtorage-unabhängig. Das klappt dann allerdings nicht für lxc-container. Ich habe aber eh den Eindruck, dass Container eher im homelab, statt in Unternehmen verwendet werden.
Wenn das also zu euren Usecase und Budget passt, eine denkbare Option. Eine andere Variante wäre die Diskimages im wcow2-Format zu speichern, damit gehen Snapshots immer. Man verschenkt halt ggf. etwas Performance wegen dem Filesystem-Overhead, also vor Produktivnahme Benchmarks machen.
Beide Varianten sind auch im offiziellen Wiki ( oben verlinkt) beschrieben.


Dann kann man aber natürlich auch alle unter Linux laufenden Cluster-fähigen Dateisysteme, wie etwa ocfs2 benutzen. Das wird zwar nicht offiziell supported, aber durchaus ( siehe Forumssuche ) produktiv verwendet. Drittanbieter wie Heinlein Support haben dazu auch Beratung im Portfolio. Ob das in Sachen Snapshot hilft: Keine Ahnung.

Hoffe, das hilft dir weiter, schöne Grüße

 

[Johannes S]

Was ich jetzt erst gesehen habe: Ihr habt acht vmware hosts, die dann ja wohl perspektivisch unter Proxmox VE laufen sollen.
Wollt ihr die in einen Cluster packen oder aufteilen ( z.B. Test- und Produktiobsumgebung)?

So oder so solltet ihr bedenken, dass die Dokumentation bei einer geraden Anzahl Knoten den Einsatz eines sogenannten Q-Devices vorschlägt, damit es beim Voting im Cluster keine Probleme gibt:

https://pve.proxmox.com/wiki/Cluster_Manager

Das kann ein beliebiger mit Linux laufender Computer sein ( raspberry würde reichen), der dann mitvotet, sonst aber keine Funktion im Cluster hat. Prinzipiell kann man dafür auch den Server nehmen, der den Proxmox Backup Server ( sofern verwendet) aufnimmt.

Bei Clustern mit zwei Knoten ( etwa ein Testcluster) wird ein qdevice im wiki explizit empfohlen.

Bei einer ungeraden Anzahl Knoten im Cluster rät die Dokumentation dagegen explizit vom Einsatz eines qdevices ab.

Hat jetzt mit deiner Frage nichts zu tun, aber dachte ich erwähne das besser, da das ja relevant für die Architekturplanung ist

 

[itNGO]

Hallo Zusammen,

ich habe da eine Frage wir stehen vor der VMware Lizenz Verlängerung, und machen uns Gedanken ob den nicht Proxmox VE eine alternative für uns ist.
Von dem Proxmox VE habe ich schon viel gehört und auch schon Live gesehen, ich könnte mir gut vorstellen das das gut bei uns passen könnte.

Aber leider finde ich irgendwie zu manchen Themen nicht die gewünschten Antworten, vielleicht könnt Ihr mir ja da einen Tipp geben

- Unterstützt Proxmox VE eine fiber channel Anbindung? Ich finde dazu nicht wirklich eine gute Antwort...
- Mit einer FC Anbindung sind dann die Snapshot Backup noch möglich über Veeam ?


Zu Unserer Umgebung

Host
- VMware 8 Hosts mit 16 GB FC Karten

Switche
- 4x FC Switche im full Cluster

Storage
- 2x HPE Alletra MP Storage im full Cluster mit 16 GB FC Anbindung

Backup
- Veeam Backup mit FC Anbindung für Snapshot

Hallo,

prinzipiell funktioniert alles was du beschreibst. Einiges mit Einschränkungen. Ich würde bei der "Dimension" aber zu entsprechendem Consulting durch einen PVE-Experten raten. Das erspart ggf. unnötige Sschmerzen bei den Tests und einer späteren Migration...

 

[Falk R.]

Hallo Zusammen,

ich habe da eine Frage wir stehen vor der VMware Lizenz Verlängerung, und machen uns Gedanken ob den nicht Proxmox VE eine alternative für uns ist.
Von dem Proxmox VE habe ich schon viel gehört und auch schon Live gesehen, ich könnte mir gut vorstellen das das gut bei uns passen könnte.

Aber leider finde ich irgendwie zu manchen Themen nicht die gewünschten Antworten, vielleicht könnt Ihr mir ja da einen Tipp geben

- Unterstützt Proxmox VE eine fiber channel Anbindung? Ich finde dazu nicht wirklich eine gute Antwort...

Ja natürlich, egal ob FC, iSCSI oder NVMe over Fabric, geht alles.
Man muss nur die Multipath Konfiguration einmal von Hand machen, immer nach der Anleitung des Storageherstellers. Ist ein ganz normales Linux.

- Mit einer FC Anbindung sind dann die Snapshot Backup noch möglich über Veeam ?

Ja du kannst auch wenn du LVM nutzt, was keine Snapshots unterstützt, trotzdem mit dem PBS oder Veeam über den QEMU Layer Snapshot Backups machen. Veeam hat derzeit noch ein paar Limitierungen, aber die bauen fleißig daran.

Zu Unserer Umgebung

Host
- VMware 8 Hosts mit 16 GB FC Karten

Sind die in einem RZ oder streched über 2 RZ verteilt?

Switche
- 4x FC Switche im full Cluster

Storage
- 2x HPE Alletra MP Storage im full Cluster mit 16 GB FC Anbindung

Backup
- Veeam Backup mit FC Anbindung für Snapshot

Wenn ihr mit Veeam Enterprise Plus und Storage Snapshots arbeitet, das geht nur mit vSphere.
Meine Erfahrung mit Pure Storage,: Vernünftig Konfigurierte und Schedulte Standard backups laufen schneller als Snapshot Backups.
Oft sind nur wenige Änderungen pro VM und da ist der zeitliche Overhead mit den Storage Snapshots schon recht groß.

 

[ejung]

Hallo,
vielen danke an euch allen für die Super Tipps, ich denke damit kann ich nun weitermachen, ich werde mir erstmal eine Test Umgebung installieren, und damit ein wenig rumspielen.

Mein Plan ist nun eine Schulung zu buchen und einen Ex Consulting zu beauftragen damit er mir mir die erst Einrichtung Plant und Umsetzt.

zu euren Fragen:

- wir haben zwei RZ die mit 32 GB FC untereinander angebunden sind
- mit Veeam und HPE Storage nutzen wir das Storage Snapshots Backup, das geht wirklich sehr flott,

sollte Proxmox dann wirklich komplett unsere VMware Farm ablösen hätten wir denke ich mal keine Problem auch den Proxmox Backup Server einzusetzen.

Danke euch allen für die Super Schnellen Tipps

---------------

Hello,
Thanks to all of you for the great tips, I think I can continue now, I will first install a test environment and play around with it a bit.

My plan now is to book a training course and hire an ex consultant to plan and implement the initial setup for me.

To your questions:

- we have two data centres that are connected to each other with 32 GB FC
- with Veeam and HPE Storage we use the Storage Snapshots Backup, which is really very fast,



Should Proxmox really replace our VMware farm completely, I don't think we would have any problem using the Proxmox backup server.

Thank you all for the super fast tips

 

[Johannes S]

Mein Plan ist nun eine Schulung zu buchen und einen Ex Consulting zu beauftragen damit er mir mir die erst Einrichtung Plant und Umsetzt.

Das ist sicher eine gute Idee Die Proxmox-Partnerseite hast du schon gefunden?

- wir haben zwei RZ die mit 32 GB FC untereinander angebunden sind

Also pro Standort vier Server zwecks failover und sonst gibt es keine Aufteilung ( etwa Prod/Test)? dann würde ich auf jeden Fall ein qdevice einsetzen, um auf eine ungerade Zahl Knoten zu kommen: https://pve.proxmox.com/wiki/Cluster_Manager#_corosync_external_vote_support

- mit Veeam und HPE Storage nutzen wir das Storage Snapshots Backup, das geht wirklich sehr flott,

sollte Proxmox dann wirklich komplett unsere VMware Farm ablösen hätten wir denke ich mal keine Problem auch den Proxmox Backup Server einzusetzen.

Ja, wenn man nicht mehr die Preise von vmware bezahlt, tut die PBS-Lizens (samt der Kosten für die dezidierte Hardware) auch nicht mehr weh Der PBS ist auch relativ genügsam, man kann da also auch einen älteren Server für nehmen, der schon abgeschrieben wurde.

Fairerweise muss man dazu sagen, dass PBS aktuell keine application awaren Backups unterstützt und Veam bei Proxmox VE auch noch nicht, da die Veeam-Unterstützung das Feature noch nicht implementiert hat (von anderen Kinderkrankheiten ganz zu schweigen, siehe: https://forum.proxmox.com/threads/veeam-silent-data-corruption.155212/ ). Dafür kann man aber natürlich Veeam als Agent in der VM laufen lassen (also so zu tun, als ob es ein bare metal server ist), um z.B. Datenbanken zu sichern.

Je nach euren Anforderungen und Budget kann es also auch eine Option sein, verschiedene Tools (PBS für die VM Backups-/Snapshot-Alternative, Veeam für die Application-Backups) für verschiedene Dinge zu nutzen.

Schöne Grüße, Johannes.

 

[Falk R.]

Zum Thema Veeam.
Wenn man kein Bastel Homesetup hat läuft Veeam super Stabil. Die Features sind derzeit fast so wie de vom PBS.
Bei einigen Kunden nutze ich den PBS für Backups der VMs (alle) vor allem für DR und File Restores. Die SQL Server und AD haben einen Veeam Agent drauf und machen noch einmal zusätzlich Application Aware Backups. Damit kann man gut Geld sparen, weil man nur die paar Instanzen lizensieren muss.

Backups von Storage Snapshots wird es vermutlich nie für Proxmox geben. Das basiert auf bestimmten Features der vSphere API und dem VMFS Dateisystem. Da wir bei PVE viel mehr Möglchkeiten haben als nur ein Dateisystem zu nutzen, wird soetwas nie unterstützt werden.
Generell gehen alle Hypervisoren zu HCI. Auch VMware macht ja jetzt VSAN mit inklusive (bezahlt jeder mit). Daher wird in naher Zukunft der Storagemarkt für Monolithische Storages sich bereinigen.