Das Thema kommt gerade wieder hoch, nach dem es lange links liegen gelassen wurde.
Mit v9 gibt es nun die Snapshots für LVM/FC. Welche Nachteile handelt man sich denn ganz konkret mit FC-Storage ein? Wir haben bisher eine klassische Aufteilung mit einem Storage Team und auch noch einigen IBM Arrays über die Welt verteilt.
Naja, das es eben NICHT ein cluster-awares Dateisystem wie vmfs ist, sondern Blockspeicher,
@bbgeek17 hat das mal näher erklärt:
https://kb.blockbridge.com/technote/proxmox-lvm-shared-storage/
Dadurch verhält es sich anders, als Umsteiger von vmfs gewohnt sind. Auf der praktischen Ebene dürfte der wichtigste Unterschied sein, dass damit kein thin-provisioning auf der Ebene des Hypervisors möglich ist (im Storage, sofern der das unterstützt natürlich schon) und Snapshots nur mit dem neuen qcow und snapshot-as-chain-Feature möglich sind. Das it aber halt a) noch in tech-preview und b) hat halt seine eigenen Eigenheiten, auch dazu hat bbgeek17 was geschrieben:
https://kb.blockbridge.com/technote/proxmox-qcow-snapshots-on-lvm/index.html
So geht das (in Vergleich zum klassischen raw-Format) mit teilweise drastischen Performance-Einbußen einher, die restlichen Eigenheiten würde ich eher als "Kinderkrankheiten" (darum ist es ja technology preview) bzw. trade-offs sehen, wo man dann halt je nach Usecase gucken muss, ob die ein Dealbreaker sind. Generell benötigt ProxmoxVE und der ProxmoxBackupServer aber keinen Snapshot-Support im Storage für Backups, das wird da über ein Feature des Hypervisors qemu (wofür PVE ja eine art Managmentinterface ist) gelöst und klappt auch, wenn der Storage keine Snapshots unterstützt. Mit den PBS kann man dann einen live-restore der VM starten, damit ist die VM dann verfügbar, während die restlichen Daten wiederhergestellt werden (Zugriff ist dann halt entsprechend langsamer)
Die sind noch nicht abgeschrieben und es wäre schwierig zu rechtfertigen, gerade aktuell, neue Server extra mit lokalen Disks/NVMes auszustatten. Ich höre auch nicht nur positives über Ceph und bin da noch etwas skeptisch. Ganz besonders wenn es Probleme gibt und Fehlersuche gefragt ist.
Naja, das gilt für jede Software. Generell würde ich bei einen so zentralen Baustein der Infrastruktur (ob mit oder ohne Ceph) wie der Virtualisierung aber immer Support vom Hersteller und Unterstützung durch einen Partner dazuholen. Die bieten teilweise auch Pakete, dass man Supportstunden kaufen kann, die aber nicht verfallen, sondern dann je nach Bedarf abrufen kann. Dazu müssten eigentlich die Leute die
office@proxmox.com lesen mit Referenzen dienen können:
https://proxmox.com/de/partner/find...r-partner-de/region-filter/europa/deutschland
Und auch eine Schulung sollte man natürlich besuchen, sofern budgetär möglich, das vermeidet (teure) Fehlplanungen. Nachdem, was ich (als Homelabber der somit nur wenig aus Enterpriseperspektive beisteuern kann) hier gelesen habe, ist Ceph grundsätzlich (auch in kleinen Umgebungen) sehr zuverlässig, aber man darf halt die Hardware nicht unterdimensionieren. Selbst drei Knoten kann man machen, sofern man (wichtig!) damit leben kann, dass nur ein Knoten durch Fehler oder Wartung ausfallen darf. Mit fünf Knoten können dann auch zwei ausfallen etc. Wichtig ist neben schnellen lokalen SSDs auch ausreichend Netzwerkhardware, damit das keinen Flaschenhals darstellt, also mindestens 10Gb besser 25Gboder 100Gb.
Siehe auch:
Eine andere Möglichkeit für sehr kleine Cluster kann Storage Replication mit ZFS sein, aber auch dafür braucht es halt lokale Discs und (wichtig!) die Datenübertragung erfolgt asynchron (default: alle 15 minuten, kann auf eine minute reduziert werden) und geht damit bei einen ungeplanten Ausfall (bei Wartung natürlich nicht, da migriert man die Workloads ja vorher zu einen anderen Knoten) immer mit (minimalen) Datenverlust einher. Je nach Usecase kann das tolerabel oder no-go sein, das könnt nur ihr entscheiden. Wichtig bei zwei-Knoten-Clustern: Es braucht dann noch einen dritten Knoten (kann auch ein alter PC, PI oder container auf einer NAS sein), auf den dann ein Dienst das Quorum für corosync bereitstellt.
Es gibt auch Leute, die bei kleinen Clustern gerne eine NAS mit NFS nehmen, dann muss man sich halt überlegen, ob es ein akzeptables Risiko ist, dass die Storage-Hardware dann der single-point-of-failure wird.
Daraus folgt dann die Überlegung, ob FC nur dort weiter verwendet werden soll, wo es noch läuft, oder weiter unsere Storage Lösung bleibt. An manchen Standorten wird so oder so Storage für andere Systeme benötigt.
Die Frage wäre ja, wofür der Storage sonst benötigt wird und mit welchen Rahmebedingungen. Ich würde die Bestandssysteme weiter per FC und lvm/thick (NICHT mit den neuen experimentellen Snapshotfeature!) betreiben und halt mehr Backups als Snapshotersatz machen. Dann beim nächsten Hardware-Renewal dann abwägen, wo es weiterhin dezidierte Storage-Hardware braucht und wo man fürs gleiche Geld in Ceph investieren könnte. Ceph hat halt den Charme nach oben skalierbar zu sein, wenn ihr mal zusätzliche Kapazität braucht, ohne gleich ein weiteres SAN kaufen zu wollen.
Dann noch die Frage, wie man mit dem PBS eine Lösung wie in Veeam realisieren kann, mit einem primären Backup auf einem Scale Out Repository mit on-prem Repo, einer lokalen Kopie ebenfalls on-prem, und dann offloading vom Scale Out Repo zu z.B. Wasabi S3 mit immutability dort? Vielleicht ist das auch einen neuen Beitrag wert...
Was genau macht ihr mit dem Scale-Out-Repo? PBS hat mittlerweile S3-Support, soweit ich weiß aber nicht mit Unterstützung für immutable Repos auf der S3-Ebene. Was man mit PBS dafür ziemlich gut machen kann ist aber folgendes:
- Mehrere lokale Datastores (z.B. einen schnellen kleinen mit SSDs, damit man schnell backuppen und restoren kann aber nur einer kurzen Vorhaltdauer und einen großen, lahmen aus mehreren HDDs mit einen SSD mirror als special device
https://pbs.proxmox.com/docs/sysadmin.html#zfs-special-device für eine längere Vorhaltdauer)
- Offsite-Backup auf S3
- Offsite-Backup auf einen PBS an einen anderen Standort oder auf einen Cloudserver (es gibt auch Anbieter wie Inett oder tuxis.nl die das als managed service für 20€/TB monatlich anbieten)
Der Charme am Offsite-PBS ist, dass man den dann per Firewall plus Permissions so zurammeln kann, dass der sich seine Backups zwar vom Primär-Backups ziehen kann, der Primär-PBS (und somit auch ein potentieller Hacker) diesen nicht erreicht:
https://pbs.proxmox.com/docs/storage.html#ransomware-protection-recovery
Wenn man von diesen PBS dann noch zusätzlich auf S3 schreiben lässt, kommt man dammit immutable Backups schon ziemlich nahe.
Zusätzlich könnte man die Backups auch noch auf Tapes oder "removable datastores" (PBS_Sprech für externe USB-Medien, z.B. Platten) schreiben und die dann im Safe lagern.
Edit: Beim verspäteten Abschicken gesehen, dass vieles schon bei Falk steht *sigh*
