Metro/Stretch cluster mit Proxmox als Alternative zu vSphere oder Nutanix

[Falk R.]

Naja, wir haben 1 bis n Veeam Linux Repositories pro SOBR und dann eine Capacity Tier in der Cloud und jedes Backup wird sofort nach der Erstellung dorthin "geoffloaded" und ist für den definierten Zeitraum immutable. Das ist auch ein zentraler Baustein in der Backup Strategie und zählt bei uns als Medien-Bruch, analog zum Tape im Safe früher.

Wenn du damit leben kannst, dass es sich nicht offload sondern Kopie nennt, dann ist das ja kein Problem.
Habt ihr so heterogene Storages, dass du Mehrere zu einen Performance Tier zusammen fügen musst?
In der Regel bekommt man auch ohne SoBR ein vernünftiges Design hin.

Unveränderbarkeit ist ein zwingender use-case aktuell, kann man vermutlich auch mit einer Policy direkt im S3 Storage erzwingen, bisher wird sie durch Veeam verwaltet.

Ja und ich dachte gerade, ich antworte ihm, weil ich deine zweite Antwort nicht als Benachrichtigung bekommen habe...

Naja das immutable von Veeam kann man mit den passenden Berechtigungen auch aushebeln.
Daher baue ich die Secondary Repository immer so, dass niemand zugreifen kann. Dann kann auch keiner was verändern.
Auch wieder nur eine Designfrage.

 

[Falk R.]

Zum Thema S3, da kann man noch nicht mit dem Immutable wie bei Veeam arbeiten, aber immutable Snapshots des Buckets gehen immer und wenn man die jeweils nach dem Copy triggert hat man etwas ähnliches.

 

[ICantDecide]

Das mit den Snapshots ist noch als Technical Preview gekennzeichnet und würde ich persönlich noch nicht für Produktiv einsetzen.
Das ist aber meine persönliche Meinung und muss jeder selbst wissen.

Ok, ich dachte das sei inzwischen voll supportet.

Das ist auch ein valider Grund die weiter zu benutzen, bis der Hardwareaustausch fällig ist.

Wo das denn? 99% aller Probleme mit Ceph, waren bisher auf schlechte Konfigurationen zurückzuführen und einmal hatte ich wirklich Probleme was aber an defekter Hardware lag.

Ich hatte vor 7-8 Jahren schon mal Kontakt mit Ceph, aber nicht selber im direkten Support, da wurde viel geflucht. Aber vielleicht hat sich das a. geändert und b. war nicht die Schuld von Ceph.

in neue FC Infrastruktur würde ich nirgend mehr investieren, da man heutzutage eher auf NVMe geht und wenn es ein neues Storage sein muss, weil aus irgend einem Grund kein Ceph benutzt werden soll, dann lieber NVMe over Fabric nutzen. Das kann per RoCE oder TCP geschehen, wo es aber auch immer auf das jeweilige Storage ankommt.

Wie funktioniert dann NVMe-oF in Proxmox? Auch über LVM? Ich sehe es gibt das von verschiedenen Herstellern schon Proxmox Support, muss ich mir anschauen.

gern auch in einem neue Thread, aber warum möchtest du das denn?
Scale out Repo ist gut um eh vorhandene verschiedene Storages zusammen zu bringen, aber bringt immer Nachteile beim Speicherverbrauch mit sich.

Welchen Nachteil?

Wie viele PB möchtest du denn speichern, dass du überhaupt den Bedarf hast?

Insgesamt liegen weltweit schon >1 PB in Cloud Object Storage. Der Haupt-use-case ist auch immutabiliy.

Das Offloading so wie in Veeam gibt es nicht, aber auch das braucht man in der Regel gar nicht. Aber da muss man den Bedarf im Einzelfall abklären.
Kopie zu S3 geht natürlich auch, obwohl ich das nicht favorisiere. Wasabi ist bei meinen Kunden inzwischen überall abgelöst worden.
Entweder jetzt ohne S3 oder viele auch bei Hetzner, da es dort nur 5€/TB kostet und man keinen amerikanischen Anbieter hat.

Bietet Hetzner weltweit in den Regionen Storage an?

Beim PBS habe ich aber öfter einen zweiten PBS auf einem Dedicated Storageserver, der von Außen gar nicht erreichbar ist und per Pull regelmäßig sich die Backups zieht. Alles was gar nicht erreichbar ist, braucht keinen Pseudo Schutz durch das Immutable Flag (was man ja einfach entfernen kann) sondern ist wirklich sicher.

Aber jedes System muss gemangte werden, benötigt Updates, Logins. Für uns ist der große Vorteil von S3 + lock, dass niemand der Firma auf das Storage selber adm. zugreifen kann.

 

[ICantDecide]

Im Grunde ist die Unveränderbarkeit aber auch nur gegeben, solange ein Angreifer keinen Adminzugang auf Veeam oder S3 kriegt.

Nein, es gibt weder aus Veeam noch in Wasabi einen Wege die Daten zu löschen.

Compliance Mode: If your buckets are in compliance mode, deletion is not possible until the retention period expires. There are no exceptions to this rul

Wir hatten ein Bucket auf dem aus Versehen eine zu lange Retention gesetzt war. Es gab keine Möglichkeit die Daten vor dem Ablauf zu löschen. Mit phy. Zugriff auf die Infrastruktur bei Wasabi sicher, aber nicht als Kunde und nicht durch den Support.

Das ist auch der große Vorteil ggü. einem Veeam Hardend Repository, da kann man selber immer noch zu viel falsch machen und damit Zugriff ermöglichen. Und wenn es nur das Booten vom ISO ist.

 

[Falk R.]

Nein, es gibt weder aus Veeam noch in Wasabi einen Wege die Daten zu löschen.



Wir hatten ein Bucket auf dem aus Versehen eine zu lange Retention gesetzt war. Es gab keine Möglichkeit die Daten vor dem Ablauf zu löschen. Mit phy. Zugriff auf die Infrastruktur bei Wasabi sicher, aber nicht als Kunde und nicht durch den Support.

Das ist auch der große Vorteil ggü. einem Veeam Hardend Repository, da kann man selber immer noch zu viel falsch machen und damit Zugriff ermöglichen. Und wenn es nur das Booten vom ISO ist.

Ja, das ist natürlich nicht ganz so einfach.
Mit Kundenzugang kannst du nur den Bucket einfach komplett löschen, was demjenigen der Schaden anrichten möchte auch ausreicht. In deinem Fall wäre das einfachste, Copy mit richtiger Retention in zweiten Bucket und den alten löschen.

 

[Falk R.]

Ok, ich dachte das sei inzwischen voll supportet.

Kommt bestimmt bald, aber keiner weiß wann.

Ich hatte vor 7-8 Jahren schon mal Kontakt mit Ceph, aber nicht selber im direkten Support, da wurde viel geflucht. Aber vielleicht hat sich das a. geändert und b. war nicht die Schuld von Ceph.

Ceph wird immer Bedienerfreundlicher und wenn man Fehler beim Design macht, kann das super nervig sein.

Wie funktioniert dann NVMe-oF in Proxmox? Auch über LVM? Ich sehe es gibt das von verschiedenen Herstellern schon Proxmox Support, muss ich mir anschauen.

Wie iSCSI oder FC. Nur du hast keine LUN sondern Namespaces und das Multipathing ist im NVMe Protokoll mit drin.
Alles ähnlich nur schneller.

Welchen Nachteil?

Wenn du ReFS oder XFS nutzt kannst du reflink immer nur auf einem Datastore nutzen und wenn Backups auf mehrere SubRepositories verteilt sind, verlierst du die Spareffekte.

Insgesamt liegen weltweit schon >1 PB in Cloud Object Storage. Der Haupt-use-case ist auch immutabiliy.

Was genau willst du mit dem Immutability erreichen? Ransomwareschutz oder Schutz vor dumme Admins?
Ersteres kann man sicherer mit einem zweiten PBS abbilden.
Zweiteres eher schlecht, da hat Veeam die Nase vorn.

Bietet Hetzner weltweit in den Regionen Storage an?

Nürnberg, Falkenstein und Helsinki auf jeden Fall, da habe ich selbst S3 für VeeamM365.
USA und Singapur müsste es auch S3 geben, am besten mal selbst auf der HP schauen.

Aber jedes System muss gemangte werden, benötigt Updates, Logins. Für uns ist der große Vorteil von S3 + lock, dass niemand der Firma auf das Storage selber adm. zugreifen kann.

Ich baue die sekundären PBS immer komplett autark. Je nach Kunde mit automatischen Updates oder auch ohne.
Es gibt nur ausgehende Benachrichtigungen, was in der Regel ausreicht. Viele Kunden aus dem öffentlichen Sektor wollen gern 100% Datenhoheit. Anbieter wie Wasabi sind da eh raus. Hetzner geht da manchmal noch mit S3, weil die der DSGVO unterliegen sowie deutschem Recht. Manchmal haben wir ein Dedicated Storageserver mit PBS Instanz bei Hetzner um die Bedenken der Datenschutzbeauftragten auszuräumen.

 

[Johannes S]

Nürnberg, Falkenstein und Helsinki auf jeden Fall, da habe ich selbst S3 für VeeamM365.
USA und Singapur müsste es auch S3 geben, am besten mal selbst auf der HP schauen.

Wobei diese Redundanz nichts nützt, wenn man den Zugang zu Hetzner verliert. Darum würde ich das auf mehrere s3-Anbieter verteilen

 

[Falk R.]

Wobei diese Redundanz nichts nützt, wenn man den Zugang zu Hetzner verliert. Darum würde ich das auf mehrere s3-Anbieter verteilen

Ja kann man machen, ist dann wieder eine Kostenfrage. Das alle DataCenter bei Hetzner offline gehen ist unwahrscheinlich und dann ist halt das Backup nicht erreichbar.