[SOLVED] Proxmox verteiltes speichern

[showiproute]

Hallo,

ich bin gerade auf der Suche nach einer Möglichkeit für "verteiltes speichern".
Falls das bei jemanden gleich die "Ceph-Glocken" läuten: Ja, daran habe ich schon gedacht, allerdings benötige ich keine Replizierung und das ganze restliche Zauberwerk.

Als Beispiel:
Server A hat (NVMe) SSDs.
Server B hat klassische HDDs.

Ich möchte jetzt zB auf Server A eine VM betreiben, die einerseits lokalen SSD Speicher nutzt, als auch entfernten HDD Speicher einbinden kann.


Was wäre da der beste Ansatz?

 

[gmed]

Wenn es um Speicherplatz in der VM geht, dann stelle den auf B via NFS, CIFS oder als iSCSI zur Verfügung.
Wenn es darum geht, dem Server A dieses zu geben, dann verfahre genauso.
Dann kannst du auf dem Server A z.B. die Ressourcen erstellen und der VM zur verfügung stellen.
Sollen das Laufwerke werden, wird es aber langsam wegen der Bandbreite im Netz.
Ich gehe mal davon aus, dass du kein 10Gbit fährst.

 

[showiproute]

Danke für die Info - Frage: Wo genau kann ich in Proxmox diesen Storage einstellen?
Ich habe das bisher noch nicht in der GUI gefunden.
(Habe aber zwecks Migration auf meinem Server NFS via SSH installiert - danach aber wieder deinstalliert).

Ich habe aktuell als Frontend 10Gbase-T, zweier Bond.
Die Woche sollte ich noch meine 40 GbE bekommen - ebenfalls zweier Bond, weil ich auch meine NVMe ohne Bandbreitenprobleme freigeben möchte.

 

[Dunuin]

Wenn es um Speicherplatz in der VM geht, dann stelle den auf B via NFS, CIFS oder als iSCSI zur Verfügung.
Wenn es darum geht, dem Server A dieses zu geben, dann verfahre genauso.
Dann kannst du auf dem Server A z.B. die Ressourcen erstellen und der VM zur verfügung stellen.
Sollen das Laufwerke werden, wird es aber langsam wegen der Bandbreite im Netz.
Ich gehe mal davon aus, dass du kein 10Gbit fährst.

Ich mache das auch so. Server B wäre in dem Fall mein NAS mit SMB/NFS Shares und die binde ich dann auf Server A in die VMs und LXCs ein. Habe auch nur Gigabit bisher, aber da reichen mir die 118MB/s völlig aus.

Ich habe das bisher noch nicht in der GUI gefunden.

Das geht nicht per GUI. Musst du selbst per CLI einrichten. NFS sollte übrigens performanter sein, da es besser mehrere Threads nutzen kann. Bei NFS finde ich das mit der Authentifizierung nur viel nerviger. Aber wenn du eh 10/40Gbit LAN hast, dann sollte VLAN ja auch zum Isolieren des Netztes kein Problem sein.

 

[showiproute]

Ich mache das auch so. Server B wäre in dem Fall mein NAS mit SMB/NFS Shares und die binde ich dann auf Server A in die VMs und LXCs ein. Habe auch nur Gigabit bisher, aber da reichen mir die 118MB/s völlig aus.

Das geht nicht per GUI. Musst du selbst per CLI einrichten.

Prinzipiell ein guter Ansatz - mir geht's aber nach Möglichkeit auch um's horizontale skalieren.
Außerdem wäre ein NAS mit 16 Kernen & 128 GB RAM etwas "overpowered" für ein Homelab - ich würde die Ressourcen gerne für VMs nutzen.

Ich habe zwar keine HA bei mir laufen, aber meine VMs arbeiten aktuell HA.
Sprich ich habe auf Server A eine DB VM und parallel auf Server B - die haben dann einen Active/Passive Modus.

 

[gmed]

Proxmox selbst kann via WebUI keinen Storage z.B. via CIFS freigeben.
Aber da es auf Debian aufsetzt, ist es nicht schwer, diese Funktionen via Konsole nachzurüsten.
Am einfachsten wäre ein Export mit NFS.
Wobei ein kleiner Samba auch schnell aufgesetzt ist.

 

[gmed]

Prinzipiell ein guter Ansatz - mir geht's aber nach Möglichkeit auch um's horizontale skalieren.
Außerdem wäre ein NAS mit 16 Kernen & 128 GB RAM etwas "overpowered" für ein Homelab - ich würde die Ressourcen gerne für VMs nutzen.

Ich habe zwar keine HA bei mir laufen, aber meine VMs arbeiten aktuell HA.
Sprich ich habe auf Server A eine DB VM und parallel auf Server B - die haben dann einen Active/Passive Modus.

Gib auf B Platz via NFS an A weiter und dann kannst du den Rest in A machen.
Aber mit dem Nachteil, dass diese Ressourcen dann auf B nicht gleichzeitig genutzt werden können.
Ausser es geht um Storage für Backups.
Aber ich denke, dass ist klar.

 

[showiproute]

Proxmox selbst kann via WebUI keinen Storage z.B. via CIFS freigeben.
Aber da es auf Debian aufsetzt, ist es nicht schwer, diese Funktionen via Konsole nachzurüsten.
Am einfachsten wäre ein Export mit NFS.
Wobei ein kleiner Samba auch schnell aufgesetzt ist.

Naja wenn man schon unter Linux ist, dann sollte man auch bei NFS bleiben ;-)
Warum CIFS/SMB, wenn's simpler auch geht?

Ich frage mich nur: Wenn ich auf Server B (nennen wir ihn der Einfachheit Storage Server) Speicher via NFS freigebe und den auf dem anderen Server (nennen wir ihn VM-Server) mounte, dann verzichte ich ja hier den Speicher beim Storage Server?
Oder ich kann auf dem Storage-Server die eigenen HDDs über das NFS-Protokoll mounten, dass aber wieder einen Overhead verursacht?!


Gibt es hier nicht einfach die Möglichkeit, dass ich in Proxmox direkt sage: "Dieses lokale lvm-thin Gerät gib bitte an den anderen Server frei."?

 

[Dunuin]

Oder ich kann auf dem Storage-Server die eigenen HDDs über das NFS-Protokoll mounten, dass aber wieder einen Overhead verursacht?!

Wenn VMs auf beiden Servern laufen dann solltest du auch in allen VMs (auch auf dem Storage-Server) die NFS-Shares einbinden können. Ist dann aber natürlich mehr Overhead als wenn du einfach eine lokale virtuelle Festplatte nutzen würdest.

 

[showiproute]

Wäre es theoretisch möglich bzw. auch praktisch sinnvoll Ceph einzurichten?
Ich hätte zwar nur zwei Nodes, könnte aber eine Split-Brain-Situation mittels eines Raspberry Pis verhindern?!

 

[showiproute]

Wenn das keinen Sinn macht, dann bleibe ich wohl bei einer simplen "jeder hat seinen eigenen Storage" Lösung.

 

[gmed]

Im Prinzip spricht nichts dagegen ein NFS-Share auf dem VM-Server vom Storage-Server einzubinden und parallel dazu das gleiche Verzeichnis auf dem Storage-Server lokal einzubinden.
Dann können beide Server dort z.B. Laufwerke für VM's erstellen.
Halt nur nicht in THIN-LVM's sondern klassisch als QCOW Dateien oder auch RAW.

Über den Weg können beide Maschinen sich den Storage teilen und gemeinsam nutzen. Qcow ist durchaus performant und kann gute Dienste leisten.
RAW hat halt den Nachteil, dass immer viel Platz gebraucht wird, auch wenn in der VM eigentlich der Bedarf nicht so groß ist.

Muss es LVM sein, bliebe noch iSCSI, was aber den Nachteil hat, dass dann der Platz exklusiv für den VM-Server ist.

 

[showiproute]

@gmed Welches Filesystem würdest du da empfehlen? ZFS?
Und das ganze dann via NFS teilen?