Proxmox Spielwiese (laut gedacht)

[shooter40k]

Hallo zusammen, ich habe eine kleine Proxmox Umgebung stehen (was noch so rum flog oder sehr günstig zu haben war) .Vorhanden sind:

• Intel Nuc. i5 mit 8 GB RAM und m2 PCie SSD (128 GB)
• Intel Nuc. i5 mit 8 GB RAM und m2 PCie SSD (64 GB)
• Intel Nuc i3 mit 6 GB RAM und 64 GB m2 PCie SSD.

Bei den zwei i5-Nucs kann ich eine zusätzliche SSD oder HDD einbauen um diese für CEPH oder ZFS zu nutzen, aber beim i3-Nuc geht das nicht, da ist es nur das kleine Gehäuse, ohne zusätzliche 2,5 "Bay, ist.

Ich wüsste gern von Euch wie ich es am einfachsten / am besten umsetzen kann, "Best Practice" so zu sagen.

Ist nur lokaler Speicher möglich?
Wie sieht es mit HA und lokalem Speicher aus? Möglich? Sinnvoll?

Ich möchte mit möglichst wenig Einsatz (in Form von Geld und Arbeit) eine möglichst hohe Funktion aus der Konstellation heraus holen.

Gruß,

Flo

 

[ph0x]

Mit nur einer NIC wird es wohl bei einer Spielerei bleiben. Ein Cluster sollte allein für Corosync ein eigenes Netz bekommen, der Storage nach Möglichkeit auch und für HA das ganze nochmal redundant.

 

[shooter40k]

Da hast Du natürlich vollkommen recht, es geht auch ehr darum sich mit der Technologie weiter zu beschäftigen und ausseinander zu setzen.

Zusätzlich werden meine Produktivsysteme (IOBroker, Raspberrymatic, Pihole, UCS) dorthin umziehen wenn es läuft.

Das alles ist natürlich mit Kanonen auf ganz kleine Spatzen geschossen, das ist mir klar. Aber wie gesagt, es geht da ehr um den Spieltrieb...

Und da es technisch problemlos möglich ist das alles über eine NIC laufen zu lassen würde ich das auch einfach tun.

Zunächst würde ich dann erstmal das Cluster einrichten.

Mein Problem ist immer noch das ich in einen NUC keine zweite HDD rein bekomme...also entweder mit einer HDD und Partitionen arbeiten (Hab ich mir schon angeshen, ist ein riesiges Gewürge am System, will ich ehr nicht, habe ich auch nicht komplett verstanden) oder aber ....?

Benötige ich denn überhaupt in allen drei Rechnern eine zweite Platte für CEPH?

Es gibt ja auch Konstellationen in denen das Quorum durch einen Raspi gestellt wird...

 

[shooter40k]

Eine Lösung für das Platzproblem habe ich inzwischen gefunden:
https://www.thingiverse.com/thing:3433301

Das heißt ich baue das Ganze jetzt mit jeweils einer zusätzlichen sata-SSD für den CEPH Storage auf.

 

[ph0x]

Zusätzlich werden meine Produktivsysteme (IOBroker, Raspberrymatic, Pihole, UCS) dorthin umziehen wenn es läuft.

Das ist nicht so ganz die Definition von Spielwiese,oder?

Und da es technisch problemlos möglich ist das alles über eine NIC laufen zu lassen würde ich das auch einfach tun.

"Problemlos" ist ein starkes Wort ... Corosync und Storage auf demselben Interface, überleg dir das gut. Vor allem, wenn du das produktiv einsetzen willst.

Benötige ich denn überhaupt in allen drei Rechnern eine zweite Platte für CEPH?

Grundsätzlich brauchst du überhaupt keinen Proxmox-Node für Ceph, es ist eher Convenience. Und drei ist eigentlich auch das absolute Minimum.

Es gibt ja auch Konstellationen in denen das Quorum durch einen Raspi gestellt wird...

Ja, das QDevice. Ob das für Ceph auch funktioniert, entzieht sich allerdings meiner Kenntnis.

 

[shooter40k]

Wenn nicht Ceph, was wäre dann einen sinnvolle Alternative...darum bin ich ja hier um heraus zu finden was sinnvoll und praktikabel ist...

Die Produktiv System ziehen erst um wenn alles so läuft wie gedacht...da sie im Moment nur über ein Backup gesichert sind wäre der "Umzug" für die Service-Qualität kein negativer Einfluss....

 

[aaron]

Wenn nicht Ceph, was wäre dann einen sinnvolle Alternative

Wenn es egal ist, ob ein paar Daten im allerschlimmsten Fall weg sind, kann die Replication (braucht ZFS) eine Lösung sein. Man kann die Replication auch zwischen 3 Nodes einrichten. Wenn man Sie jede Minute laufen lässt, sind im schlimmsten Fall nur die Daten dieser Minute weg.

 

[shooter40k]

Darüber hatte ich schon mal nach gedacht, aber wusste es selber nicht richtig einzuordnen...Voraussetzung (2. Platte) ist ja scheinbar die Gleiche...wie sieht es mit dem RAM aus...viel mehr als da ist geht nicht rein...

 

[aaron]

Voraussetzung (2. Platte) ist ja scheinbar die Gleiche

Jain, du kannst PVE auch auf ZFS installieren und die VMs dann auf der Boot Disk liegen haben.

RAM hilft, um Lesezugriffe auf die Festplatte zu reduzieren. Man kann ZFS aber auch im RAM deutlich limitieren. Die Performance wird halt nicht mehr so toll sein.

 

[shooter40k]

Dann könnte das ja wirklich "meine" Lösung sein...ich werde es so ausprobieren.

 

[sherminator]

Hey Flo,

ich würde an Deiner Stelle mit den beiden stärkeren NUCs einen "Haupt"-Node machen und auf den zweiten mit Storage Replication spielen.
Wie hier bereits ausgeführt wurde, braucht es auch meiner Einschätzung nach andere Hardware, um Freude an einem PVE/Ceph-Cluster zu haben.

Viel Spaß und liebe Grüße
Stephan

 

[shooter40k]

Hallo Stephan, danke ich werde es ausprobieren!

Ich habe noch eine Verständnisfrage:
In der von Dir beschriebenen Konstellation, was macht da der 3. Node? Wenn ich es richtig verstanden habe dann benötige ich eigentlich nur die zwei I5. Oder ist es in dieser Konstellation trotzdem sinnvoll den 3. Node als Quorum zu nutzen?

Danke!

 

[aaron]

Bezüglich Quorum gibt es mehrere Varianten. Wenn du einen 2-Node Cluster hast und noch eine dritte Stimme brauchst um einen quoraten Cluster zu haben, wenn einer der zwei Nodes ausgeschaltet ist, kannst du entweder eine dritte PVE Node haben oder das QDevice verwenden. Dabei wird ein Dienst (corosync-qnetd) auf einer dritten Maschine installiert, die kein volles PVE ist und der corosync-qdevice Dienst wird auf den PVE Nodes installiert. Mehr dazu gibts in der Dokumentation: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_corosync_external_vote_support

Alternativ wenn du alle drei verwenden willst, kannst du wie gesagt auch eine 3 Wege Replication zwischen allen 3 Nodes einrichten. Aber zum ersten Ausprobieren würde ich auch erstmal einfacher anfangen und nur zwischen zwei die Replication einrichten. Wenn du dich damit soweit wohlfühlst, kannst du dann die Replication zwischen den zwei bestehenden und der dritten Node einrichten.

 

[shooter40k]

Ok, verstanden!
Danke Aaron!