Empfehlung / Erfahrung Proxmox auf Notebook

[frogger13]

Moin...

Ich habe gerade ein paar Stunden damit verbracht, auf einem Lenovo T480 Proxmox zu installieren. Die Grundinstallation hat eigentlich ohne Probleme geklappt, aber ich habe einen USB2Lan Adapter, den ich unbedingt haben wollte. Das habe ich inzwischen mit Hilfe von Goolge und Chatgpt hinbekommen. Netzwerkkarten laufen in Bond und Ausfall Tests da klappen. Dann habe ich ein paar Energieoptionen umgesetzt, die mir Chatgpt empfohlen hat und die Einstellungen so angepasst, dass beim Schließen des Deckels das interne Display ausgeht OHNE das das NB runterfährt. Also für mich erstmal alles OK.

Nun habe ich die Chance noch weitere gleiche Modell des NB zu bekommen und wollte mal hier nach Erfahrungen fragen, ob es Sinn macht, z.B. 3 NB als Cluster zu benutzen für laufende Dienste wie PiHole, Vaultwarden, Opnsense, Home Assistant und noch ein paar nützliche Tools. Storage auf allen NB wären erstmal "nur" 256gb, aber da kann man ja noch dran schrauben. Mir ist schon klar, dass das keine HA fähige Server Hardware ist und total sicher schon mal gar nicht, aber für das kleine Homelab wäre das doch OK, oder ?

Meinungen und / oder Tipps wären willkommen... Danke !

Gruß
Reiner

 

[ThoSo]

Ich finde die Idee ja mit einem Notebook Cluster lustig. Alle wichtigen Komponenten an Ort und Stelle, Monitor, Tastatur, akkuversorgung bei Stromausfall. Das ist ja ein All-In. Aber rumstehen wollte ich das nicht haben. Könnte man sogar übereinander stapeln.
Aber wenn die einem für Nix in die Händefallen ok, warum nicht zum Proxmox spielen und testen nutzen

 

[Johannes S]

Wenn man nicht erwartet, dass man das gleichzeitig als nirmales Notebook samt Desktop benutzen kann, kann man das machen, beaonders wenn man kostenlos dran kommt. Sonst gibt es geeignetere Hardware, auch gebraucht.
Cluster über WLAN sollte man lassen, wenn es überhaupt funktioniert

 

[frogger13]

danke schon mal für die Antworten.... und nein, rumstehen will ich die auch nicht. Ich habe einen kleinen Abstellraum, in dem auch schon andere Hardware steht (Switch, Server, NAS, usw.) und da würde ich die mit Hilfe eines kleinen, selbstgebautem Regal deponieren.
Und sie wären auch nicht als NB mit Desktop gedacht, sondern als Homelab Hardware. Da umsonst, ist es auch günstiger als jeden vermeintlich geeignete Hardware. Achja.. und Wlan mache ich natürlich nicht. Dafür habe ich halt den USB2Lan Adapter gebraucht.

 

[Johannes S]

Wenn deine einzige Netzwerkkarte der USB-Adapter ist, solltest du auf jeden Fall die Finger von Clustern lassen, da es für Cluster mindestens zwei Netzwerkkarten braucht, ein Netzwerk für Corosync-Cluster-Kommunikation und eine für den Rest.

 

[frogger13]

nein.. es sind schon 2 -> einmal onboard und einmal usb

 

[jim_os]

Moin

Da umsonst, ist es auch günstiger als jeden vermeintlich geeignete Hardware.

Wenn Du die Kisten geschenkt bekommst warum dann nicht. Notebooks sind auch nichts anderes wie ein PC und wenn Du a) für alle verbauten Komponenten die passenden Treiber hast und b) sich die div. Stromsparfunktionen die ein NB üblicherweise mehr hat als ein PC so einstellt bekommst das die einen durchgehenden Proxmox Betrieb nicht in die Quere kommen - was Du ja scheinbar schon erfolgreich umgesetzt hast - dann spricht nichts gegen ein NB für Proxmox.

Ich weiß jetzt ja nicht um welche T480 Modelle es da genau geht, aber die ältesten davon haben wohl noch eine Core CPU der 5-ten Gen. (Haswell) - die für Proxmox ja auch schon ausreichen sollte und bei dem Thema RAM und SSD/NVMe musst Du dann mal schauen was geht. Einer Home Assistant VM solltest Du z.B. am besten 4GB RAM geben. Proxmox selber dann am besten auch 4GB und somit wärst nur nur für die beiden Sachen schon bei 8GB RAM. Anm.: Ja z.B. nur 2GB für Proxmox wäre auch möglich, aber gleich 4GB wären halt m.M.n. sinnvoller. D.h. bei den Dingen die Du in #1 aufgezählt hast musst Du halt schauen wie viel RAM dann in dem NB möglich sind und was sich damit dann am Ende umsetzen lässt. Wie üblich gilt für einen Hypervisor und eine Virtualisierung: RAM kann man nie genug haben.

Bei den USB NICs, von denen ich hier an div. Kisten auch einige seit Jahren im Einsatz habe, musst Du halt schauen ob die wirklich 24/7 stabil laufen. In geschätzt 95 % der Fälle haben die ja alle einen Realtek Chip verbaut und manche Modelle "zicken" dann durchaus auch mal herum und verlieren dann und wann einfach mal kurzfristig die LAN-Verbindung. Aber das hängt halt von dem verwendeten Chip und den jeweiligen Linux Treibern ab.

VG Jim

 

[ThoSo]

Mit den Kisten kann man durchaus etwas anfangen. Habe mir gerade hier einmal die technischen Daten aufgerufen : https://thinkwiki.de/T480
8Gb Modul wird bei ebay so um die 35 Euro gehandelt
Dann geht wohl M.2 80mm PCIe NVMe SSD, PCIe 3.0, 16Gb/s und eine 2,5" SSD/HDD

Wenn's nicht hinhaut - Linux Desktop drauf und einem Guten Zweck zuführen

 

[dokkenrolf]

War doppelt...

 

[jim_os]

@dokkenrolf Der TE hatte ja schon geschrieben:

Dann habe ich ein paar Energieoptionen umgesetzt, die mir Chatgpt empfohlen hat und die Einstellungen so angepasst, dass beim Schließen des Deckels das interne Display ausgeht OHNE das das NB runterfährt.

Darum hatte ich ja auch geschrieben:

b) sich die div. Stromsparfunktionen die ein NB üblicherweise mehr hat als ein PC so einstellt bekommst das die einen durchgehenden Proxmox Betrieb nicht in die Quere kommen - was Du ja scheinbar schon erfolgreich umgesetzt hast

Core CPU der 5-ten Gen. (Haswell)

Lt. dem Link von @ThoSo kommt bei den T480 Kisten ja bereits eine Kaby Lake CPU zum Einsatz,


was dann für Proxmox mehr als ausreichend wäre.

PS: Falls Du noch mehr von den Teilen geschenkt bekommen solltest würde ich Dir davon auch eins/welche (für "einen schmalen Taler") abnehmen.

VG Jim

 

[Bu66as]

Der Punkt mit dem Bond stört mich bei drei Nodes am meisten: wenn beide NICs im Bond hängen, hat Corosync keinen eigenen Weg mehr. Und Corosync ist echt zickig was Jitter angeht, wenn der USB-Adapter mal kurz die Verbindung verliert (Realtek macht das gern), flappt dir das Quorum und im dummen Fall stehen die Nodes. Ich würd den Bond auflösen und die onboard-NIC als link0 nur für Corosync nehmen, den USB-Adapter dann für VM- und Mgmt-Traffic. Ein sauber getrenntes Cluster-Netz bringt dir da mehr als Bond-Redundanz auf einem Pfad.

Was ich mir auch nochmal überlegen würde: OPNsense als VM im Cluster. Wenn die auf dem Node liegt, den du gerade rebootest, ist nicht nur dein Netz weg, sondern auch die Corosync-Kommunikation der anderen beiden. Also am besten so bauen, dass Corosync nie durch die Firewall-VM muss.

Ansonsten passt das schon, 3 Nodes heißt Quorum ohne QDevice, und der Akku als Mini-USV ist ein netter Nebeneffekt. Falls du später Richtung HA mit ZFS-Replikation willst, werden 256G aber schnell eng, da würd ich direkt schauen was an NVMe reinpasst.

 

[ThoSo]

War doppelt...

und jetzt sind beide weg...?

 

[ThoSo]

PS: Falls Du noch mehr von den Teilen geschenkt bekommen solltest würde ich Dir davon auch eins/welche (für "einen schmalen Taler") abnehmen.

VG Jim

@jim_os Willst einen Notebook Cluster bauen ?
Dazu könnte @frogger13 uns bitte einmal die techn. Daten (CPU, RAM, Festspeicher, Auflösung) seines Modelles nennen - aus reiner, informativer Neugierde versteht sich.
Ich sage vorab schon mal Danke.

 

[frogger13]

nochmals vielen Dank für die Antworten....

und euch leider den Wind aus den Segeln zu nehmen: ich habe leider nicht endlos viele NB. Das was ich für den Test hier gerade benutze ist mein altes Arbeitsnotebook, was ich übernommen habe. Die anderen NB sind bei uns in der EDV frei verfügbar und "über". Es sind 2 Testgeräte, die ich über die letzten Jahre benutzt habe. Ich habe zu Hause schon genug Anfragen, ob ich sie nicht abgeben will Aber da ich immer schon mal mit 3 baugleichen Geräten in Richtung Proxmox Cluster experimentieren wollte, werde ich die NB erstmal für mich "abzweigen".

Die Hardware ist übrigens ein Intel(R) Core(TM) i5-7300U CPU @ 2.60GHz mit 8GB RAM (mein Testgerät hat 24GB) und 256GB NVME SSD. Ich habe aber auch noch 2 NVME SSDs rumliegen und werden auch nochmal Kleinanzeigen durchsuchen für die ein oder andere Hardware.

Das mit der USB Netzwerkkarte habe ich schon gelesen und leider auch am eigenen Leib erfahren (ich habe mal mit einem Lenovo Thinkcentre Desktop experimentiert auf AMD Basis und den gleichen USB Adaptern - die habe da nicht zuverlässig funktioniert). Alle die Probleme habe ich bisher nicht. Und ob ich einen echten HA Cluster machen oder nur mehrere Server zusammen hänge, weiss ich auch noch nicht.

Zum Thema Energie Versorgung hatte mir Chatgpt vorschlagen, das Energie Schema auf powersave gestellt und die Akkus werden auch genutzt beim Ausfall von Power (bis 40% Rest)

Wenn ich dran denke kann ich auch berichten, wenn ich ein weiteres NB dazu bringen, was da geht....

Gruß
Reiner

PS: Ach ich vergaß: Opnsense ist da tatsächlich mal geplant, aber ich werde das auf irgendwas anderes auslagern.. mal schauen was ich da finde.

 

[jim_os]

@jim_os Willst einen Notebook Cluster bauen ?

Irgendetwas würde mir dann schon einfallen was ich damit anstellen könnte.

ich habe leider nicht endlos viele NB.

Das war mir schon klar und mein PS: war auch eher als Spaß gedacht.

Das mit der USB Netzwerkkarte habe ich schon gelesen

Wie gesagt habe ich hier bereits seit ein paar Jahren Realtek 10/100/1G/2.5G USB NICs im Einsatz. Teils No Name Teile für < € 20 und eine Asus USB C2500, weil ich von der wusste das sie an meinen Synology NAS einwandfrei funktioniert und keinerlei Probleme macht. Was auch der Fall ist.

Ob eine Realtek USB NIC ggf. "herumzickt" hängt u.a. halt von dem Chip, desses Rev. und den genutzten Treibern ab. Als Beispiel: Eine meiner No Name Realtek USB NICs steckt hier auch an meinem Arbeits-PC auf dem Mint läuft. Vor ein - zwei Jahren kam es bei der damals installierten Mint Version X mit Kernel Y, immer mal wieder vor das die USB NIC kurz die Netzwerkverbindung verloren hat. Das kam bei einem 8-Std.-Tag dann vielleicht ein oder zweimal vor. Dieser Effekt trat dann über Monate hinweg auf und irgendwann scheint es dann bei Mint wohl mal ein Treiber-Update - oder was auch immer - gegeben zu haben und seit dem tritt das Problem nicht mehr auf und die No Name Realtek USB NIC läuft 24/7 stabil. Aktuell nutzt Mint irgendeinen R8152 Treiber für die USB NIC.

Die gleiche No Name USB NIC habe ich auch noch an meiner Proxmox Kiste hier angeschlossen, aber da darin u.a. auch noch eine PCI 2.5G NIC steckt habe ich die USB NIC aktuell nicht in Verwendung. Als ich sie mal vor vielleicht einen oder zwei Jahren in Verwendung hatte hat die damals unter Proxmox das gleiche "zickige" Verhalten an den Tag gelegt und immer mal wieder kurz die Verbindung verloren. Ob das aber aktuell auch noch der Fall wäre, oder ggf. auch schon mit irgendwelchen Proxmox Updates gefixt wurde, kann ich halt nicht sagen.

Ach ja - das NB mit der i5-7300U und 24GB RAM ist sicherlich gut für Proxmox geeignet und bei der (NVMe) SSD musst Du dann halt mal schauen was Du machst. Wenn dann kauf aber - auch wenn die Preise ja leider schon länger jenseits von Gut und Böse sind - nicht irgendwie das "Billigste" vom Billigen. M.M.n. muss es nicht unbedingt die "Enterprise-Klasse" sein, aber achte zumindest auf das Thema TBW.

VG Jim

 

[Bu66as]

powersave als Governor würd ich auf den Cluster-Nodes nochmal überdenken. Die tiefen C-States kosten Aufwach-Latenz und genau darauf reagiert Corosync empfindlich, du kriegst dann manchmal Retransmits oder Token-Timeouts obwohl netzseitig alles sauber ist. Bin mir bei nem T480 nicht sicher wie stark das durchschlägt, aber schedutil statt powersave tut im Homelab nicht weh und spart real fast dasselbe. Falls du bei powersave bleibst, schau einfach mal mit journalctl -u corosync ob da "Retransmit"-Zeilen auftauchen.

Zum Akku noch: bis 40% durchhalten ist nett, aber was passiert danach? Wenn nichts definiert ist, läuft die Kiste bis zum harten Aus und du hast bei drei Nodes gleichzeitig unsaubere VM-Disks. Ein Mini-Skript per Cron, das /sys/class/power_supply/BAT*/capacity liest und bei ~25-30% ein geordnetes shutdown triggert, reicht da völlig. Reihenfolge vorher einmal durchdenken, Gäste sollten vor dem Host weg sein.

 

[maxim.webster]

Wenn deine einzige Netzwerkkarte der USB-Adapter ist, solltest du auf jeden Fall die Finger von Clustern lassen, da es für Cluster mindestens zwei Netzwerkkarten braucht, ein Netzwerk für Corosync-Cluster-Kommunikation und eine für den Rest.

Ist vielleicht die Empfehlung, aber geht auch ohne bzw. nur mit einem NIC

 

[Johannes S]

Kommt drauf an, was man unter "gehen" versteht. Die Anforderung kommt daher, dass corosync empfindlich auf Latenzen regiert. Ist die einzige Netzwerkleitung also mit Migrations-, Replikations- oder sonstigen Datenverkehr ausgelastet gerät corosync in einen Zustand, dass es glaubt, dass der Cluster nicht mehr ok ist und dann gibt es Probleme. Die Empfehlung der Doku ( dezidiertes Netzwerk für corosync plus zusätzlich andere vorhandene Netze als Fallback ) steht da ja nicht zum Spass, sondern damit man ein stables System erhält. Mir ist klar, dass für viele Leute "Homelab" ein Synonym für "kaputt spielen" ist, ich interstellar trotzdem ( gerade bei Newbies ) erstmal das Gegenteil Lernen durch Schmerzen mag nun mal nicht jede/r