Proxmox Hardware Intel Nuc

[goifalracer]

Hallo,

Ich hätte Fragen wegen der richtigen Hardware für meine Anwendung.
Vielleicht können wir hier erfahrene User weiterhelfen.

Vorhaben.

3-4 Ubuntu Desktop VM,s auf Proxmox.
2 davon sollen dauerhaft im Betrieb sein die anderen sind zum testen.

Es geht Hauptsächlich um Homeautomation.

Ich hätte jetzt einen Intel NUC Pro 11 oder 12 ins Auge gefasst.

Die Frage ist nur, reicht hier ein i3 mit 4 Kernen oder muss ein i5 mit 8 Kernen her? Preislich ist da schon ein enormer unterschied.

RAM hätte ich dem Nuc 32 GB gegönnt.
Und natürlich eine schnelle M.2.

Was meint ihr dazu?

Danke schon mal....

 

[noel.]

Hallo,

Ein paar Dinge: ich habe keine i3 NUCs gefunden mit 4 Kernen, ich glaube du meinst 2 Kerne und 4 Threads bei den NUC Pro 11. Die NUC pro 12er Serie hat schon die Alder lake CPUs, die performance und efficiency Kerne hat (die performance cores haben eine höhere Taktrate und 2 threads, sind also stärker, wie der Name suggeriert).
Ich würde an deiner Stelle auf jeden Fall eine NUC 12 holen. Ob du eine i3 oder i5 brauchst kommt wohl ein wenig auf deinen genaueren usecase an.
Wenn die zwei Ubuntu VM, die permanent laufen, nur ein paar python scripts laufen sollen und keinen Xserver am rennen haben, dann reicht vermutlich eine i3. Wenn du z.B. in einer Ubuntu VM jellyfin hast und in der anderen Nextcloud, dann würde ich, wenn ich du wäre, eine i5 kaufen und die performance cores pinnen[1].

32 GB ram klingt gut.

wegen der M.2: je nachdem was dein workload ist, ob du viele Datenbankoperationen hast, wie wichtig dir deine Daten sind und wie(/ob) du Backups machst, solltest du dir überlegen, eine enterprise nvme ssd zu kaufen, da die viel bessere Lebenserwartungen haben. Der Nachteil ist halt, dass die um einiges teurer sind. Du kannst sie aber auch gebraucht und geprüft billiger kriegen.
Zudem kannst du auch eine weiter ssd einbauen für Backups (z.B. mit Proxmox Backup Server[2]), oder noch besser: die Backups auf eine andere Maschine machen

LG

---

[1]: https://forum.proxmox.com/threads/i9-13900k-performance-cores-p-cores-fest-einer-vm-zuweisen.119616/
[2]: https://pbs.proxmox.com/docs/

 

[goifalracer]

Hi, ja genau. Ich meine die NUC 12 Kisten.

Das was da laufen soll läuft auf einem Pi4 mit 4 GB RAM aktuell zufriedenstellend.
Ich will nur von dem PI zeugs weg und mit VM,s flexibler sein.

Es soll auf alle Fälle ein NUC 12 mit i3 oder i5 werden. Der i3 reicht glaube ich leicht.

Ich möchte nur eine ssd verbauen. Vom zfs Raid1 halte ich nicht so viel, weil mir genau so das Board sterben kann. Dann hilft das Raid auch nicht viel.

Ich möchte noch einen alten NUC 8 als Cold-StandBy verwenden, bereithalten.
Darauf soll proxmox installiert werden und darauf bei Bedarf ein Backup zurückgespielt werden.

Die Backups des NUCs mit Produktiv System möchte ich per Netzwerk auf ein Qnap speichern, das sollte, denke ich mit proxmox alles möglich sein.

Wenn mein Nuc dann tatsächlich mal stirbt, sollte der Cold-Stand By in 20min am laufen sein....

Ist mein Vorhaben so sinnvoll?

 

[Falk R.]

Falls dein zweiter NUC nicht ganz Cold sein sollte, kannst du ja auch ZFS Replikation nutzen.

 

[noel.]

Ich möchte nur eine ssd verbauen. Vom zfs Raid1 halte ich nicht so viel, weil mir genau so das Board sterben kann. Dann hilft das Raid auch nicht viel.

Da steh ich jetzt ein bisschen an. Wenn dein Board kaputt geht und die ssd(s) noch gehn, dann kannst du ja einfach einen neuen computer kaufen und die ssd(s) dort einbauen (gegebenenfalls das raid wiederherstellen). Plus, sofern du nicht eine Tasse Kaffee auf deinen server gießt, wird vermutlich die Festplatte früher kaputtgehen als das MOBO/die CPU.

Aber insgesamt klingt das Setup gut für mich

 

[goifalracer]

@ noel.
Ja das stimmt. Aber die Kiste steht erstmal und ich muss hand an legen.
Es ist trotzdem keine hundertprozentige Verfügbarkeit.
Besser als eine einzige SSD ist ein Raid 1 aber allemal.

@Falk R.
Meinst du damit die 2 NUC, aktiv in nem Cluster betreiben?

 

[Falk R.]

@Falk R.
Meinst du damit die 2 NUC, aktiv in nem Cluster betreiben?

Entweder im Cluster, dann aber mit quorum Device (geht auch ein Pi) oder ohne Cluster die ZFS Replika per CLI.

 

[goifalracer]

Wenn ich den zweiten Nuc habe dann muss ich das mal testen...
Danke für die Tipps

 

[Dunuin]

Ich möchte nur eine ssd verbauen. Vom zfs Raid1 halte ich nicht so viel, weil mir genau so das Board sterben kann. Dann hilft das Raid auch nicht viel.

Mit einem ZFS Mirror kann ZFS aber Datenkorruption erkennen und auch selbst reparieren. Hast du kein Raid mit Redundanz sagt dir ZFS nur "Hallo, Datei XYZ ist kaputt, kann aber nichts machen, ich hoffe du hast Backups von vor 30 Tagen".
Und nutzt du kein ZFS bekommst du oft erst garnicht mit, dass dir da Dateien kaputt gehen.

 

[goifalracer]

@Dunuin
Du hast recht, nur habe ich bis jetzt maximal mit normalen Servern HP usw. diese sind aber nicht auf dem Level von Clustern aufgebaut und VMware ein bisschen Erfahrung in Sachen Virtualisierung.
Über Proxmox habe ich bis dato nur angelesenes Wissen.
Ich möchte es aber bald testen.
Das Problem am NUC ist, die M.2 Slots sind nicht beide von der selben Performance, ich muss mal schauen, weil ein Raid1 stellt sich ja dann auf die Datenrate des langsamsten Slots ein, dass wollte ich nicht. Mal schauen wenn der zweite mindestens auf SATA 6GB ist dann ok.

Gibts hier aussagekräfte Threads oder sogar kleine Howtow,s wie man so ein RAID1 im Cluster aufsetzt?
Das würde mir den Einstieg erleichtern.

 

[noel.]

Gibts hier aussagekräfte Threads oder sogar kleine Howtow,s wie man so ein RAID1 im Cluster aufsetzt?
Das würde mir den Einstieg erleichtern.

es gibt sogar einen Wiki eintrag [1]. Ansonsten ist DuckDuckGo/Ecosia/Google dein Freund

---

[1]: https://pve.proxmox.com/wiki/ZFS_on_Linux#_zfs_administration

 

[goifalracer]

So jetzt habe ich mir mal PVE auf einem ZFS 1 Raid installiert.
Ubuntu Desktop als VM Installiert, Qnap als Storage eingestellt und ein Full- Backup erstellt.

Dann habe ich das Disaster mal nachgesetllt.
Proxmox neu installiert, Storage eingerichtet, dann wollte ich das VM- Backup zurückspielen, die Vm konnte ich aber dann nicht starten.
Folgender Fehler wurde geworfen:

TASK ERROR: volume 'local:iso/ubuntu-22.04.2-desktop-amd64.iso' does not exist
Wenn ich die ISO eingebunden habe, läuft es ja einwandfrei.
Mache ich da was falsch oder muss ich die ISO immer vorhalten????

 

[Dunuin]

Nach der Installation wirft man die ISO halt einfach wieder aus dem virtuellen CD-Laufwerk aus. Mache ich vorsorglich immer so, selbst wenn die ISO noch existiert, dass da die VM später nicht das starten verweigern kann, weil z.B. mal der SMB Share mit den ISOs offline ist. Also im Hardware Tab der VM auf das CD/DVD Laufwerk klicken, dann "edit" Button, dann "Do not use any media" wählen. Dann startet die VM auch wenn keine ISO vorhanden ist.

 

[goifalracer]

Danke, aller Anfang ist schwer.
ISO rausgeworfen. Backup gemacht.
PVE neu installiert, Storage rein und wiederherstellen.
Vm läuft.

Proxmox scheint geil zu sein. Ich sehe für meine Anwendungen riesiges Potenzial.

 

[goifalracer]

Jetzt hätte ich noch eine Frage:
In meine bestehende Umgebung, NUCi5 mit 8 GB RAM, läuft eine VM, die hat 2 Cores und 4 GB RAM.

Jetzt habe ich da mal meine HomeAutomation Software drauf installiert, alles kein Problem.
Diese Software hat auch eine Datenbank (Archiv) für geloggte Variablen, diese Daten kann man reaggregiere, dass habe ich mal gemacht.
Unter diesem Vorgang ging dann die die RAM Auslastung der VM auf 90% hoch und CPU 100 %.

Dann habe ich das mit der Re-Aggregation nochmal durchgeführt und habe mir parallel dazu die Ausgabe in HTOP angeschaut, hier gingen nur die beiden CPU Cores auf 100% hoch, der RAM begnügte sich bei 1 GB.

Nach der Re-Aggregation geht auch die Auslastung des RMA,s in der PVE Gui nicht runter bleibt bei 90 %, obwohl HTOP unter 1 GB anzeigt.
Nach einem Neustart von PVE ist der RAM in der GUI wieder bei 50%, es laufen das dann auch keine anderen Prozesse.

Habe ich da was falsch gemacht oder verstehe ich da was falsch?

Soweit ich weiß, hält Linux im Gegensatz zu Windows viel mehr im RAM vor, somit wäre das ein evtl. Grund.

Danke.

 

[Dunuin]

Ob und wieviel RAM eine VM wieder an den PVE Host zurückgibt hängt von vielen Faktoren ab und ist kaum überschaubar. Jedenfalls wohl zu komplex, als dass das Proxmox Team da auf meine Fragen genauer eingehen wollte.

Generell kann man sagen: Teilst du einer VM 4GB RAM zu, dann solltest du auch davon ausgehen, dass die 4GB RAM halt weg sind. RAM Overprovisioning sollte man nicht betreiben, wenn man nicht will, dass da PVE auch mal eine VM killt, wenn der RAM eng wird. Also den Gastsystemen nur so wenig RAM wie nötig geben und wenn dann trotzdem RAM eng wird, dann halt mehr RAM kaufen. Ich bin hier jetzt im Homelab z.B. schon bei rund 160GB von 192GB RAM. Für die meisten wohl schon ziemlich überdimensioniert, aber mit 8GB bist du da ja echt ganz am unteren Rand. Das haben ja inzwischen selbst Raspberry Pis.

Außerdem nicht vergessen, dass da htop den für Cache benutzen RAM als frei anzeigt, also so, wie es Windows z.B. auch macht, obwohl das eher "available" RAM sein sollte. Willst du wirklich wissen wieviel RAM was braucht, dann guck dir free -h an und guck da, was als "free" angezeigt wird. Oder wenn du den RAM einer VM sehen willst guckt dir mit htop den RAM-Verbrauch des KVM-Prozesses an, welcher deine VM virtualisiert. RAM-VErbrauch des KVM-Prozesses kannst du der "RES" Spalte entnehmen.

 

[goifalracer]

Wenn ich meiner VM 4 Gb gönne, daass mir dann von den 8 GB nur noch 4 GB für den Host über bleiben, verstehe ich.
Aber was ich nicht verstehe ist:
Wenn meine VM die 4GB wegen laufender Prozesse aufgebraucht hat, warum wird dann RAM vom Host in Anspruch genommen?
Das ist nämlich bei mir der Fall.
Das Verhalten kenne ich von VM Ware nicht. Wen hier der Gast zu wenig RAm hat, dann hat er Pech gehabt.

Das zeigt meine VM an
Anscheinend schluckt hier der cache das meiste.


Das ist der Hoster:


Werden die Ressourchen für den Cache vom RAM des Hosts geklaut??

 

[Dunuin]

Wenn meine VM die 4GB wegen laufender Prozesse aufgebraucht hat, warum wird dann RAM vom Host in Anspruch genommen?

Die 4GB sind nur der virtuelle RAM innerhalb des Gastsystems. Oben drauf kommt dann ja noch der RAM den er KVM Prozess braucht um die virtuelle Hardware zu emulieren, dann ggf. noch der Writecache wenn du z.B. "writeback" als Cache-Mode der VM eingestellt hast. Dann kann RAM noch fragmentieren und daher mehr Platz belegen. Wenn du einer VM 4 GB RAM gibst heißt das also nicht, dass die VM nur 4GB brauchen würde. Der tatsächliche Verbraucht kann auch je nach Konfig deutlich höher liegen, da du ja noch Virtualisierungsoverhead hast.

Und ZFS gönnt sich z.B. auch standardmäßig bis zu 50% vom RAM des PVE Hosts für Read-Caching.

 

[Dunuin]

Werden die Ressourchen für den Cache vom RAM des Hosts geklaut??

Wenn du ZFS oder KVM cachen lässt, ja. Das kommt dann noch zusätzlich drauf, zu dem Cache des GastOSs.

Anscheinend schluckt hier der cache das meiste.

Das ist der Hoster:

Also deine VM nutzt gerade 3.5GiB von 3.8GiB und der Host 7.1GiB von 7.7GiB. Dein PVE Host läuft also schon echt am Limit.

 

[goifalracer]

Ich gönne ihm nochmal 8GB, soll ja nur ein Testsystem sein und später ein Fall-Back Gerät...