Hardware für Homeserver

[Scrubber6927]

Hallo liebe Proxmox-Community,

gestern Abend ist mein Intel Nuc 7 defekt gegangen und damit mein Homeserver nicht mehr verfügbar gewesen.
Ich hab noch ein Backup gehabt auf dem jetzt alles läuft würde nun aber upgraden.
Bisher habe ich ESXi mit Intel Nucs verwendet. Grundsätzlich war ich mit Hard- und Software auch zufrieden. Dummerweise sind die neuen Intel CPUs mit p und e Cores
die ESXi nicht benutzen kann. Das ist ein guter Grund endlich mal Proxmox zu probieren. Ich hätte zu meinem Vorhaben ein paar Fragen zu denen ich gerne die Gedanken von ein paar versierteren Leuten hätte.

1. Laut meiner Recherche kann Proxmox die neuen E- und P-Cores der Intel CPUs nutzen. Ist das korrekt?
2. Spricht etwas dagegen einen Intel NUC NUC13L3Hv7 zu verwenden? Specs
3. Mir ist die Lizenzierung von Proxmox VE und Proxmox Backup klar. Benötige ich zwingend eine Lizenz?
4. Aktuell benutze ich VEEAM für meine Backups. Ist der Backupserver vergleichbar? Grundsätzlich brauche ich wohl nur die Möglichkeiten zum full restore und einzelne Files.
5. Wäre es in Ordnung weitere Fragen in diesem Thread zu stellen? Sicherlich fällt mir in der Recherche noch weiteres ein.

Einen Intel Nuc würde ich verwenden da ich bisher gute Erfahrungen mit dem Support habe und die Maschinen zuverlässig laufen, bin aber offen für Empfehlungen.

Vielen Dank für eure Aufmerksamkeit und Zeit!

 

[Sticki]

Ich nutze privat im HomeLab auch einen 12er NUC und kann nur positives berichten. Die P/E-Cores machen keine Probleme und können zur Not noch einzeln angesprochen bzw. zugewiesen werden. Ich habe jedoch schon gelesen, das es unter PVE 7 hierbei zu Leistungs-Einbußen gekommen ist, und die zugewiesenen E-Cores in der VM nur 50% brachten.
Aber als Homeserver hat der i5 oder gar der i7 so viel Power dass das (wenn das unter PVE 8 auch noch der Fall sein sollte) nicht wirklich auffällt. Meine CPU langweilt sich idR.

Was die Lizenzierung betrifft brauchst du tatsächlich keine. Wobei ich finde dass 125 Euro/Jahr für die kleinste Lizenz, bei Dauernutzung zumindest als "Dankeschön" drin sein sollte.

Was Backup betrifft ist das ein seitenfüllendes Thema. Ich finde den PBS klasse. Wobei es aber auch durchaus Szenarien (z.B. große Datenmenge und Backup auf NFS/SMB-HDDs) gibt bei denen ich Veeam & Co. (noch) bevorzugen würde. Einfach mal ausprobieren.

 

[Scrubber6927]

Vielen Dank für deinen Kommentar. Das hört sich grundsätzlich schonmal gut an. Ich werde mir die Hardware mal klicken.
Verstehe ich es richtig, dass die P- zund E-Cores eh über den Kernel angesprochen werden? Das wäre ja dann selbst wenn es da Probleme
geben würde ein Thema das früher oder später gepatcht werden würde oder nicht?

Bei der Lizenzierung gebe ich dir Recht, die 125€/Jahr wäre ich bereit zu zahlen. Zunächst könnte ich ja aber erstmal starten um zu gucken ob
alles funktioniert oder?

VEEAM suportet Proxmox (noch) nicht, da müsste ich dann mit dem Veeam client rummachen. Ich werde dann den Backup Server einfach mal testen. Verstehe ich es richtig das man den Backupserver quasi als Addon in VE installieren kann? Best practices wäre wohl dedizierte Hardware aber das will ich mir eigentlich sparen.

Viele Grüße

 

[Sticki]

Ich glaube nicht dass das was mit dem Kernel zutun hat, sondern eher mit der virtuellen HW. Ich habe mich hier vielleicht etwas missverständlich ausgedrückt. Die Probleme mit der halben Leistung treten dann beim Guest auf....und das auch nur wenn ein virtueller CPU-Type in Kombination mit direkt zugewiesenen Kernen genutzt wird. Wenn ich mich recht erinnere war es kein Problem wenn als Host-Type die CPU direkt (Host) verwendet wird.

Das mit der Lizenz meinte ich genauso du beschrieben hast. Erstmal in Ruhe testen und bei Gefallen und dauerhafter Nutzung die Arbet entsprechend honorieren

PBS kann als Guest betrieben werden. Manche schwören darauf, manche nicht. 1000 Wege führen nach Rom, der eine ist schöner, der andere ist schneller. Ich denke man muss hier den für sich besten Weg finden. Ich lasse z.B. den PBS in einer VM auf meinem QNAP laufen und sichere auf NFS-Freigaben. Funktioniert wunderbar - ich muss aber auch im Fall der Fälle keine x TB an Daten wiederherstellen. In diesem Fall wäre dedizierte HW mit direktem SSD-Storage die bessere Wahl. Wie gesagt kommt alles sehr auf die Situation an.

 

[superwinni2]

Die P/E-Cores machen keine Probleme und können zur Not noch einzeln angesprochen bzw. zugewiesen werden

Jetzt bin ich neugierig... Habe leider noch einen alten i3-Prozessor ohne E und P Kerne. Bin aber schon immer am Liebäugeln mit den neuen Prozessoren.
Kann man dann in Proxmox sagen "diese VM bekommt nur E-Cores?" Oder wie wird dies unterschieden?

@Scrubber6927:
2. Spricht etwas dagegen einen Intel NUC NUC13L3Hv7 zu verwenden? Specs
Ich denke mal nicht. Erfahrungsgemäß läuft Proxmox auf so ziemlich allem.
Die Frage ist eher ob man die Performance benötigt und somit auch den Stromverbraucht möchte.
Daher bin ich auch neugierig mit den E und P Kernen. Dann könnte man ja die P Kerne "ausschalten" oder nur dann einschalten wenn sie benötigt werden würden.

Ich habe aktuell einen i3-4030U mit 16 GB RAM, 2,5" SSD Speicher + 2,5" HDD am laufen. Habe hier aktuell 13 VMs (12x Debian + 1x FreeBSD) am laufen.
Von NAS, SQL, Monitoring, Clouddateispeicher, calDAV, DNS, Wiki, Unifi, Internet Speedtest, Push Server, SmartHome und Firewall ist hierbei alles dabei.
Sind aber alles eher "Hintergrunddienste" und nichts das wirklich CPU Power benötigt wie wenn man Video Transcodierung machen würde oder so. Dafür möchte der Server allerdings nur ~8 Watt im Durchschnitt.
Habe zudem noch 2 weitere Rechner am laufen die jedoch eher auf Redundanz statt auf Produktivbetrieb ausgelegt sind falls der Hauptrechner mal einen defekt aufweißt.

3. Mir ist die Lizenzierung von Proxmox VE und Proxmox Backup klar. Benötige ich zwingend eine Lizenz?
Eine Lizenz wird nicht zwingend benötigt. Wie Sticki jedoch gesagt hat, sind ~10€ pro Monat sehr gut verkraftbar wenn man überlegt was Alternativen kosten. Hier gibt es ein "Sorglos Paket" was sich um alles wichtige kümmert.

4. Aktuell benutze ich VEEAM für meine Backups. Ist der Backupserver vergleichbar? Grundsätzlich brauche ich wohl nur die Möglichkeiten zum full restore und einzelne Files.
Hierfür würde ich ganz klar den ProxmoxBackupServer empfehlen. FullRestore und auch FileRestore sind damit locker abgedeckt. Zusätzlich kommen Features wie Deduplizierung, Verifizierung, Verschlüsselung oder auch Syncronisierung auf weitere PBS Server (damit die 3-2-1 Regel eingehalten wird ) automatisch mit. So wie man es sich vorstellt wenn alles aus einer Hand kommt.
Ob als VM oder dediziert. Geht beides. Ich habe es "neben" Proxmox VE installiert. Sprich direkt auf den Host und ich benutze dann die 2,5" HDD als Speichermedium.

5. Wäre es in Ordnung weitere Fragen in diesem Thread zu stellen? Sicherlich fällt mir in der Recherche noch weiteres ein.
Dafür ist doch das Forum da

 

[Scrubber6927]

Oh PBS auf einem QNAP laufen lassen ist auch eine gute Idee. Ich gehe da mal in mich. Die Lizenzthemen gelten auch für den Backup Server? Der ist ja schon gut teurer sonst. Wirfst du dafür auch was in den "Proxmox-Hut"?

Freue mich schon drauf Proxmox zu probieren, habe viele Jahre VMWare Erfahrung aber Proxmox ist mir viel sympatischer.

Benutzt du mehrere Nics über USB oder Ähnliches am NUC oder langt eine?

€dith: Danke auch an @superwinni2 für die Antworten.

Grundsätzlich hört sich das alle schon sehr gut an.

Eine Sache noch: Kann man Windows 11 mit TPM installieren / ausführen?

 

[Sticki]

Jetzt bin ich neugierig... Habe leider noch einen alten i3-Prozessor ohne E und P Kerne. Bin aber schon immer am Liebäugeln mit den neuen Prozessoren.
Kann man dann in Proxmox sagen "diese VM bekommt nur E-Cores?" Oder wie wird dies unterschieden?

Du identifizierst deine Kerne auf dem Host

root@pve:~# lscpu -e
CPU NODE SOCKET CORE L1d:L1i:L2:L3 ONLINE    MAXMHZ   MINMHZ       MHZ
  0    0      0    0 0:0:0:0          yes 4700.0000 400.0000 1631.0280
  1    0      0    0 0:0:0:0          yes 4700.0000 400.0000 2500.0000
  2    0      0    1 4:4:1:0          yes 4700.0000 400.0000 4290.4790
  3    0      0    1 4:4:1:0          yes 4700.0000 400.0000 2500.0000
  4    0      0    2 8:8:2:0          yes 4700.0000 400.0000 1236.1350
  5    0      0    2 8:8:2:0          yes 4700.0000 400.0000 2500.0000
  6    0      0    3 12:12:3:0        yes 4700.0000 400.0000  946.4520
  7    0      0    3 12:12:3:0        yes 4700.0000 400.0000 2500.0000
  8    0      0    4 16:16:4:0        yes 3400.0000 400.0000 2340.1370
  9    0      0    5 17:17:4:0        yes 3400.0000 400.0000 2233.2241
 10    0      0    6 18:18:4:0        yes 3400.0000 400.0000 3399.2859
 11    0      0    7 19:19:4:0        yes 3400.0000 400.0000 3042.9729
 12    0      0    8 20:20:5:0        yes 3400.0000 400.0000 2500.0000
 13    0      0    9 21:21:5:0        yes 3400.0000 400.0000 2500.0000
 14    0      0   10 22:22:5:0        yes 3400.0000 400.0000 2500.0000
 15    0      0   11 23:23:5:0        yes 3400.0000 400.0000 2500.0000

und trägst die IDs der gewünschten Kerne anschließend in der VM unter Hardware / Prozessoren / CPU Affinität (erweiterte Ansicht) ein


@ Scrubber6927
Punkt 1 (PBS):
Tatsächlich läuft mein PBS unter no-subscription. Was allerdings daraus resultiert, dass ich das ganze wirklich nur als Labor für Tests nutze. Etwas wirklich produktives läuft hier nicht - das ein oder andere Backup ist "nice to have" aber nicht wirklich nötig.
Das wird sich jedoch dann ändern wenn Proxmox es irgendwann schafft
a) virtuelle Discs einer VM via GUI einzeln zu sichern bzw. wiederherzustellen
b) einen Windows-Client an den Start zu bringen
Wenn diese beiden Punkte erfüllt sind kann ich den PBS hier auch ganz anderes einsetzen und dann wird mein Arbeitgeber solange genervt bis er eine Lizenz springen lässt

Punkt 2 (NIC):
mein NUC läuft mit 2 NICs. Ich hatte ihm damals ein "Intel LAN & USB Add-On Assembly - Expansion Module" gegönnt, was aber aktuell leider ziemlich schwer zu bekommen ist. Mit USB NICs habe ich keine Erfahrung.

Punkt 3 (TPM):
Meine Win11-VM hat eine "TPM-2.0-Disk" beim Erstellen bekommen und die VM sagt: TPM bereit
Ich gehe also mal davon aus dass die Installation anstandslos durchläuft. Ich muss jedoch gestehen dass ich noch nie Win11 mit einer org. ISO durchgeführt habe - immer nur angepasste ISO ohne Konto-Zwang und HW-Ausschluss

 

[Scrubber6927]

Alles klar, danke für die Infos. Ein paar Fragen habe ich noch:

• Was sind die Gründe LXC Container direkt in PVE zu verwenden statt in einer VM und vice versa?
• Welches lokale Filesystem nutzt ihr? Ist ZFS best practice?
• Benötigen VMs noch so etwas wie die VMWare tools? Open-VM-tools bei Linux? Was bei Windows?
• Macht ihr irgendwelche fancy Dinge mit der Rest-API?
• Wo hast du dein expansion Modul gekauft? Ich habe GORITE entdeckt, was aus Deutschland aber nicht.

 

[Sticki]

Ich zitiere hier mal Wikipedia: "Im Gegensatz zu anderen Systemen realisiert LXC seine Virtualisierung nicht mittels virtueller Maschinen. Stattdessen erzeugt LXC eine virtuelle Umgebung, die zwar ihre eigenen Prozesse besitzt, doch für diese gemeinschaftlich den Kernel des Hostsystems nutzt."
Stark vereinfacht: Container nutzt man um eine einzelne App oder App-Gruppe sehr schlank und ohne Overhead an den Start zu bringen, wie z.B. einen Pi.hole

Ich nutze ZFS auf dem Boot-Drive und LVM für die VMs. Warum?...naja...ZFS aus der Not und dann auch um Erfahrungen zu sammeln und LVM um RAM zu sparen und weil ich es ansatzweise kannte -> Einstieg

Treiber und Tools brauchst du natürlich auch bei Proxmox -> Qemu-Tools

Mit der Rest-API mache ich nichts

Mein Modul habe ich damals über den PROSHOP geholt

 

[Dunuin]

Welches lokale Filesystem nutzt ihr? Ist ZFS best practice?

Wenn du eher Wert auf Performance statt auf Datenintegrität setzt und kein extra Geld für Enterprise SSDs oder zusätzlichem RAM ausgeben willst, dann LVM-Thin.
Sonst ZFS.

 

[Scrubber6927]

Ich werde zwei SSDs in dem NUC haben eine SATA und eine NVME, auf die SATA wollte ich PVE und PBS installieren und die VMs dann auf die NVME legen. Beide dann als LVM?

 

[Dunuin]

Nicht vergessen, dass wenn dir die Systemdisk dann wegstirbt, dann auch deine Backups weg sind. Dann müsstest du schon wenigstens noch deinen "/etc"-Ordner regelmäßig irgendwie extern sichern. Die NVMe enthält dann nur die virtuellen Disks, nicht die kompletten VMs/LXCs.

Und ja, wenn dir Downtime oder die Daten nicht so wichtig sind, dann Consumer SSDs und LVM auf beide.

Sind dir deine Daten oder Uptime wichtig, dann würde ich eine enterprise NVMe SSD + eine enterprise SATA SSD holen und aus denen einen ZFS Mirror bilden, auch wenn dann die Performance der NVMe auf SATA Niveau grdrosselt wird. Und dann zwei USB HDDs auf die du rotierend deine Backups schreiben könntest, dass da eine von beiden immer offsite ist.

 

[Scrubber6927]

Ich hab RDX drives am NAS hängen, da kommt aktuell auch das Backup hin. Die gehen dann auch außer Haus.
Kann man nicht die Daten und die Disks der VMs an einem Ort liegen haben? Bei VMWare geht das zumindest. Wollte ja quasi einen sauberen Datastore für den Host haben.

 

[Dunuin]

Kann man nicht die Daten und die Disks der VMs an einem Ort liegen haben? Bei VMWare geht das zumindest. Wollte ja quasi einen sauberen Datastore für den Host haben.

Nein, außer du speicherst die virtuellen Disks mit auf der Systemdisk. Gast-Konfigs liegen immer im Root-Dateisystem im "/etc"-Ordner.

 

[Sticki]

Das ist doch eigentlich "nur" für den PVE-Host relevant!? Die VM-Konfigs werden doch mit den Backups mitgesichert.
Wichtig bei seiner Strategie wäre somit, zusätzlich zu den PBS-Backups, auch regelmäßig den (virtuellen) PBS selbst via PVE-VZdump noch zu sichern. Im Desaster-Fall: PVE wieder aufsetzen, PBS vom vzdump-Backup zurückholen und dann ganz entspannt die restlichen PBS-Backups wieder einspielen.
Wie gesagt, Arbeit macht halt leider immer nur PVE selbst. Wobei es natürlich auch hier Möglichkeiten/Workarounds mit Veeam & Co. gibt.

So entspannt würde ich natürlich nie im Kunden-Kontext sprechen...aber für einen Home-Server oder gar ein Home-Lab völlig OK.

 

[Dunuin]

Das ist doch eigentlich "nur" für den PVE-Host relevant!? Die VM-Konfigs werden doch mit den Backups mitgesichert.

Ja, die Gast-Konfigs werden mit den Backups gesichert. Aber der PBS Datastore soll ja mit auf die System-Disk. Geht die dann drauf sind sowohl die Gast-Konfigs weg, alle Backups und das einzige was verbleibt sind die virtuellen Disks auf der anderen Platte.
Außerdem sind Dinge wie IP Sets, Aliases, Security Groups Teil des Datacenter, auch wenn die VMs/LXCs ohne diese nicht funktionieren mögen, und sind daher nicht im Gast-Backup enthalten.

 

[Sticki]

Ich sag's ja: eine ordentliche Konfig-Backup-Funktion des PVE steht weit oben auf meinem Wunschzettel für Proxmox

Aber der PBS Datastore soll ja mit auf die System-Disk.

Das ist natürlich nix! Aber oben war doch die Rede von einer NAS???...ich bin verwirrt...ist aber auch schon spät

 

[Dunuin]

Ich werde zwei SSDs in dem NUC haben eine SATA und eine NVME, auf die SATA wollte ich PVE und PBS installieren und die VMs dann auf die NVME legen.

Obiges klang für mich nach PVE+PBS parallel bare metal auf der System-Disk.

 

[Scrubber6927]

Obiges klang für mich nach PVE+PBS parallel bare metal auf der System-Disk.

Genau, das habe ich vor. Die eigentliche Datensicherung landet dan auf dem NAS.

 

[Dunuin]

Ok, dann aber bei PBS nicht vergessen, dass du ohne einen eingerichtetes PBS auch nichts mit den Backups anfangen kannst. Wenn dir da dann die Systemdisk abraucht, sind dann zwar deine Backups nicht weg, wenn die auf dem NAS liegen, du kannst mit denen aber erst einmal nichts mehr anfangen, bis du da dann ein neues PVE+PBS aufgesetzt und komplett eingerichtet hast. Erst wenn da dann beides läuft kannst du anfangen deine Backup wiederherzustellen. Da würde ich den PBS dann eher als VM laufen lassen und die PBS VM dann per VZDump auf ein SMB/NFS Share vom NAS speichern.