newbie-Fragen zu neuem Proxmox Server

[Der Schroeder]

Hallo Leute,

Vorweg erstmal ein Lob für Proxmox als System und dieses Forum.
Die Community scheint recht aktiv und Hilfsbereit zu sein.

Ich habe bereits einiges im Forum lesen und verstehen dürfen, leider reicht entweder mein Verständnis nicht vollumfänglich oder ich habe einfach nicht die richtigen Beiträge gefunden.

Nun aber zu mir und meinen Fragen.

Ich bin nicht ganz neu in Linux, aber noch weit entfernt von einen erfahren User. Ich habe bereits mit mehreren RasPi's "gespielt" und konnte bereits einiges in Linux (dank entsprechenden Anleitungen und Copy&Paste) umsetzen können. Mein Verständnis für die Konsole und deren Befehle sind also nicht ganz bei null, aber eben auch nicht auf dem Level eines Profis oder Admins.

Serverumgebungen und VMs/LXCs sind jedoch noch recht neu für mich.
Aktuell betreibe ich kleine Systeme wie z.B. Homeassistant (HAOS) auf einem alten Notebook, PiHole auf einem RasPi Zero W, Klipper (3D-Druck) auf einem RasPi 3B und ein "altes" Synology NAS (DS115).

Jetzt habe ich einen Dell ProEdge T430 in die Finger bekommen und möchte diesen mit Proxmox Betreiben um einiges darauf umzuziehen und mit der Bestehenden Hardware im "HomeLab" zu ergänzen (z.B. die DS115 als Backup-Server nutzen).

Das System:
Dell PowerEdge T430
Prozessor: 2x Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz (á 6 Kerne)
RAM: 48 GB (2x16 + 2x8)
Hardware-RAID: PERC H730 Adapter mit 8x1,2TB als RAID 6 (Platz+Ausfallsicherheit)
DVD-ROM
Ich selbst habe das System um eine 256GB SSD und 2x500GB SATA ergänzt.

Proxmox ist auf der 256GB SSD installiert und die beiden 500GB SATAs hatte ich mir 1x als Ablage für die VMs und LXCs vorgestellt und 1x als Backup Speicher vorgestellt.
Die V-Disk des HW-RAID (ca.7,6 TB) würde ich gerne als Datenspeicher/-ablage für alles (VMs/LXCs) nutzen. Wenn möglich nicht der NAS alleine zugewiesen und per SMB oder NFS in andere eingebunden sondern irgendwie direkt über Prxmox an andere VMs/LXCs weitergegeben (falls möglich). Sollte so besser in Sachen Geschwindigkeit sein, da es nicht erst über das Netzwerk geht, oder?
Das "alte" Synology NAS soll als "externes" Backup für alle "wirklich" wichtigen Daten genutzt werden.

Folgende VMs/LXCs sind geplant:
- 1x Homeassistant - Ob ich mich hier für eine VM oder einen LXC entscheide weiß ich noch nicht (soll über Cloudflare zugänglich sein)
- 1x NAS System (muss mich noch für eines entscheiden)
- 1x PiHole - vermutlich als LXC
- evtl. 1x Klipper (für den 3D-Drucker) - bleibt aber vermutlich auf dem RasPi der es bereits betreibt.
- evtl. 1x VPN-Server (vermutlich Wireguard)
- evtl. 1x DNS-Server (um unabhängig von der FB zu sein - Anbieter-/ISP-Wechsel, Hardwaretausch etc.)
- etvl. 1x WIN 11 als VM
- was mir dann eben sonst noch so einfällt auszuprobieren.

Was wäre denn Euer Vorschlag um das alles umzusetzen?
Wie würdet Ihr die ganzen Platten einbinden (LVM/ZFS / Formatieren etc)?
Wie bekomme ich den Datenspeicher am besten in die LXCs/VMs?

Alle Tip's/Trick's/Hinweise (inkl. Erklärung und Begründung wäre super ) etc. sind immer willkommen.
Wie gesagt, Proxmox ist total Neuland für mich und die Möglichkeiten, die das System bietet sind immens und es wäre sehr schade wenn ich alles durchprobieren müsste um dann immer wieder von vorne anzufangen, weil ich währenddessen feststelle, dass ein anderer Weg der Bessere gewesen wäre. Mir ist klar, dass der Lerneffekt hier viel größer wäre, aber ich würde mir gerne die Zeit und Arbeit sparen.

Ich Danke Euch schonmal im Voraus und hoffe auf viele (für mich verständliche) Tips und Tricks.

Falls Ihr noch Infos braucht, die ich jetzt vergessen habe, liefere ich natürlich gerne nach.

Danke und Gruß,
Der Schroeder.

(1.Edit war redaktionell)

 

[ThoSo]

Das ist ja ein recht umfangreicher (Fragen-) Katalog und viel ich wünsch-mir-was.
In Ermangelung einer Glaskugel, die jetzt weiß was Du schon so alles hier gelesen hast und wo es dann klemmt, nur folgende Hinweise:

ZFS und Hardware Raid fällt aus, da ZFS ein Software Raid ist.

Wenn du schon 8 Festplatten im Raid Verbund hast, dann würde ich dort auch ein paar VMs drauf laufen lassen (Linux). Wenn es performante VMs werden sollen (Windows) würde ich hier SSDs empfehlen - die 2x 500 könntest gegen günstige Enterprise SSDs ersetzen und, sofern diese nicht am PERC hängen auch mit ZFS nutzen.

NAS Software - was denn ist den in der engeren Auswahl?

"Was wäre denn Euer Vorschlag um das alles umzusetzen?" " ich würde mir gerne die Zeit und Arbeit sparen." "- was mir dann eben sonst noch so einfällt auszuprobieren."

Nimm das was für dich das richtige ist - denn "wir" müssen das nicht managen.
Und auch uns ist das nicht in die Hände gefallen.


Mach Dir einen Plan auf Papier, dann tob dich aus und probiere was geht und wenn Du spezielle Fragen hast, schauen wir gerne drüber!

 

[Der Schroeder]

Hi und erst mal DANKE für dein Feedback!

Das mit dem HW-RAID und ZFS, hatte ich bereits so verstanden wie Du es beschrieben hast. - Trotzdem DANKE! ;-)

Die 256 SSD und die beiden 500 SATA hängen nicht am PERC, die hängen gemeinsam an einem SATA Controller.

Der Austausch der beider 500er wird evtl. in Zukunft folgen und ggf. mit Weiteren ergänzt werden. Habe am bestehenden Controller noch einen Slot und noch einen weiteren Controller frei.

Wollte nur erst mal mit dem Starten was ich habe.

Explizit geht es mir darum die bestehenden SATAs am sinnvollsten zu nutzen (Formatierung / geplanter Einsatzzweck). Seht ihr es als sinnvoll an, eine als Speicherplatz für die VMs/LXCs und die andere als Backup zu nutzen? Wie würdet Ihr die Disks einrichten? Ist es sinnvoll sich mit Chep auseinanderzusetzen, oder wäre das ein Overkill? Oder ist es sinnvoller, hieraus ein SW-RAID ggf. über ZNF zu machen und die Backups komplett auszulagern (würde sonst ne Doppelstrategie fahren - Backup der Backups auf externem NAS/USB Drive)?

Das HW-RAID des PERC würde ich gerne als reinen DATENSPEICHER nutzen, würde diesen aber gerne DIREKT an VMs/LXCs zur Nutzung durchreichen. Falls das so nicht möglich ist, würde ich sie im NAS System einbinden und dann halt als Freigabe (NFS/SMB etc.) an alle weiteren freigeben. Welches Dateisystem würdet ihr empfehlen, bzw. würde es ja ggf. durch das NAS vorgegeben werden. Eine gewisse Datensicherheit (ich weiß RAID ist kein Backup) wäre hier ja bereits gegeben.

Als NAS System stehen aktuell OpenMediaValt / TrueNAS (Und Sysnology DSM - hab gelesen es soll möglich sein) zur engeren Wahl, bin aber offen für andere Vorschläge.

Danke und Gruß,
Der Schroeder.

 

[jim_os]

Moin

Das System:
Dell PowerEdge T430
Prozessor: 2x Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz (á 6 Kerne)
RAM: 48 GB (2x16 + 2x8)
Hardware-RAID: PERC H730 Adapter mit 8x1,2TB als RAID 6 (Platz+Ausfallsicherheit)
DVD-ROM
Ich selbst habe das System um eine 256GB SSD und 2x500GB SATA ergänzt.

Eine eher allgemeine Anmerkung von mir: Liest sich für mich ein wenig wie "Resteverwertung" und hast Du auch schon mal darüber nachgedacht was die Hardware dann so an Stromverbrauch haben dürfte? Bei der aufgelisteten Hardware würde ich mit einem Stromverbrauch von geschätzt ca. 80 Watt für die Kiste rechnen und bei z.B. 30 Cent/kWh wären das bei einem 24/7 Betrieb im Jahr bereits über € 200.

So schön flexibel so ein altes Towerserver Schätzchen auch ist, so "sinnlos" ist es auch für das was Du damit vor hast. Einzig die erwähnte Win 11 VM würde, sofern man damit halbwegs performant arbeiten wollte, entsprechend leistungsfähigere Hardware benötigen. Alles was Du sonst an VM/LCX aufgelistet hast ist "Kinderkram" und dafür würde schon eine alte Celeron CPU wie z.B. eine J4125 oder so reichen.

Auch das Thema "PERC H730 Adapter mit 8x1,2TB als RAID 6" geht m.M.n. eher nach dem Motto "Weil das hier vorhanden ist will ich das nutzen" und scheinbar weniger danach ob das auch Sinn macht. Um eine Downtime vermeiden zu wollen braucht es sicherlich keine 8 x 1,2TB HDD im Hardware-RAID sondern dafür reichen auch z.B. 2 x 4TB HDD per Software-RAID.

Hier bei mir läuft z.B. ein refurbished Fujitsu Esprimo D957/E90+ in einem SFF-Gehäuse mit:
- Proxmox mit laufender HA VM + OMV VM + xDSM VM + zwei LXC und zusätzlich eine Mint VM und Win 11 VM die ich nur dann und wann mal nutze.
- Intel i3-7100 CPU
- 40 GB RAM (2 x 16 + 1 x 8 GB)
- 2 x 2TB NVMe SSD
- 1 x 1TB SSD
- zusätzliche PCIe 2,5G Netzwerkkarte
- zusätzlicher PCIe Adapter für NVMe SSD
und das Schätzchen hat mit dieser Ausstattung einen durchschnittlichen Stromverbrauch von gerade mal rund 15 Watt. Würde ich darin noch 2 HDD für ein Software-RAID einbauen - was ich auch schon mal mit 2 x 4TB WD Red Plus hatte - kämen noch rund 6 - 8 Watt hinzu. Für ein weiteres Backup gibt es hier dann noch zwei Synology NAS (DS720+ und DS215j) als Datengrab, die allerdings auch nicht mehr 24/7 laufen.

Anderes Beispiel: Ich habe hier aktuell auch noch zwei Intel NUC8 mit i3-8109U CPU und 16 GB RAM über. Einen davon hatte ich vor dem o.g. Fujitsu Esprimo D957/E90+ als Proxmox Kiste im Einsatz. Auch der NUC8 hat sich mit Proxmox und den erwähnten VM/LXC, quasi zu Tode gelangweilt (Win 11 VM wieder außen vor) und durchschnittlich gerade mal 12 Watt verbraucht. Der NUC8 musste nur dem Fujitsu Esprimo D957/E90+ in dem SFF-Gehäuse weichen, weil ich eben noch weitere PCIe-Karten und HDD einbauen wollte, was bei dem NUC8 halt nicht möglich ist.

Lange Rede kurzer Sinn: Für das was Du oben als Einsatzzweck bei VM/LXC beschrieben hast würde mir diese alte Dell Kiste in der Ausstattung einfach viel zu viel Strom fressen und ich würde die dafür nicht nutzen. Solche Art von Hardware habe ich in den letzten Jahren schon häufiger dem Elektroschrott übergeben, auch wenn das immer etwas geschmerzt hat weil ich mich daran erinnert habe was die Hardware mal irgendwann gekostet hat.

Ich will Dir Deine Dell Kiste nicht madig machen oder so, aber ich wollte zumindest mal auf das Thema Stromverbrauch hinweisen.

Ob ich mich hier für eine VM oder einen LXC entscheide weiß ich noch nicht (

Denk daran das HA per LXC vom Funktionsumfang entsprechend "abgespeckt" ist.

VG Jim

 

[ThoSo]

Bei der aufgelisteten Hardware würde ich mit einem Stromverbrauch von geschätzt ca. 80 Watt für die Kiste rechnen und bei z.B. 30 Cent/kWh wären das bei einem 24/7 Betrieb im Jahr bereits über €

Der verbraucht deutlich mehr Strom. Wahrscheinlich sind auch redundante Netzteile mit 750 Watt drin.
Aber wenn es ihm halt in die Hände gefallen ist….

 

[jim_os]

Das die Kiste noch mehr als die von mir geschätzten 80 Watt verbraucht befürchte ich auch. Allein die 8 HDD dürften im Betrieb schon mind. rund 25 Watt verbrauchen. Sofern es sich dabei um Seagate Enterprise Server HDD handeln sollte - was ich vermute - dürften die 8 St. im Betrieb in Summe wohl eher um die 50 Watt verbrauchen. BTW: Hier hatte mal jemand einen Verbrauchswert zu einer T430 Kiste angegeben

Mein T430 zieht 150W mit 8 SAS-Laufwerken, 4 RAM-Sticks DDR4, einzelne CPU 2623v4, 10Gbe NIC.​

und das war nur mit einer CPU. Die Xeon CPU E5-2620 v3 ist mit einem TDP von 85W angegeben. Die genannten 150 Watt wären dann bei einem 24/7 Betrieb und 30 Cent/kWh bereits rund € 400 an Stromkosten im Jahr.

Ja früher als Strom noch einen einstelligen Cent-Preis hatte, war Stromverbrauch nicht so das Thema und früher wäre so eine Dell Kiste zu Hause sicherlich eine feine Sache gewesen, aber wenn eine Kiste für mein kleines privates Homelab hier bereits € 400 im Jahr an Stromkosten verschlingen würde, nur dafür das ich irgendwelche alte Hardware auch irgendwie weiterverwenden kann, würde ich die ganz sicher nicht einsetzen. Insbesondere dann nicht wenn irgendein refurbished Mini-/SFF-/Desktop-PC für wenig Geld alle genannten Aufgaben und Wünsche vermutlich viel besser erfüllen kann und das für einen Bruchteil an Stromkosten. Meine oben erwähnte Fujitsu Esprimo D957/E90+ Kiste verursacht im Jahr lediglich rund € 40 an Stromkosten. Aber ok das Thema Kosten/Nutzen muss natürlich jeder für sich selber einschätzen und beurteilen.

VG Jim

 

[Der Schroeder]

Eine eher allgemeine Anmerkung von mir: Liest sich für mich ein wenig wie "Resteverwertung" und hast Du auch schon mal darüber nachgedacht was die Hardware dann so an Stromverbrauch haben dürfte? Bei der aufgelisteten Hardware würde ich mit einem Stromverbrauch von geschätzt ca. 80 Watt für die Kiste rechnen und bei z.B. 30 Cent/kWh wären das bei einem 24/7 Betrieb im Jahr bereits über € 200.

VG Jim

Hi,
ja, genau so ist es tatsächlich und ja, es sind 2x750W, aber wie bereits bemerkt, sind die Stromkosten erstmal zweitrangig. Erstmal geht es darum wie ich das ganze einsetzen möchte.
Sicher werde ich es aber mal durchrechnen und ggf auch austauschen, aber erstmal soll es mir um das umsetzen der beschriebenen Zwecke gehen.
Trotzdem danke ich Euch allen für den Hinweis der Folgekosten, so im Detail bin ich nicht wirklich ran gegangen. War ein CCTV Server in meiner Firma und ich hab, wie gesagt, die Finger daran bekommen.

Irgendeiner ne Idee ob meine Vorgehensweise bei Umsetzung clever ist oder gibt es hierzu auch Verbesserungsvorschläge?

Danke und Gruß,
Der Schroeder.

 

[jim_os]

aber wie bereits bemerkt, sind die Stromkosten erstmal zweitrangig.

Hm - das muss ich dann wohl übersehen haben.

meine Vorgehensweise bei Umsetzung

Bei der Einbindung eines Hardware RAID bin ich leider raus. Ich nutze hier zwar sowohl OMV als auch vDSM als NAS unter Proxmox, aber die Möglichkeiten einer Einbindung und Nutzung von Laufwerken unter Proxmox sind halt so vielfältig und auch von dem individuellen Einsatzzweck abhängig, dass ich da keine Empfehlung oder einen Vorschlag für eine bestimmte Vorgehenweise geben kann. Alle möglichen Wege haben Vor- und Nachteile.

Was das

Welches Dateisystem würdet ihr empfehlen, bzw. würde es ja ggf. durch das NAS vorgegeben werden.

in Kombination mit dem betrifft:

Und Sysnology DSM - hab gelesen es soll möglich sein

DSM ist es vollkommen egal wie irgendwelche an die VM durchgereichten Laufwerke vorher formatiert sind da Du bei DSM ja einen eigenen Speicherpool einrichten musst und Dir DSM dann vorgibt welche Möglichkeiten Du dann bzgl. der Partitionierung, dem RAID und dem Dateisystem hast.

VG Jim