Konfig./Aufbau Proxmox PC/Server - Brainstorming :-)

[jim_os]

Hallo zusammen,

ich bin neu in Proxmox und beschäftige mich gerade mit dem Aufbau, bzw. der Zusammenstellung eines neuen PCs dafür.

Vorab: Ich habe bisher seit rund 2 Jahr Home Assistant auf einem Intel NUC8i3BEH 24/7 benutzt. Da ich u.a. auch noch OPNSense in mein Netzwerk integrieren möchte habe ich vor rund 1 Woche auf dem NUC Proxmox installiert und dann HA in einer VM. Da ich schon seit ein paar Jahren Linux nutze war die Install. und Einrichtung nicht weiter schwierig. Auch wenn ich nicht so tief im Thema Linux drin bin (komme aus DOS-Zeiten).

Bei der Proxmox Install. habe ich mich daran orientiert und bei der HA Install. dann daran. Bis auf das ein oder andere kleinere Problem, das es zu überwinden galt, läuft alles relativ problemlos.

Da ich wie gesagt noch OPNSense einsetzen will und der kleine NUC bzgl. NIC und Einbaumöglichkeiten eh begrenzt ist, habe ich mir einen Refurbished FUJITSU ESPRIMO D957/E90+ mit Core i3-7100 bestellt, den es nun gilt für Proxmox auszustatten bzw. einzurichten. Das Schätzchen bekommt dann noch 32 GB RAM und eine 2- oder 4-Port NIC (Intel I340/i350 -t2/-t4 als OEM) verpasst und soll dann wieder 24/7 laufen.

An Speichermedien habe ich zur Verfügung:
- 500GB Crucial P1 NVMe M.2
- 1TB Crucial MX500 SSD
- 250GB SSD (ist in dem Esprimo der erst nächste Woche hier ankommt)
- 120GB SanDisk SSD
- div. 3,5" 1TB SATA HDDs die aber aus Stromspargründen eigentlich nicht verbaut werden sollen
- Backups erfolgen bei mir auf Synology DS215j und DS218+

Unter Proxmox soll dann laufen (Stand heute): HA, OPNSense und ggf. noch Jellyfin (oder etwas Ähnliches).

Weiterhin plane ich noch den PC als Speicher für Medien-Dateien (Filme und Musik) im LAN zur Verfügung zu stellen, weil er ja eh 24/7 läuft. Dafür würde 1TB an Speicherplatz reichen. Dann könnte ich nämlich eins meiner beiden NAS, dass jetzt dafür zuständig ist, "in Rente schicken". --> Spart Strom.

Was ich bei dem ganzen Aufbau immer im Auge behalte ist natürlich auch der Stromverbrauch. Als der NUC nur mit HA lief lag der durchschnittliche Stromverbrauch relativ gleichmässig bei 10 - 11 Watt. Jetzt mit Proxmox + HA liegt er bei ca. 15 Watt (mit starken Schwankungen). Anm.: Dazu komme ich aber noch in einem anderen Beitrag/Posting.


Bei dem ESPRIMO D957 hoffe und rechne ich dann bei i3-7100 + 32GB + Crucial P1 NVMe M.2 + SSD + NIC + Kleinkram mit einem durschnittlichen Stromverbrauch von ca. 20 Watt.

Nun zu meinen eigentichen Fragen:

1. Mein geplanter Aufbau sehe so aus: 500GB Crucial P1 NVMe M.2 für Proxmox und die VMs und die 1TB Crucial MX500 SSD ausschließlich für die Medien-Dateien. Gibt es dazu Alternativ-/Verbesserungsvorschläge? Anm.: Proxmox Backup/Snapshots erfolgen auf einem NAS, bzw. Proxmox selber wird per Clonzilla Image gesichert.

2. HA soll weiterhin, bzw. dann wieder, in einer VM laufen. Gebe es ggf. irgendwelche Vorteile andere/weitere Anwendungen (OPNSense, Jellyfin ...) ggf. als LXC Container laufen zu lassen?

3. Gibt es irgendwelche Vorschläge was ich vielleicht anders machen könnte oder sollte und/oder was ich beachten/bedenken sollte?

4. Wie würdet Ihr das mit der 1TB für Medien-Dateien (Filme und Musik) umsetzen, sprich wie würdet ihr die in dem LAN bereitstellen, sodass alle Clients (Smart-TV, Linux Receiver Media Player, Tablets usw.) per App xyz, bzw. NFS darauf zugreifen können? Einfach als Storage unter Proxmox einbinden?

Danke für's lesen und für die vielleicht/hoffentlich kommenden Kommentare/Vorschläge/Tipps/Hinweise.

VG Jim

 

[Dunuin]

Hallo zusammen,

ich bin neu in Proxmox und beschäftige mich gerade mit dem Aufbau, bzw. der Zusammenstellung eines neuen PCs dafür.

Vorab: Ich habe bisher seit rund 2 Jahr Home Assistant auf einem Intel NUC8i3BEH 24/7 benutzt. Da ich u.a. auch noch OPNSense in mein Netzwerk integrieren möchte habe ich vor rund 1 Woche auf dem NUC Proxmox installiert und dann HA in einer VM. Da ich schon seit ein paar Jahren Linux nutze war die Install. und Einrichtung nicht weiter schwierig. Auch wenn ich nicht so tief im Thema Linux drin bin (komme aus DOS-Zeiten).

Bei der Proxmox Install. habe ich mich daran orientiert und bei der HA Install. dann daran. Bis auf das ein oder andere kleinere Problem, das es zu überwinden galt, läuft alles relativ problemlos.

Da ich wie gesagt noch OPNSense einsetzen will und der kleine NUC bzgl. NIC und Einbaumöglichkeiten eh begrenzt ist, habe ich mir einen Refurbished FUJITSU ESPRIMO D957/E90+ mit Core i3-7100 bestellt, den es nun gilt für Proxmox auszustatten bzw. einzurichten. Das Schätzchen bekommt dann noch 32 GB RAM und eine 2- oder 4-Port NIC (Intel I340/i350 -t2/-t4 als OEM) verpasst und soll dann wieder 24/7 laufen.

An Speichermedien habe ich zur Verfügung:
- 500GB Crucial P1 NVMe M.2
- 1TB Crucial MX500 SSD
- 250GB SSD (ist in dem Esprimo der erst nächste Woche hier ankommt)
- 120GB SanDisk SSD
- div. 3,5" 1TB SATA HDDs die aber aus Stromspargründen eigentlich nicht verbaut werden sollen
- Backups erfolgen bei mir auf Synology DS215j und DS218+

Unter Proxmox soll dann laufen (Stand heute): HA, OPNSense und ggf. noch Jellyfin (oder etwas Ähnliches).

Weiterhin plane ich noch den PC als Speicher für Medien-Dateien (Filme und Musik) im LAN zur Verfügung zu stellen, weil er ja eh 24/7 läuft. Dafür würde 1TB an Speicherplatz reichen. Dann könnte ich nämlich eins meiner beiden NAS, dass jetzt dafür zuständig ist, "in Rente schicken". --> Spart Strom.

Was ich bei dem ganzen Aufbau immer im Auge behalte ist natürlich auch der Stromverbrauch. Als der NUC nur mit HA lief lag der durchschnittliche Stromverbrauch relativ gleichmässig bei 10 - 11 Watt. Jetzt mit Proxmox + HA liegt er bei ca. 15 Watt (mit starken Schwankungen). Anm.: Dazu komme ich aber noch in einem anderen Beitrag/Posting.
View attachment 42025

Bei dem ESPRIMO D957 hoffe und rechne ich dann bei i3-7100 + 32GB + Crucial P1 NVMe M.2 + SSD + NIC + Kleinkram mit einem durschnittlichen Stromverbrauch von ca. 20 Watt.

Vermutlich mehr. OPNsense kann sehr CPU Intensiv sein (und z.B. 1 vCPU permanent zu 100% auslasten, wenn man Dinge wie IPS aktiviert) und die i350-T4 ist mit 5W Stromverbrauch spezifiziert. Du könntest mal bei PVE verschiedene CPU governors austesten und gucken, ob da einer mehr Energie spart, ohne gleich die Performance zu stark einbrechen zu lassen.

2. HA soll weiterhin, bzw. dann wieder, in einer VM laufen. Gebe es ggf. irgendwelche Vorteile andere/weitere Anwendungen (OPNSense, Jellyfin ...) ggf. als LXC Container laufen zu lassen?

OPNsense ist FreeBSD und kein Linux. LXCs gehen nur mit Linux. Generell haben LXCs weniger Overhead, daher weniger Hardware-Auslastung und damit weniger Stromverbrauch. Dafür fängst du dir aber zusätzliche Abhängigkeiten ein und sie sind unsicherer, weil eben schlechter isoliert.

3. Gibt es irgendwelche Vorschläge was ich vielleicht anders machen könnte oder sollte und/oder was ich beachten/bedenken sollte?

Ich würde immer alles auf redundanten Disks laufen lassen, dass du da keine Aussetzer hast. SSDs/HDDs sind Verbrauchsgegenstände die regelmäßig einfach ausfallen. Hatte hier daheim in den letzten 3 Monaten gerade erst 3 System SSDs, die einfach über Nacht weggestorben sind. Da ist man dann froh wenn man ein Raid1/Mirror hat, dass da alles trotzdem normal weiter läuft, man nur kurz den Server zerlegen und die SSDs tauschen muss, anstatt da alles aus Backups wieder zusammenzuflicken. Gerade Clonezilla-Backups sind ja auch nicht immer gerade neu.

4. Wie würdet Ihr das mit der 1TB für Medien-Dateien (Filme und Musik) umsetzen, sprich wie würdet ihr die in dem LAN bereitstellen, sodass alle Clients (Smart-TV, Linux Receiver Media Player, Tablets usw.) per App xyz, bzw. NFS darauf zugreifen können? Einfach als Storage unter Proxmox einbinden?

Entweder ein NAS OS wie OpenMediaVault in LXC/VM laufen lassen und die Disk durchreichen oder einen SMB/NFS Server direkt auf dem PVE Host einrichten, was du aber selbst händisch per CLI administrieren müsstest.

 

[jim_os]

Moin,

danke für Deine Infos und Vorschläge.

Vermutlich mehr. OPNsense kann sehr CPU Intensiv sein (und z.B. 1 vCPU permanent zu 100% auslasten, wenn man Dinge wie IPS aktiviert) und die i350-T4 ist mit 5W Stromverbrauch spezifiziert.

mit OPNSense habe ich bisher noch keinerlei Erfahrungswerte, daher kann ich das auch nicht einschätzen. Ja die i350-T4 braucht 5 Watt, wobei die i350-T2 auch schon 4,4 Watt benötigt. In den "sauren Apfel" muss ich wohl beißen wenn ich die entsprechenden Möglichkeiten haben möchte hier verschiedene LAN zu separieren und das nicht nur mit VLANs und z.B. L3-Switch umsetzen möchte.

Was mich halt gewundert hat, bzw. immer noch wundert, ist das Proxmox - im quasi Idle-Betrieb - solche Verbrauchsschwankungen hat und den Verbrauch schon mal geschätzt um ca. 5 Watt in die Höhe treibt. Außer HA läuft bisher nichts unter Proxmox und als ich HA noch alleine auf dem NUC laufen hatte war die Stromverbrauchslinie relativ konstant und bewegte ich immer nur zwischen 10 und 12 Watt. Das obwohl im Hintergrund natürlich alle HA Dienste aktiv waren und ja z.B. auch fortlaufend Daten erfasst haben. Die Prozessorauslastung lag bei ca. 8 % und die RAM-Auslastung bei ca. 1,5GB.

Jetzt mit Proxmox + HA als VM hat sich der Ressourcenverbrauch bei dem NUC ja nicht groß verändert,

nur das halt der Stromverbrauch ziemlich schwangt. Daher frage ich mich was alles im Hintergrund von Proxmox (an Diensten/Prozessen) so läuft und diese Schwankungen verursacht. Aber ok ich bin ja noch ganz am Anfang mit Proxmox und daher kann ich vieles noch nicht wirklich verstehen oder nachvollziehen.

Du könntest mal bei PVE verschiedene CPU governors austesten und gucken, ob da einer mehr Energie spart, ohne gleich die Performance zu stark einbrechen zu lassen.

Da muss ich dann man schauen wie das bei dem Fujitsu PC aussieht, wenn ich den im Betrieb habe. Bei dem NUC gibt es halt nur powersave und performace und der läuft schon immer mit der Einstellung performace. Trotzdem lag der Verbrauch mit HA allein nur zwischen 10 und 12 Watt.
BTW: Alle für HA nicht benötigte Hardware (Audio, Thunderbolt, Bluetooth) ist bei dem NUC im BIOS deaktiviert.

Entweder ein NAS OS wie OpenMediaVault in LXC/VM laufen lassen und die Disk durchreichen oder einen SMB/NFS Server direkt auf dem PVE Host einrichten,

OMV hatte ich vor 2 - 3 Jahren schon mal für ca. 1 Jahr im Einsatz. In sofern wäre die Nutzung von OMV wohl kein Problem. Wobei ich allerdings nicht weiß wie viel zusätzliche Last und somit ggf. zusätzlichen Stromverbrauch, OMV dann auf dem PC verursachen würde. Ca. 90 % der Features von OMV würde ich ja eh nicht nutzen.
Das mit dem einfachen SMB/NFS Server wäre eine ressourcenschonende Möglichlich, aber wie Du schon sagst von der Konfig. her nicht so komfortabel. Aber ja - wer A sagt muss dann natürlich auch B sagen.

Als Proxmox-Anfänger hatte ich gehofft es gebe eine Möglichkeit direkt unter Proxmox irgendeine "Erweiterung" zu installieren, die dann z.B. den Zugriff per SMB/NFS auf die unter Proxmox eingebundene Storage ermöglicht und sich das ganze dann über das WebGUI von Proxmox konfigurieren lässt. Anm.: Ja ich weiß was Proxmox ist und wozu es gedacht ist.
Im Prinzip suche ich etwas wie z.B. OMV, nur ohne die "hunderten" von (Backup-/NAS-)Features die OMV bietet. Also einen kleinen "Webserver" der mir die SMB/NFS-Dienste unter Proxmox zur Verfügung stellt. Der sich bestenfalls in Proxmox "integriert", sich per WebGUI und nicht Command Mode einrichten/bedienen lässt und der wenig Ressourcen und somit Strom verbraucht.

Ganz allgemein: Ich weiß natürlich das ein Serverbetrieb Strom verbraucht und das der Stromverbrauch nicht unbedingt die höchste Priorität haben sollte, aber ich versuche einen möglichst guten und kostengünstigen Kompromisse zu finden und das Thema Stromverbrauch immer im Auge zu behalten. 20 Watt 24/7 sind ~ € 70/Jahr - 40 Watt 24/7 sind dann halt schon ~ € 140/Jahr

VG Jim

 

[Dunuin]

Theoretisch gibt es Dinge wie Webmin, welche auch Nutzerverwaltung und SMB/NFS-Verwaltung per Webmin-WebUI erlauben. Aber ob das jetzt weniger Ressourcen braucht wie ein OMV weiß ich nicht. Und das wdeutlich mehr gefrickel, wenn man es direkt aufdem Host laufen lässt.
PVE ist halt ein reiner Hypervisor und kein NAS mit VM/Container-Funktionen wie z.B. ein TrueNAS und kommt daher ohne all die Storage/NAS Features.

Das mit dem Verbrauch kann ich gut verstehen. Seit dem 1. Oktober wurde mir hier auch der Preis pro KWh auf 46 Cent erhöht, dass da was Homelab mit 250W nun gute 1000€ im Jahr kostet. Stromsparen bringt nur leider auch massive Nachteile mit sich. Raid (mehr Laufwerke für Redundanz und stromschluckene HBAs) kostet zusätzlich Strom, USV bringt zusätzliche Verlustleistung, ZFS hat viel mehr Overhead und und braucht daher mehr Strom, weitere Server für Backups kostet Strom. Da muss man sich dann halt entscheiden, ob einem Dateningetrität und Backups wichtiger sind oder der Stromverbrauch. Und dann ist noch die generelle Frage der Redundanz. Was machst du wenn du dein Homeserver kaputt geht, aber bei dir im Haus ohne HA nichts mehr läuft, weil alles auf HomeAssistent angewiesen ist. Im Idealfall betreibt man dann seine ganze Netzwerk-Infrastruktur redundant und hat auch mindstens zwei Homeserver am laufen, dass da Hochverfügbarkeit gewährleistet ist und deine wichtigen Services immer redundant laufen, dass es zu keinen längeren Ausfällen kommt, selbst wenn ein Server mal kaputt geht. Dann hast du aber schon 2 oder 3 Server permanent am laufen, was natürlich auch den Stromverbrauch verdreifacht.

Redundanz und Stromsparen widerspricht sich leider

 

[jim_os]

Jepp ist klar. OMV erscheint mir nur ein wenig mit "Kanonen auf Spatzen" für das was ich eigentlich nur brauche. Wobei ich halt auch noch nicht weiß wie das mit den Ressourcen für OMV überhaupt aussieht.

Ich werde dann auch mal schauen was es ggf. an kleinen/schlanken Alternativen gibt die für Proxmox gut geeignet sind. D.h. ich werde dann wohl eine 1TB SDD als Storage in Proxmox einbinden und diese dann an die VM/LXC-Anwendung xyz durchreichen. Die Anwendung muss dann halt ein Rechtemanagement und entsprechende Zugriffsdienste (SMB/NFS) bieten.


Nachtrag: Was die redundanten Disk betrifft. So unterschiedlich können die Erfahrungswerte sein. In jetzt rund 30 Jahren ist mir tatsächlich noch nie eine HDD/SDD gestorben und das auch bei Geräten die z.T. über mehrere Jahre 24/7 laufen/liefen.
Klar je umfangreicher und aufwendiger die Installationen sind, umso mehr Zeit kostet ein Restore. Ich kann mangels Erfahrungswerten zwar nicht sagen wie das mit einem Restore von OPNSense aussieht, oder mit einem Restore von VMs per Proxmox, aber ich habe in den letzten Tagen mehrfach Neuinstallationen von Proxmox + HA gemacht (Proxmox + HA neu installieren und HA Backup einspielen) und ein Restore dauert hier in Summe ca. 15 min. Daher reicht mir (bisher) mein Backup-Konzept aus.

Nachtrag 2: Weil ich das gerade gesehen habe. Ich habe gestern Nachmittag noch ein wenig für HA nicht benötigte Hardware im NUC deaktiviert. Es sieht so aus das das den Stromverbrauch von Proxmox etwas gesenkt hat und er jetzt im Durchschnitt bei ca. 14 Watt liegen dürfte. Die Stromspitzen, die komischerweise auch in der Nacht auftraten, scheinen jetzt auch geringer bzw. weniger zu sein.



Nachtrag 3:
Ein möglicher Plan B wäre ggf. IPFire statt OPNSense einzusetzen? Sofern IPFire ressourcenschonender wäre?
Oder Plan C statt zusätzlich OMV evtl. gleich kompl. auf TrueNAS statt Proxmox zu setzen. Wobei HA in einer VM unter TrueNAS wohl auch nicht so trivial ist. Ich bin ja auch nicht der erste der über diese Variante nachdenkt.

@Dunuin
Wie ich gelesen habe hast Du ja (u.a.) TrueNAS + Sense im Einsatz. Hast Du zufällig auch Erfahrungswerte mit IPFire? Insbesondere was den Ressourcenverbrauch und die Perfomance im Vergleich zu Sense betrifft?
Ich habe bisher ja weder mit Sense noch mit IPFire eigene Erfahrungswerte, aber IPFire scheint mir (auch) ziemlich "Userfreundliche" zu sein. Ich habe mir eben mal das hier angeschaut/durchgelesen.
Edit: Deinen Nachtrag zu Redundanz und Stromsparen habe ich jetzt erst gesehen. Wenn HA oder der Server kompl. ausfallen sollte wäre das hier kein Problem. Daher ist Redundanz für mich nicht notwendig weil - wie weiter oben schon erwähnt - ich über meine Art der Backups und Restore-Möglichkeiten, (bisher) alles wieder wie zuvor zum laufen bekomme und es somit kaum zu Ausfallzeiten, oder irgendwelchen anderen evtl. negativen Auswirkungen kommt. Aber ich verstehe natürlich was Du meinst.

VG Jim

 

[Dunuin]

Nachtrag: Was die redundanten Disk betrifft. So unterschiedlich können die Erfahrungswerte sein. In jetzt rund 30 Jahren ist mir tatsächlich noch nie eine HDD/SDD gestorben und das auch bei Geräten die z.T. über mehrere Jahre 24/7 laufen/liefen.

Mir sind hier alleine in den letzten 3 Monaten 3 SSDs in den 3 Homeservern weggestorben. Dabei waren 2 einfach über Nacht komplett ohne Vorwarnung tot, obwohl die SMART Werte bis dahin noch gut aussahen. Und bei der dritten waren alle Partitionen zerschossen und Reads/Writes haben nur noch IO Errors und korrupte Daten ausgeworfen. HDDs gingen mir die letzten Jahre auch schon einige drauf. Also ja, ausfallende Disks sind hier keine Seltenheit. Aber ich habe hier auch 20 SSDs und 10 HDDs in den Homeservern, da sieht man dann natürlich auch statistisch besser Ausfälle. Da ist man dann jedenfalls froh, wenn alles einfach weiterläuft und man keine Daten verliert, weil alles mit Redundanz im Raid1/10/5/6 läuft.

@Dunuin
Wie ich gelesen habe hast Du ja (u.a.) TrueNAS + Sense im Einsatz. Hast Du zufällig auch Erfahrungswerte mit IPFire? Insbesondere was den Ressourcenverbrauch und die Perfomance im Vergleich zu Sense betrifft?
Ich habe bisher ja weder mit Sense noch mit IPFire eigene Erfahrungswerte, aber IPFire scheint mir (auch) ziemlich "Userfreundliche" zu sein. Ich habe mir eben mal das hier angeschaut/durchgelesen.

IPFire habe ich noch nicht versucht. OPNsense ist eigentlich auch OK von der Auslastung, solange du nicht alles mögliche an Features aktivierst. Gerade OPNsense Plugins wie Suricata fressen richtig viel Leistung.

Edit: Deinen Nachtrag zu Redundanz und Stromsparen habe ich jetzt erst gesehen. Wenn HA oder der Server kompl. ausfallen sollte wäre das hier kein Problem. Daher ist Redundanz für mich nicht notwendig weil - wie weiter oben schon erwähnt - ich über meine Art der Backups und Restore-Möglichkeiten, (bisher) alles wieder wie zuvor zum laufen bekomme und es somit kaum zu Ausfallzeiten, oder irgendwelchen anderen evtl. negativen Auswirkungen kommt. Aber ich verstehe natürlich was Du meinst.

Problematisch wird es halt wenn dein Server plötzlich anfängt pausenlos abzustürzen. Dann reicht kein Backup Restore, dann musst du neues Netzteil bestellen, par Tage auf Lieferung warten, feststellen, dass das Netzteil nicht das Problm war. Dann neuen RAM bestellen, paar Tage warten, feststellen, dass es nicht der RAM war. Dann neues Mainboard kaufen, paar Tage warten, feststellen, dass es nicht das Mainbaord war. Dann neue CPU, neue Disk, ...bis dann mal das Problem gefunden wurde und wieder alles läuft.
Da kann so ein Homeserver schon durchaus mal 1 oder 2 Wochen offline sein. Betreibt man da seine OPNsense nicht hochverfügbar auf 2 PVE Nodes, dann wäre der komplette Haushalt auch für 1-2 Wochen offline und man hätte nur noch die Smartphones mit dem Mobilfunk-Internet.
Sowas versuche ich hier z.B. mit zwei PVE Nodes zu vermeiden.

 

[jim_os]

Jepp Dein Setup sieht sicherlich auch "etwas" umfangreicher aus als meins hier.

Wie gesagt geht es bei mir ja nur um Home Assistant und das kann ich jederzeit per Backup wiederherstellen. Alle Daten (z.B. Stromverbrauchswerte von Geräten, oder auch die Stromeinspeisung der PV-Anlage) die seit dem letzten Backup fehlen werden danach automatisch entweder aus dem Gerät, oder aus der Hersteller-Cloud, wieder aktualisiert und sind somit wieder auf dem aktuellen Stand. Ansonsten gibt es bei meiner HA-Install. nichts was zwingend notwendig ist damit irgendetwas funktioniert. Oder anders gesagt: Wenn HA hier ausfallen sollte hat das keinerlei Auswirkungen auf den Betrieb irgendwelcher anderer Geräte.

Neben HA soll es dann noch z.B. OPNSense geben. Sollte dann der PC/Server wegen eines Defektes ausfallen wird das LAN hat wieder direkt mit dem Router verbunden und der übernimmt wieder alles so wie es vorher ja auch war. Nur das dann eben die OPNSense-Firewall fehlt.

Bei dem Media-Server - mit welcher Software auch immer ich den realisieren werde - spielt ein Ausfall ebenfalls keine Rolle, da alle Daten redundant auf einem Synology NAS vorhanden sind, wovon es dann zusätzlich noch ein Backup gibt.

Bei meiner einfachen Lösung hier spielt es also nicht wirklich eine Rolle ob und wie lange der Proxmox PC/Server ggf. mal ausfällt. In einem anderen Umfeld sieht das sicherlich ganz anders aus.

IPFire habe ich noch nicht versucht. OPNsense ist eigentlich auch OK von der Auslastung, solange du nicht alles mögliche an Features aktivierst. Gerade OPNsense Plugins wie Suricata fressen richtig viel Leistung.

OK danke für die Info. Ich denke ich werde mich zuerst mal an OPNSense versuchen. Nachdem gerade eben mein Displayport --> HDMI-Adapter angekommen ist (ja den hatte ich wirklich nicht im Bestand) kann ich jetzt auch endlich den Fujitsu in Betrieb nehmen.

Nachtrag 2: Weil ich das gerade gesehen habe. Ich habe gestern Nachmittag noch ein wenig für HA nicht benötigte Hardware im NUC deaktiviert. Es sieht so aus das das den Stromverbrauch von Proxmox etwas gesenkt hat und er jetzt im Durchschnitt bei ca. 14 Watt liegen dürfte.

Das hat sich bestätigt.


Mal sehen wie es dann bei dem Fujitsu aussehen wird.

VG Jim

 

[Dunuin]

Neben HA soll es dann noch z.B. OPNSense geben. Sollte dann der PC/Server wegen eines Defektes ausfallen wird das LAN hat wieder direkt mit dem Router verbunden und der übernimmt wieder alles so wie es vorher ja auch war. Nur das dann eben die OPNSense-Firewall fehlt.

Das klappt aber auch nur bei simplen Setups. Meine OPNsense VMs routen hier z.B. zwischen 11 VLANs (WAN, LAN, IoT, Gast, DMZ, ...). Würde ich da wieder den Switch direkt an die Fritzbox anschließen, würde da nichts mehr laufen, da Consumer-Router nichts mit VLANs anfangen können und generell nur zwischen WAN und LAN und nicht zwischen verschiedensten isolierten Subnetzen routen können (zu mindestens nicht, solange man sich nicht ein OpenWRT draufflasht, sofern möglich). Wenn man auf eine Hardware-Firewall wie OPNsense umsteigt, weil man dessen erweiterte Features braucht, dann gibt es eigentlich auch kein Zurück mehr zu Consumer-Routern.

 

[jim_os]

Mal sehen wie es dann bei dem Fujitsu aussehen wird.

So Umbau und Umzug sind jetzt kompl. erledigt. Im Fujitsu steckt jetzt die 500GB Crucial P1 NVMe SSD aus dem NUC und darauf neu installiert ist Proxmox und HA incl. HA-Backup. Der Stromverbrauch im laufenden HA-Betrieb liegt durchschnittlich bei ca. 13 - 15 Watt. Was dann nur 2 - 3 Watt mehr als bei dem NUC wären. Die Einstellungen im BIOS des Fujitsu stehen noch auf Standard. Ich habe lediglich Audio deaktiviert.



Wie man unschwer erkennen kann habe ich um kurz vor 17.00 Uhr die NVMe SSD eingebaut und dann die Install. gestartet. Was jetzt noch fehlt ist die I350-T4. Die sollte morgen oder am Mittwoch hier aufschlagen.

 

[jim_os]

Entweder ein NAS OS wie OpenMediaVault in LXC/VM laufen lassen und die Disk durchreichen oder einen SMB/NFS Server direkt auf dem PVE Host einrichten, was du aber selbst händisch per CLI administrieren müsstest.

Ich muss hier noch einmal nachhaken. Ich habe jetzt versucht mich über die verschiedenen Möglichkeiten zu informieren wie ich eine weitere SSD einbinden kann. Ich habe mir natürlich das hier angeschaut, dann z.B. auch das hier Proxmox neue Festplatte hinzufügen, oder das Proxmox 6.x 7.x Festplatte/SSD hinzufügen, oder auch z.B. das hier Festplatte hinzufügen zu Proxmox | Anleitung.

Dann habe ich mir u.a. auch noch diesen Beitrag hier im Forum angeschaut, bei dem es ja ebenfalls um das Thema ging. Aber wie das manchmal so ist: Je mehr man liest umso "verwirrter" wird man und außerdem weiß ich auch nicht genau was von diesen ganzen, teils bereits älteren Infos/Anleitungen, noch stimmt.

Du hattest hier ja in Deinem Posting die Vor- und Nachteile von SMB-Server in VM oder LXC genannt. Bei mir geht es ja ausschließlich darum auf einer zusätzlich 1 TB SSD Media-Dateien im LAN zur Verfügung zu stellen. Also das was z.Z. noch eins meiner Synology NAS macht.
Wenn ich jetzt die von Dir genannten Vor- und Nachteile abwäge tendiere ich im Moment zu einer LXC-Lösung mit z.B. Turnkey MediaServer, auch wenn es den Nachteil gibt das der Dienst nicht isoliert ist.

Nun wieder zurück zu meiner "Verwirrtheit". Im Moment sieht der Festplattenaufbau bei mir so aus

root@pve:~# lsblk
NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                            8:0    0 931.5G  0 disk
└─sda1                         8:1    0 931.5G  0 part
nvme0n1                      259:0    0 465.8G  0 disk
├─nvme0n1p1                  259:1    0  1007K  0 part
├─nvme0n1p2                  259:2    0   512M  0 part
└─nvme0n1p3                  259:3    0 465.3G  0 part
  ├─pve-swap                 253:0    0     8G  0 lvm  [SWAP]
  ├─pve-root                 253:1    0    96G  0 lvm  /
  ├─pve-data_tmeta           253:2    0   3.5G  0 lvm
  │ └─pve-data-tpool         253:4    0 338.4G  0 lvm
  │   ├─pve-data             253:5    0 338.4G  1 lvm
  │   ├─pve-vm--100--disk--0 253:6    0     4M  0 lvm
  │   └─pve-vm--100--disk--1 253:7    0    32G  0 lvm
  └─pve-data_tdata           253:3    0 338.4G  0 lvm
    └─pve-data-tpool         253:4    0 338.4G  0 lvm
      ├─pve-data             253:5    0 338.4G  1 lvm
      ├─pve-vm--100--disk--0 253:6    0     4M  0 lvm
      └─pve-vm--100--disk--1 253:7    0    32G  0 lvm

und by-ID dann so

root@pve:~# ls -la /dev/disk/by-id/
total 0
drwxr-xr-x 2 root root 460 Oct 11 10:47 .
drwxr-xr-x 7 root root 140 Oct 11 10:47 ..
lrwxrwxrwx 1 root root   9 Oct 11 10:47 ata-CT1000MX500SSD1_1848E1D9CD98 -> ../../sda
lrwxrwxrwx 1 root root  10 Oct 11 10:47 ata-CT1000MX500SSD1_1848E1D9CD98-part1 -> ../../sda1
lrwxrwxrwx 1 root root  10 Oct 11 10:47 dm-name-pve-root -> ../../dm-1
lrwxrwxrwx 1 root root  10 Oct 11 10:47 dm-name-pve-swap -> ../../dm-0
lrwxrwxrwx 1 root root  10 Oct 11 10:47 dm-name-pve-vm--100--disk--0 -> ../../dm-6
lrwxrwxrwx 1 root root  10 Oct 11 10:47 dm-name-pve-vm--100--disk--1 -> ../../dm-7
lrwxrwxrwx 1 root root  10 Oct 11 10:47 dm-uuid-LVM-NFgvyCOdE2Mav2PQpphnmbyFklzXjWR5FcQFRqJHFYg46N0d57ynb3AcAZNqDWx -> ../../dm-6
lrwxrwxrwx 1 root root  10 Oct 11 10:47 dm-uuid-LVM-NFgvyCOdE2Mav2PQpphnmbyFklzXjWRhZKKujqdx635HxnFqSyCOdE2MgnOEuSY -> ../../dm-7
lrwxrwxrwx 1 root root  10 Oct 11 10:47 dm-uuid-LVM-NFgvyCOdE2Mav2PQpphnmbyFklzXjWRtTMKtEjMf89172Vrxtq735KpYz2nCRVf -> ../../dm-1
lrwxrwxrwx 1 root root  10 Oct 11 10:47 dm-uuid-LVM-NFgvyCOdE2Mav2PQpphnmbyFklzXjWRYeBaubWwQSVcGySe60IdAFLvgePd7tGL -> ../../dm-0
lrwxrwxrwx 1 root root  15 Oct 11 10:47 lvm-pv-uuid-AB3Bfh-Hsya-hceV-yCOdE2M-dcQr-NAu5-nJJwgN -> ../../nvme0n1p3
lrwxrwxrwx 1 root root  13 Oct 11 10:47 nvme-CT500P1SSD8_20442B65FEDC -> ../../nvme0n1
lrwxrwxrwx 1 root root  15 Oct 11 10:47 nvme-CT500P1SSD8_20442B65FEDC-part1 -> ../../nvme0n1p1
lrwxrwxrwx 1 root root  15 Oct 11 10:47 nvme-CT500P1SSD8_20442B65FEDC-part2 -> ../../nvme0n1p2
lrwxrwxrwx 1 root root  15 Oct 11 10:47 nvme-CT500P1SSD8_20442B65FEDC-part3 -> ../../nvme0n1p3
lrwxrwxrwx 1 root root  13 Oct 11 10:47 nvme-eui.000000000000000100a075202b65fedc -> ../../nvme0n1
lrwxrwxrwx 1 root root  15 Oct 11 10:47 nvme-eui.000000000000000100a075202b65fedc-part1 -> ../../nvme0n1p1
lrwxrwxrwx 1 root root  15 Oct 11 10:47 nvme-eui.000000000000000100a075202b65fedc-part2 -> ../../nvme0n1p2
lrwxrwxrwx 1 root root  15 Oct 11 10:47 nvme-eui.000000000000000100a075202b65fedc-part3 -> ../../nvme0n1p3
lrwxrwxrwx 1 root root   9 Oct 11 10:47 wwn-0x500a0751e1d9cd98 -> ../../sda
lrwxrwxrwx 1 root root  10 Oct 11 10:47 wwn-0x500a0751e1d9cd98-part1 -> ../../sda1

Auf der nvme (CT500P1) ist Proxmox in einer Standardinstallation installiert und es gibt eine VM mit HA. Die 1TB CT1000MX500 SSD ist als sda mit ext4 Partition sda1 vorhanden.


Bei einer VM hatte ich als Proxmox-Laie vermutet ich mache das wie mit jeder anderen Hardware die ich durchreichen möchte und so wie ich es von VirtualBox her kenne. Sprich ich gehe einfach auf Hardware --> Hinzufügen und wähle die SDD (hier SATA 1) einfach aus. Packe sie in Storage local-lvm mit den rund 1TB und ab dann steht sie unter der VM als Speicher(medium) zur Verfügung. Wäre diese Vorgehensweise bei einer VM richtig?



Dann gibt es ja die Möglichkeit dem Rechenzentrum Storage hinzuzufügen. Das habe ich schon durchgespielt, indem ich ein Synology NAS per SMB bzw. NFS dort eingebunden habe.



Und dann kann man auch noch unter pve --> Disk Konfigurationen vornehmen und z.B. Verzeichnisse erstellen.


Was ich aber irgendwie nicht schnalle ist welche Wege ich jetzt wie für meinen angedachten Zweck nutzen kann und wie ich diese dann korrekt umsetze. D.h. welche Vorgehensweise trifft dann aus den ganzen o.g. Anleitungen zu wenn ich die 1TB CT1000MX500 SSD als reines Speichermedium entweder in einer VM oder in einem LXC nutzen will? Ich brauche kein RAID, ich brauche kein Backupmedium, ich brauche nur für eine Anwendung xyz in einer VM oder LXC (je nachdem wofür ich mich letztendlich entscheide) die 1TB SDD als Speichermedium.

Ich konnte im Web leider nirgends eine Info/Anleitung finden die auf die möglichen unterschiedlichen Vorgehensweisen eingeht und diese darstellt und erklärt/erläutet. Einfach Trial & Error könnte ich natürlich machen, aber das wollte ich jetzt eigentlich vermeiden.

Es wäre daher super wenn Du, oder ein andere User, mir das für eine Proxmox Einsteiger irgendwie verständlich/kurz erklären könntest.

PS: Sorry das Posting ist doch etwas ausführlicher ausgefallen als geplant und daher danke für's lesen.

VG Jim

 

[Dunuin]

Bei einer VM hatte ich als Proxmox-Laie vermutet ich mache das wie mit jeder anderen Hardware die ich durchreichen möchte und so wie ich es von VirtualBox her kenne. Sprich ich gehe einfach auf Hardware --> Hinzufügen und wähle die SDD (hier SATA 1) einfach aus. Packe sie in Storage local-lvm mit den rund 1TB und ab dann steht sie unter der VM als Speicher(medium) zur Verfügung. Wäre diese Vorgehensweise bei einer VM richtig?

Dann gibt es ja die Möglichkeit dem Rechenzentrum Storage hinzuzufügen. Das habe ich schon durchgespielt, indem ich ein Synology NAS per SMB bzw. NFS dort eingebunden habe.

Bei VMs hätte ich eher mit Disk Passthrough gearbeitet, was du über die CLI machen musst. Würdest du eine 1TB virtuelle Disk auf "local-lvm" ablegen, dann würde PVE versuchen ein 1TB großes LV auf deinem LVM-Thin Pool abzulegen, was ja nur 338 GB von deiner NVMe nutzen kann.

Was ich aber irgendwie nicht schnalle ist welche Wege ich jetzt wie für meinen angedachten Zweck nutzen kann und wie ich diese dann korrekt umsetze. D.h. welche Vorgehensweise trifft dann aus den ganzen o.g. Anleitungen zu wenn ich die 1TB CT1000MX500 SSD als reines Speichermedium entweder in einer VM oder in einem LXC nutzen will? Ich brauche kein RAID, ich brauche kein Backupmedium, ich brauche nur für eine Anwendung xyz in einer VM oder LXC (je nachdem wofür ich mich letztendlich entscheide) die 1TB SDD als Speichermedium.

Ich konnte im Web leider nirgends eine Info/Anleitung finden die auf die möglichen unterschiedlichen Vorgehensweisen eingeht und diese darstellt und erklärt/erläutet. Einfach Trial & Error könnte ich natürlich machen, aber das wollte ich jetzt eigentlich vermeiden.

Es wäre daher super wenn Du, oder ein andere User, mir das für eine Proxmox Einsteiger irgendwie verständlich/kurz erklären könntest.

Nicht vergessen, dass du keine SMB/NFS Shares in einem unprivilegierten LXC mounten kannst.

Wenn mehrere Gäste auf die gleichen Daten zugreifen sollen (also quasi ein gemeinsamer/geteilter Ordner):
VM: geht nur SMB/NFS, keine bind-mounts
unprivilegierter LXC: gehen nur bind-mounts, kein SMB/NFS
privilegierter LXC: gehen bind-mounts und SMB/NFS

Wenn ein Gast nur alleine auf Daten zugreifen können muss (also kein gemeinsamer/geteilter Ordner) dann hätte man zusätzlich noch als Option:
VM: virtuelle Disk nutzen, Disk Passthrough
Unprivilegierter LXC: virtuelle Disk nutzen
Privilegierter LXC: virtuelle Disk nutzen

Am universellsten dürfte es sein, wenn man die 1TB Disk partitioniert (würde ich einzelne 1TB Partition nehmen), formatiert (ZFS wenn man Warnungen bei schleichendem Dateivefall haben will, dann sind aber Consumer SSDs nicht geeignet. Sonst ext4 oder xfs) und über die fstab (siehe hier mit UUID) im PVE Host einhängt. Dann hätte dein Host ein neues 1TB Dateisystem zur Verfügung. Von diesem Dateisystem könnte man jetzt beliebige Ordner in beliebig viele LXCs bind-mounten. Gleiche Ordner können auch parallel in verschiedenste LXCs "gebind-mountet" werden, dass da die LXCs auf die gleichen Daten Zugriff haben. Bei Bind-Mounts hast du kaum Overhead, jedoch musst du bei unprivilegierten LXCs mit dem User-Remapping aufpassen. Siehe hier: https://pve.proxmox.com/wiki/Unprivileged_LXC_containers
In der Kurzfassung: UID/GID 0 bis 65535 im privilegierten LXC sind UID/GID 0 bis 65535 auf dem Host. Aber UID/GID 0 bis 65535 im unprivilegierten LXC sind UID/GID 100000 bis 165535 auf dem Host. Wenn also z.B. ein Ordner auf dem Host UID 1000 gehört und du den dann bind-mountest, dann könnte ein User mit UID 1000 im privilegierten LXC auf diesen Ordner zugreifen, ein User mit UID 1000 im unprivilegierten LXC aber nicht, da dieser User in Wirklichkeit UID 101000 hätte (von Sicht des Hosts). Da müsste man dann erst eine Ausnahme im User-Remapping erstellen, dass da zwar UID/GID 0 bis 999 nach 100000 bis 100999, sowie UID/GID 1001 bis 65535 nach 101001 bis 165535 gemappt werden, aber UID/GID 1000 nach 1000 gemappt wird. Dann würden für den unprivilegierten LXC für UID/GID 1000 im LXC auch UID/GID 1000 auf dem Host sein und UID 1000 könnte auf dem Bind-Mount zugreifen der am Host UID 1000 gehört.

Was dann noch fehlen würde wäre Zugriff auf die Ordner durch VMs. VMs können keine Bind-Mounts benutzen, da diese vollisoliert sind, also musst du mit SMB/NFS Shares arbeiten. Hier könnte man jetzt einen SMB/NFS Server selbst direkt auf dem Host einrichten (alles per CLI) oder alternativ in einem LXC. Da würde man dann die Ordner, die man per SMB/NFS teilen will, erst wie oben beschrieben per Bind-Mount in den LXC bringen, dass da der SMB/NFS Server im LXC Zugriff auf die Ordner hat. Dann würde der SMB/NFS Server diese Ordner im Netzwerk bereitstellen, welche dann die VMs/LXCs als SMB/NFS Shares bei sich einbinden würden.


Eine andere Option wäre dir eine NAS-VM mit z.B. OMV/Xpenology/TrueNAS zu erstellen und dort die 1TB SSD per Disk Passthrough druchzureichen und dann das NAS-OS diese partitionieren und formatieren zu lassen. Dann kann das NAS OS Ordner auf der durchgereichten SSD anderen VMs oder privilegierten LXCs bereitstellen. Unprivilegierte LXCs beleiben aber außen vor, da sie keine Rechte haben um SMB/NFS Shares mounten zu können. Hier gibt es aber einen Workaround. Man kann ein SMB Share erst direkt im Host mounten (wieder fstab) und dieses Mountpunkt des SMB Shares dann per bind-mount in den unprivilegierten LXC bringen. So hat der unprivilegierte LXC dann indirekt Zugriff auf den SMB Share.

 

[jim_os]

Hi,

erst einmal danke für Deine ausführliche Antwort und die Infos.

Absatz 1 habe ich soweit verstanden und den letzten Absatz auch, weil ich ja schon mal OMV länger und TrueNAS zum testen kurz, im Einsatz hatte und weil ich gewisse Kenntnisse in Linux habe. Alle Absätze dazwischen, insbesondere ab dem Punkt "Am universellsten dürfte es sein", lesen sich für mich im Moment wie Chinesisch. Ja ich weiß was z.B. unprivilegierten und privilegierten LXC sind und fstab und Mounts usw. und auch die Links hatte ich mir alle schon mal angeschaut, aber im Moment ist das für mich noch alles ein großes "Gewusel" und das obwohl ich seit rund 30 Jahren in der IT tätig bin. Davon waren aber rund 25 Jahre DOS und Windows (incl. Server) meine Welt.

Das soll jetzt auf keinen Fall ein Vorwurf gegen Dich sein, denn wenn man so tief im Thema drin ist wie Du klingt das Geschriebene sicherlich alles ganz einfach, logisch und nachvollziehbar, aber mir fehlen einfach der Zusammenhang, oder besser gesagt eine klar und nachvollziehbare Unterscheidung und Vorgehensweise.

Einfaches Beispiel für eine einfache Umsetzung: Wenn ich Daten auf meinem Synology NAS sichern will weiß ich jetzt das ich das über: Rechenzentrum --> Storage --> Hinzufügen --> NFS --> Daten (ID, IP, Ordner usw.) machen kann. Ja statt NFS könnte ich auch ein anderes Protokoll nehmen aber der Weg bleibt der gleiche. Also gesagt getan und schon war das NAS als Storage eingebunden. So einen ähnlichen Ansatz hatte ich mir auch erhofft wenn es darum geht (schlicht und einfach) eine HDD/SSD als Speichermedium zur Verfügung zu stellen.

Das es Unterschiede macht ob ich VM oder LXC benutze und das es dann auch noch wieder unterschiedene Wege gibt, ist auch klar, aber das dann so eine "Schwerstgeburt" wird damit habe ich nicht gerechnet und so kenne ich das auch nicht von z.B. VirtualBox.

Klar das liegt daran das ich (noch) zu wenig Erfahrungswerte mit Proxmox/Hypervisor habe und das "viele Wege nach Rom führen", aber wie schon gesagt fehlt mir der Zusammenhang. Dafür helfen mir die oben von mir verlinkten Anleitungen, oder auch Artikel im Wiki wie eben der Passthrough Physical Disk to Virtual Machine (VM) nicht wirklich weiter. Das ist dann eine Anleitung wie ich eine Disk zu einer VM durchreiche und ja klar kann ich das dann anhand der Befehle so machen, aber ich weiß immer noch nicht genau warum ich das so machen kann oder sollte. D.h. das sind immer noch bruchstückhafte Infos, aber nicht die "Gesamtlösung", bzw. eine Erklärung dazu/dahin.

Eigentlich bin ich ja ein Freund von learning by doing, aber ich befürchte ich muss mich dann doch noch wesentlich tiefer in das Thema einlesen, damit ich weiß was ich wo und wie tue und warum.

Wie gesagt: Danke für Deine Infos und Erklärungen! Ich hoffe das, wenn ich mich noch weiter in das Thema einlese bzw. damit befasse, ich auch irgendwann an einen Punkt komme an dem ich das "Chinesisch" verstehe.

VG Jim

 

[Dunuin]

Einfaches Beispiel für eine einfache Umsetzung: Wenn ich Daten auf meinem Synology NAS sichern will weiß ich jetzt das ich das über: Rechenzentrum --> Storage --> Hinzufügen --> NFS --> Daten (ID, IP, Ordner usw.) machen kann. Ja statt NFS könnte ich auch ein anderes Protokoll nehmen aber der Weg bleibt der gleiche. Also gesagt getan und schon war das NAS als Storage eingebunden. So einen ähnlichen Ansatz hatte ich mir auch erhofft wenn es darum geht (schlicht und einfach) eine HDD/SSD als Speichermedium zur Verfügung zu stellen.

Sowas kann PVE aber nicht. PVE ist ein reiner Hypervisor und kein NAS. Es sind keinerlei Funktionen zur Bereitstellung von NFS/SMB Shares enthalten. PVE ist aber ein vollwertiges Debian-basiertes Linux, also kann man damit prinzipiell alles machen, was man eben mit einem vollwertigem Linux machen kann. Das setzt ber eben voraus, dass man sich da selbst über die CLI seine Pakete installiert und über die CLI alles selbst installiert und konfoguriert.
Daher ist es ja einfacher, wenn man sich ein fertiges NAS OS in VM oder LXC aufsetzt, was genau für sowas wie Netzwerkfreigaben von Ordnern, Benutzerverwaltung und Datei-/Ordnerverwaltung entwickelt wurde und entsprechende GUIs liefert.
Dann muss man aber immer noch irgendwie die Ordner ins NAS OS bringen, und das geht eben auch nur über die CLI wie von mir beschrieben.

Klar das liegt daran das ich (noch) zu wenig Erfahrungswerte mit Proxmox/Hypervisor habe und das "viele Wege nach Rom führen", aber wie schon gesagt fehlt mir der Zusammenhang. Dafür helfen mir die oben von mir verlinkten Anleitungen, oder auch Artikel im Wiki wie eben der Passthrough Physical Disk to Virtual Machine (VM) nicht wirklich weiter. Das ist dann eine Anleitung wie ich eine Disk zu einer VM durchreiche und ja klar kann ich das dann anhand der Befehle so machen, aber ich weiß immer noch nicht genau warum ich das so machen kann oder sollte. D.h. das sind immer noch bruchstückhafte Infos, aber nicht die "Gesamtlösung", bzw. eine Erklärung dazu/dahin.

Eigentlich bin ich ja ein Freund von learning by doing, aber ich befürchte ich muss mich dann doch noch wesentlich tiefer in das Thema einlesen, damit ich weiß was ich wo und wie tue und warum.

Wie gesagt: Danke für Deine Infos und Erklärungen! Ich hoffe das, wenn ich mich noch weiter in das Thema einlese bzw. damit befasse, ich auch irgendwann an einen Punkt komme an dem ich das "Chinesisch" verstehe.

VG Jim

Besser wüsste ich das jetzt aber auch nicht zu erklären. Ich habe da schon alles recht oberflächlich belassen und nur grob beschreiben was man warum tun muss. Im Detail wäre es nämlich noch deutlich komplizierter (siehe z.B. den verlinken User-Remapping Wiki Artikel).

 

[jim_os]

Danke das Du mich "schweren Fall" noch nicht aufgegeben hast.

PVE ist aber ein vollwertiges Debian-basiertes Linux, also kann man damit prinzipiell alles machen, was man eben mit einem vollwertigem Linux machen kann. Das setzt ber eben voraus, dass man sich da selbst über die CLI seine Pakete installiert und über die CLI alles selbst installiert und konfoguriert.

OK das wäre zwar kein Problem, aber wozu brauche ich dann noch Proxmox.

Daher ist es ja einfacher, wenn man sich ein fertiges NAS OS in VM oder LXC aufsetzt, was genau für sowas wie Netzwerkfreigaben von Ordnern, Benutzerverwaltung und Datei-/Ordnerverwaltung entwickelt wurde und entsprechende GUIs liefert.

Auch das wäre kein Problem und etwas in der Art will ich ja auch machen. Ob das dann ein NAS OS, oder ein File-/Media- oder was auch immer Server mit Benutzer-, Datei- und Ordnerverwaltung ist. Ich weiß halt nur nicht wie ich dann die 1TB SSD in Proxmox genau dafür integrieren muss. Muss ich dann vorher die 1 TB SSD bei Proxmox irgendwie einbinden, oder wird die dann von dem NAS/OS, File-/Media-Server in der VM automatisch erkannt und ich binde sie nur dort ein? Falls das der Fall ist wäre das ja schon die Lösung. Sorry falls ich mich im Kreis drehen sollte.

Dann muss man aber immer noch irgendwie die Ordner ins NAS OS bringen, und das geht eben auch nur über die CLI wie von mir beschrieben.

Auch das habe ich kapiert, aber was ich noch nicht verstanden habe, oder nachvollziehen kann, ist wozu dann die Dinge wie Storage hinzufügen, Disk, Hardware (Disk) hinzufügen usw. bei Proxmox sind. Konkret: Warum kann ich unter Rechenzentrum --> Storage --> Hinzufügen --> NFS ein NAS einbinden, oder auch in einer VM unter Hardware --> Hinzufügen --> Laufwerk ein Laufwerk einbinden - so wie ich es z.B. von VirtualBox her kenne. Nein darauf erwarte ich jetzt keine Antwort. Wie gesagt fehlt mir dazu noch das Verständnis zu Proxmox bzw. der Gesamtzusammenhang.

Das hier

und über die fstab (siehe hier mit UUID) im PVE Host einhängt. Dann hätte dein Host ein neues 1TB Dateisystem zur Verfügung. Von diesem Dateisystem könnte man jetzt beliebige Ordner in beliebig viele LXCs bind-mounten. Gleiche Ordner können auch parallel in verschiedenste LXCs "gebind-mountet" werden, dass da die LXCs auf die gleichen Daten Zugriff haben.

klingt schon mal gut und so als wenn ich das für meinen geplanten Einsatzzweck gebrauchen könnte. Zumindest wenn ich mit LXC-Anwendungen arbeiten sollte.

Das war's dann für heute auch erst einmal. Mir schwirrt gerade der Kopf und ich mache jetzt besser Feierabend.

VG Jim

 

[Dunuin]

OK das wäre zwar kein Problem, aber wozu brauche ich dann noch Proxmox.

Naja, halt für alles andere was eben ein Hypervisor so tut.
Musst du positiv sehen. Wäre PVE eine Appliance könntest du nur das wenige machen, was dir das WebUI vorsieht zu tun. Das hättest du z.B. oft bei anderen Hypervisor-Anbietern. Aber weil PVE eine vollwertige Linux-Distribution ist kannst du alles das machen, was dir das WebUI erlaubt, plus oben drauf noch alles andere, was man halt mit einem vollem Betriebsystem so machen kann. Dann aber halt über die CLI, wie bei jedem anderen Linux-Server. Und dann ist PVE sogar noch Opensource, also wenn man wirklich will könnte man sogar noch selbst Features programmieren und implementieren, wenn man sie wirklich braucht und wegen PVE noch Linux diese bietet.

Auch das wäre kein Problem und etwas in der Art will ich ja auch machen. Ob das dann ein NAS OS, oder ein File-/Media- oder was auch immer Server mit Benutzer-, Datei- und Ordnerverwaltung ist. Ich weiß halt nur nicht wie ich dann die 1TB SSD in Proxmox genau dafür integrieren muss. Muss ich dann vorher die 1 TB SSD bei Proxmox irgendwie einbinden, oder wird die dann von dem NAS/OS, File-/Media-Server in der VM automatisch erkannt und ich binde sie nur dort ein? Falls das der Fall ist wäre das ja schon die Lösung. Sorry falls ich mich im Kreis drehen sollte.

Wie gesagt, das hängt davon ab ob du eine VM, den Host selbst oder ein LXC als dein NAS benutzen willst. Im Falle einer VM am besten die Disk direkt über Disk Passthrough unpartitioniert und unformatiert in die VM durchreichen.
Im Falle vom Host die Platte im PVE Host über die fstab selbst mounten.
Und im Falle eines LXCs die Platte im PVE Host mounten und dann per bind-mount in den LXC durchreichen.

Auch das habe ich kapiert, aber was ich noch nicht verstanden habe, oder nachvollziehen kann, ist wozu dann die Dinge wie Storage hinzufügen, Disk, Hardware (Disk) hinzufügen usw. bei Proxmox sind. Konkret: Warum kann ich unter Rechenzentrum --> Storage --> Hinzufügen --> NFS ein NAS einbinden, oder auch in einer VM unter Hardware --> Hinzufügen --> Laufwerk ein Laufwerk einbinden - so wie ich es z.B. von VirtualBox her kenne. Nein darauf erwarte ich jetzt keine Antwort. Wie gesagt fehlt mir dazu noch das Verständnis zu Proxmox bzw. der Gesamtzusammenhang.

PVE kann über das WebUI SMB/NFS Shares als SMB/NFS Client einbinden. Es ist aber kein SMB/NFS Server und kann über das WebUI daher keine SMB/NFS Shares selbst bereitstellen. Dein Browser kann ja auch nur Webseiten als Client anzeigen aber keine Webseiten als Webserver ins Netz stellen. Da muss man schon zwischen Client und Server unterscheiden.
Man kann PVE aber zum SMB/NFS Server machen, aber halt unabhängig von PVE, indem man es sich selbst einrichtet wie in jedem anderen Linux auch.

 

[jim_os]

Moin,

ich werde mich noch ein wenig weiter in das Thema Proxmox Storage einlesen und nach dem learning by doing Prinzip vorgehen. Sprich ich werde mal die unterschiedlichen Möglichkeiten durchspielen.

Eben habe die 1TB einfach mal als Mount eingerichtet und werde zuerst mal schauen was ich damit so "anstellen" kann.



VG Jim

 

[jim_os]

Da bin ich (schon) wieder.

Die 1TB CT1000MX500 SSD ist als sda mit ext4 Partition sda1 vorhanden.
View attachment 42109

Und dann kann man auch noch unter pve --> Disk Konfigurationen vornehmen und z.B. Verzeichnisse erstellen.
View attachment 42112

Etwas weiter bin ich jetzt schon mal. Ich weiß jetzt warum ich an der Einbindung der 1TB SSD so "verzweifelt" bin und warum all die Infos zu dem einbinden einer Disk als LVM, LVM-Thin, Verzeichnis bei mir nicht funktioniert haben, bzw. ich diese nicht nachvollziehen konnte. Erst als ich das hier https://www.monoplan.de/Proxmox-Festplattenspeicher.html gelesen habe ist bei mir der Groschen gefallen.

Meine 1TB SSD war ja vorher bereits im Einsatz und partitioniert und formatiert. Somit bin ich davon ausgegangen das ich sie auch einfach so unter Disks verwenden kann. Das war aber nicht das Fall. Erst als ich sie dann per Proxmox formatiert und mit GPT initialisiert hatte, war sie bei Disks vorhanden und konnte verwendet/eingebunden werden.



Wahrscheinlich war das ein klassischer Anfängerfehler, aber auf jeden Fall kommt ich jetzt endlich weiter.

 

[jim_os]

Ich habe in den letzten Tagen einige VM und LXC Varianten durchgespielt und werde jetzt wohl OMV in einer VM für mein Vorhaben (Medien-/File-Server) einsetzen. Ziel ist halt Mediendateien (Video, Musik, Foto) allen Clients im LAN zur Verfügung zu stellen. Also das was jetzt meine DS218+ per SMB und NFS (ggf. auch noch per DLNA) macht. Da ich OMV vor rund 2 Jahren schon mal für eine Weile im Einsatz hatte weiß ich das ich damit das alles abdecken kann.

D.h. die kompl. 1TB SSD soll einfach unter der OMV VM mit EXT4 formatiert als Datenspeicher zur Verfügung stehen. Kein RAID, kein Verbund, kein ZFS, kein .... Einfach eine normale 1TB SDD mit einer EXT4 Partition.

Dazu habe ich allerdings immer noch eine Frage zu meinem "Lieblingsthema" HDD einbinden.

Obwohl ich in letzter Zeit eine Menge dazu gelesen habe - auch hier im Forum ist das Thema HDD einbinden ja immer wieder ein Thema - sind mir die ganzen unterschiedlichen Möglichkeiten und deren Vor- und Nachteile, leider immer noch nicht zu 100 % klar. Insbesondere weil man immer wieder z.T. unterschiedliche Dinge und Vorgehensweisen dazu liest.

OK die üblichen Wege ein weitere HDD "zu Fuß" per CLI einzubinden ist wie unter Linux üblich halt das Mounten oder per Passthrough. Je nachdem ob man VM oder LXC oder beides zusammen nutzt. Soweit klar und dazu gibt es ja div. Infos und Anleitungen.

Was ich bei meinen div. Tests in den letzten Tagen noch gesehen und durchgespielt habe, ist das hier:

Die 1TB SSD (sda) ist unter PVE - Disk vorhanden



Anschließend PVE - Disk - Verzeichnis erstellen



Im Anschluss ist sie als Storage sda1 vorhanden



Wenn ich jetzt eine VM erstelle - in dem Beispiel eine VM mit OMV - dann kann ich dort doch die sda1 als zweite Festplatte einbinden. Entweder als SATA, wie hier in dem Beispiel, oder als VirtIO SCSI.



Nachdem OMV dann installiert ist ist die sda dort bei Laufwerken vorhanden


Es kann das Dateisystem erstellt werden


Sie kann im Anschluss eingehängt werden


und steht dann als Speichermedium zur Verfügung.


Im Anschluss kann man darauf einen Ordner (hier: Media) erstellen und diesen dann freigeben.


OK - bis hier hin. Weiter habe ich OMV dann noch nicht eingerichtet, da ich mich jetzt frage ob diese Form der Einbindung der HDD unter Proxmox - in Verbindung mit einer VM - "richtig" ist, oder ob das so an irgendeiner Stelle dann nicht funktionieren würde und/oder ich etwas nicht bedacht habe? Falls das so funktionieren würde, wo ist dann der Unterschied zu dem "zu Fuß" per CLI einbinden per Disk Passthrough?

Ich befürchte irgendeinen "Pferdefuß" muss das doch haben, sprich irgendetwas habe ich übersehen bzw. nicht bedacht?

VG Jim

 

[Dunuin]

Du kannst eine Disk nicht zwischen Host und VM teilen wenn du Disk Passthrough benutzt. Wenn beide gleichzeitig darauf zugreifen führt das zu Datenkorruption. Also entweder du nutzt die Disk im Host ODER in der VM. Was man machen kann ist der Disk 2 Partitionen verpassen und dann eine Partition für PVE nutzen und die andere per Disk Passthrough durchreichen.

Oder du bindest die ganze Disk ausschließlich im Host ein, speicherst auf der dann eine virtuelle Disk als qcow2-Datei und nutzt dann die virtuelle Disk für deine VM.

Wenn der PVE Host sich die Ordner/Dateien mit der VM teilen soll, dann wäre es am besten, wenn du einen SMB/NFS Share aus der VM im PVE Host einbindest.

 

[jim_os]

Danke erst einmal wieder für Deine Antwort.

Du kannst eine Disk nicht zwischen Host und VM teilen wenn du Disk Passthrough benutzt.

So ganz genau weiß ich nicht was Du damit meinst. Ein Disk Passthrough wie hier beschrieben habe ich ja nicht manuell eingerichtet. Ich habe nur die Schritte ausgeführt die ich oben per Screenshots beschrieben habe. D.h. alles ausschließlich über das Proxmox WebGUI. Das sda1 Storage sieht z.Z. so aus

Wenn beide gleichzeitig darauf zugreifen führt das zu Datenkorruption.

D.h. so wie ich es gemacht habe würde es nicht funktionieren weil ja dann - auch wenn ich es gar nicht nutzen würde oder will - noch die Möglichkeit bestünde das sda1 Storage z.B. für ISO-Images, Container Templates usw. zu nutzen?


Edit zu Deinem Edit: "Oder du bindest die ganze Disk ausschließlich im Host ein, speicherst auf der dann eine virtuelle Disk als qcow2-Datei und nutzt dann die virtuelle Disk für deine VM."
Ist das nicht das was ich oben per WebGUI gemacht habe?

VG Jim