Wie die HDD im Proxmox managen?

[Pannelecker]

Hallo
Jetzt muss ich mal eine paar Fragen in die Runde stellen
Habe seit einiger Zeit einen Raspi 4 und war damit voll zufrieden, es lief Plexserver,Pi-Hole, OMV und ein paar andere Dinge.
Alles soweit gut, bis ich auf die Idee mit Nextcloud kam und relativ schnell merkte dass ich dort an die Grenzen komme.
Habe dann von Proxmox erfahren und war von den Videos so angetan dass ich mir direkt ein
Mini Pc NAB5 kaufte
(MINIS FORUM Mini PC NAB5,Intel Core i5-12450H 8-Kern-CPU 32 GB DDR4/512 GB SSD
)
Mittlerweile habe ich mir noch einen weiteren Mini PC GK41 gegönnt der nur als Backup Server dient.
Habe viel gelesen und etliche Videos gesehen, brauche aber mal ein wenig Unterstützng der Vorgehensweise
Hier mal meine aktuelle Hardware:
MiniPC NAB5 - Proxmox Server
MiniPC GK41 – Proxmox Backup Server
2 Raspi 4 8gb auf einem Ist OMV und beim anderen habe ich im Moment nur Bitwarden laufen
2 x 4 TB HDD Seagate die über eine Dockingstation per USB angeschlossen werden


Mein Ziel:
Opnsense auf dem Proxmox, dahinter alle VM und CT
PiHole bzw AdGuard
Nextcloud und Plexserver wo die HDD zum Einsatz kommen sollen
Schön wäre es wenn die beiden HDD in den Spindown kommen, da ich nur gelegentlich drauf zugreifen werde und sie nicht im Dauerbetrieb laufen sollen
Hier würde sich doch bestimmt OMV anbieten, auch wegen SMB Freigaben, da kenn ich mich ganz gut aus und das klappte bisher auch

Dies wäre erst mal das Wichtigste, da kommt bestimmt noch etwas

Ich habe im Moment ein wenig Probleme wie ich die Sache mit den Festplatten angehe.
Würde gerne die Platten über OMV verwalten und dort die Freigaben machen und sie eigentlich nur für Nextcloud und Plex nutzen.
Sicherung eventuell über Rsync (1 HDD Daten, die andere Backup)
Wie kann ich es am besten gestalten dass alles harmoniert und die Festplatten zu den Diensten durchgereicht werden

Ist VM oder CT besser?

Wäre über Tips und Anregungen sehr dankbar

 

[Dunuin]

OMV im LXC ist problematisch. Mein letzter Kenntnisstand ist, dass das mit dem Rootfs-Plugin und Bind-Mounts nicht läuft.
Bei OMV als VM würde sich Disk Passthrough am ehesten anbieten, wenn die HDDs rein für OMV und dessen SMB/NFS Shares sein sollen: https://pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Virtual_Machine_(VM)
Spindown wird eher schwierig. Einzige Möglichkeit wie eine VM direkt mit der physischen Disk kommunizieren könnten wäre ein PCI Passthrough eines kompletten Disk Controllers oder USB Controller und das wird wohl im MiniPC nichts werden. Ohne dass da OMV direkt mit der HDD kommunizieren kann, wird OMV die Disk auch nicht in den Spindown schicken können.
Die Disk wird bei Disk Passthrough weiterhin vom PVE Host verwaltet und nur als virtuelle Disk der VM präsentiert. Da könntest du dann versuchen das APM und den Spindown-Timeout im PVE Host über die /etc/hdparm.conf einzustellen.
Aber behalte per smartctl die Abnutzung der Disk im Auge. Eine HDD kann nur begrenzt oft die Köpfe parken und den Motor anlaufen lassen. Ein zu aggressives Spindown kann dann auch wieder nicht toll für die Platte sein. Ich persönlich habe hier daheim z.B. den Spindown gezielt deaktiviert, weil ich das Gefühl habe, dass da die HDDs dann länger halten, wenn ich die nicht ein paar dutzend mal am Tag hochdrehen lasse.

 

[Devian242]

Ich kann mich @Dunuin nur anschließen.

OMV ist in einer VM klasse, aber als LXC macht das Ding nur Probleme. Habs lange getestet (auch in noch so abstrusen Konfigurationen, aber als Conainer macht OMV keinen Spass.)

Was Spindown angeht, sehe ich die Sache ähnlich. Lieber die Platten durchlaufen lassen (Konstante Betriebstemperatur, Motorschonung etc) als dauernd Stress auf die Spindel zu geben.

 

[Pannelecker]

Erst mal Danke für die Antworten.top
Also mit dem Spindown habt ihr mich überzeugt, werde ich wohl sein lassen
Werde mich jetzt an die VM mit OMV dranmachen, benutze zum Test aber noch eine ältere HDD die über ext USB Gehäuse an den Host angeschlossen wird
Fragen
Muss ich die HDD im PVE zusätzlich in irgendeiner Weise initialisieren oder formatieren oder langt es wenn ich sie im OMV bearbeite, dort erteile ich ja auch die Freigaben?
Kann ich die HDD über die Proxmox GUI der VM unter Hardware, Hinzufügen (den kompletten USB Port) durchreichen, oder muss dies über die Konsole mit bsp.:
qm set 101 -scsi1 /dev/disk/by-id/ata-WDC_....erfolgen? Habe die USB Variante grade genommen und ich habe vollen Zugriff im OMV....gibt es da Unterschiede?

Desweiteren...wie verhält sich das mit den SMB/NFS Shares?
Wird das über die Konsole der VM bzw LXC zugefügt oder geht das auch über die GUI?
Brauche ich dann einen LXC Samba Server um die SMB/NFS Shares in Windows zu sehen?

Ich habe übrigens die neuste Version von Proxmox 8.0.4
EDIT: Die HDD habe ich jetzt im OMV eingebunden mit ext4 Freigaben sind erstellt und
Power Management
128 - Minimaler Energieverbrauch ohne Bereitschaft (kein Spindown)
Maximale Leistung und Spindown deaktiviert
Schreibcache aktiviert
LG und Danke

 

[Dunuin]

Muss ich die HDD im PVE zusätzlich in irgendeiner Weise initialisieren oder formatieren oder langt es wenn ich sie im OMV bearbeite, dort erteile ich ja auch die Freigaben?

Nur von der OMV VM aus alles machen. Mountest du ein Dateisystem sowohl in der VM als auch gleichzeitig im PVE Host, dann zerschießt du dir die Daten oder gar das Dateisystem.

Kann ich die HDD über die Proxmox GUI der VM unter Hardware, Hinzufügen (den kompletten USB Port) durchreichen, oder muss dies über die Konsole mit bsp.:
qm set 101 -scsi1 /dev/disk/by-id/ata-WDC_....erfolgen? Habe die USB Variante grade genommen und ich habe vollen Zugriff im OMV....gibt es da Unterschiede?

Über die Console mit "qm set". Alles was nicht super Basic ist geht bei PVE über die Console (also 99% von dem, was man mit PVE so machen könnte wenn man möchte). USB Passthrough ist nicht empfehlenswert. Das ist weder für Anwendungen die Durchsatz oder Latenz brauchen geeignet (also auch nicht für HDDs), da dort USB komplett emuliert werden muss. Disk Passthrough arbeitet da deutlich performanter.

Desweiteren...wie verhält sich das mit den SMB/NFS Shares?
Wird das über die Konsole der VM bzw LXC zugefügt oder geht das auch über die GUI?

Also erstmal sollte gesagt werden, dass du in den sichereren unprivilegierten LXCs keine SMB/NFS Shares mounten kannst. Das geht nur indirekt über den Umweg, indem man den Share auf dem PVe Host mountet und dessen Mountpoint dann per bind-mount in den unprivilegierten LXC bringt. Aber das ist eine ziemliche Qual mit dem User Remapping und seeehr nervig, falls du mal den PVe Host neu aufsetzen oder den LXC auf einen anderen Node migirieren willst...
SMB/NFS Shares im PVE Host einbinden geht über das webUI.
SMB/NFS Shares im privilegierten LXC oder in einer VM einbinden liegt ganz beim Gast OS, hat also nichts mit PVE zu tun.

Brauche ich dann einen LXC Samba Server um die SMB/NFS Shares in Windows zu sehen?

OMV VM wäre dann doch schon dein SMB/NFS Server.

 

[Pannelecker]

Jetzt mal eine grundlegende Frage

Wenn ich mir ein System aufbauen will
das unabhängig von den weiteren VM und LXC (Adguard, Grafana usw)
aus 2 4TB Platten die an der USB Dockingstation hängen besteht
Wo drauf Plex, Nextcloud und mein PC zugreifen sollen
Was wäre denn die sinnvollste Variante ?
Bin da jetzt wirklich für alles offen, da ich noch absolut in der Testphase bin

Da ist es auch völlig wurscht ob ein OMV oder ein Raid System, ZFS,VM, LXC usw zum Einsatz kommen
Ich will erst mal das Plex und Nextcloud vollen Zugriff auf die Festplatten haben und das es eine Sicherung der Platten (4TB) gibt !!!

Wäre da wirklich sehr Dankbar für Tips
LG

 

[Dunuin]

Hängt ganz von deinen Anforderungen ab.

Wie vertraut bist du mit Linux-Server-Administration?
Wie wichtig ist dir Datenintegrität?
Wie wichtig ist dir Uptime?
Brauchst du ein WebUI für SMB/NFS/Usermanagement?
Wie willst du deine Backups machen?
Hast du auch Dienste die vom Internet aus erreichbar sein sollen?
Planst du unprivilegierte LXCs zu benutzten?
Wie sieht die Workload aus?
Was genau sind die Hardware-Komponenten?
Wieviel Zeit willst du dem ganzen bei der Einrichtung und später für die Instandhaltung opfern?
Planst du später weitere PVE Nodes zu haben?
...

Da gibt es keine Eierlegendewollmilchsau und man muss immer Kompromisse finden.

 

[Pannelecker]

Hi Dunuin

Also

Ganz ehrlich sind meine einzigen Erfahrungen mit dem Raspi, bin ja erst vor kurzem auf Proxmox aufmerksam geworden
Datenintegrität sollte schon zuverlässig und sicher sein
Betriebszeit - Werde auf die Dienste nur gelegentlich zugreifen, kann durchaus vorkommen dass ich auch mal ein paar Tage es nicht benutze
allerdings bin ich der einzige der darauf zugreifen wird, auch in Zukunft
Generell finde ich das OMV als WebUI sehr geil
Backup soll über den anderen MiniPC mit PBS laufen und bei den Festplatten (das was am meisten Sinn ergibt für das System, mit Raid, ZFS oder ...)
Dienste übers Internet - im Moment läuft nur ein Bitwarden aber da wird bestimmt noch was dazu kommen
Priorität liegt erst mal auf Plex und Nextcloud, da die ja auch die HDD brauchen

Wie schon erwähnt habe ich
2 Raspi 4 8GB
MINIS FORUM Mini PC NAB5,Intel Core i5-12450H 8-Kern-CPU 32 GB DDR4/512 GB SSD (Hier soll Proxmox laufen)
2 4TB HDD
1 älteren MiniPC für PBS

Wenn mein System mal laufen sollte und ich alles verstehe würde ich noch eine Opnsense auf dem Proxmox vor allem schalten.
Diese habe ich auch schonmal installiert und ein wenig reingeschnuppert

Irgendwann würde ich gerne alles komplett neu gestalten und mich von der Fritzbox usw trennen und dann mit einem (z.b.: DrayTek, Firewall vor dem ganzen System usw) neu aufstellen, aber dies hat noch Zeit

Zeit spielt da im Moment erst mal keine große Rolle, habe da keinen Druck und es macht mir ja auch Spass (bis jetzt)
Aber es sollte schon sehr zuverlässig laufen wenn ich das System dann irgendwann mal komplett aufsetzten werde

Dir auch schonmal ein Danke für deine Zeit

 

[Dunuin]

Betriebszeit - Werde auf die Dienste nur gelegentlich zugreifen, kann durchaus vorkommen dass ich auch mal ein paar Tage es nicht benutze
allerdings bin ich der einzige der darauf zugreifen wird, auch in Zukunft

Die frage ist eher wie sehr es dich stört wenn deine Dienste mal für 1-2 Wochen nicht laufen weil dir eine Disk wegstirbt oder ähnliches und du erst Ersatz kaufen, auswechseln, umkonfigurieren, Backups zurckspielen etc musst.

Backup soll über den anderen MiniPC mit PBS laufen und bei den Festplatten (das was am meisten Sinn ergibt für das System, mit Raid, ZFS oder ...)

Raid (oder auch Snapshots) ersetzen nie ein Backup und macht man nur zusätzlich für weniger Downtime, weniger Arbeit, weniger Datenverlust. Ein richtiges Backup all der Daten sollte man dann trotzdem haben.

Dienste übers Internet - im Moment läuft nur ein Bitwarden aber da wird bestimmt noch was dazu kommen

Dann würde ich persönlich aus Sicherheitsgründen schon einmal dafür keine privilegierten LXCs nehmen wollen was es dann mit SMB/NFS Shares schwierig macht, wenn du Container anstatt VMs wollen würdest.

 

[Pannelecker]

Die frage ist eher wie sehr es dich stört wenn deine Dienste mal für 1-2 Wochen nicht laufen weil dir eine Disk wegstirbt oder ähnliches und du erst Ersatz kaufen, auswechseln, umkonfigurieren, Backups zurckspielen etc musst.

Das ist und wäre auch in Zukunft kein Problem....stört mich jetzt nicht so sehr

Raid (oder auch Snapshots) ersetzen nie ein Backup und macht man nur zusätzlich für weniger Downtime, weniger Arbeit, weniger Datenverlust. Ein richtiges Backup all der Daten sollte man dann trotzdem haben.

Ein richtiges Backup wäre natürlich schon was feines

Klingt logisch und bin in der Richtung ganz offen für Vorschläge, falls es da noch an Hardware fehlt

Dann würde ich persönlich aus Sicherheitsgründen schon einmal dafür keine privilegierten LXCs nehmen wollen was es dann mit SMB/NFS Shares schwierig macht, wenn du Container anstatt VMs wollen würdest.

Ok
Also alles erst mal als VMs oder was wäre die andere Variante

 

[Pannelecker]

Hat einer ein Tip wie ich das umsetzten kann?

 

[Pannelecker]

Ein echt tolles hilfreiches Forum !!!

 

[Falk R.]

Hat einer ein Tip wie ich das umsetzten kann?

Wo genau ist denn jetzt dein Problem? Wenn ich mir das durchlese, ist doch alles besprochen worden.

 

[Pannelecker]

Wie gehe ich denn am Besten jetzt vor damit ich meine HDD (über OMV) zu Plex und Nextcloud durchreiche
Alles in VM packen ?
Was ist denn für mein System das Sinnvollste ?

 

[Dunuin]

Das ist halt ein komplexes Thema. Da gibt es keine beste Lösung für alles. Egal wie du das angehst, du wirst immer auf Probleme treffen wo etwas dann nicht geht.
Nur du kannst deinen exakten Anwendungsfall einschätzen und musst selbst wissen was du für Kompromisse bereit bist einzugehen.
Mehr als dich auf Stolpersteine hinzuweisen können wir da auch nicht.
Um genau zu beschreiben, wie man da was mit welchen Vor- und Nachteilen umsetzt, müsste man schon einen mehrstündigen Vortrag halten.
Meinem Heimserver habe ich gute 7 mal neu aufgesetzt, etliche mal die Hardware gewechselt und hunderte Stunden ins Setup investiert, bis ich damit zufrieden war.

Ich kann dir da höchstens Fragen zu spezifischen Problemen beantworten, wenn du wo nicht weiter kommst. Super generelle Fragen wie ein "Wie setze ich das am besten auf?" erfordern eine buchlange Antwort, wo den meisten die Zeit für fehlen sollte.

Für mich persönlich war die beste Option 3 PVE server mit jeweils ZFS raid1/raid10 als lokalen Storage für die VMs/LXC, zwei PBS im privilegierten LXC für Backups, 2x TrueNAS als VMs mit Replikation für Redundanz mit PCI passthrough von HBA Karten für HDD/SSDs rein als Coldstorage. Die Daten vom NAS bringe ich dann per NFS/SMB in VMs für alles was stabil laufen muss oder im Internet hängt und in privilegierte LXC für alles unwichtigere was rein offline ist. Auf unprivilegierte LXC muss ich dann aber z.B. verzichten und habe entsprechend mehr Overhead und brauche dann viel teurere und stromhungrigere Hardware.

Aber für dich wird das bestimmt wieder ganz anders aussehen, weil du andere Prioritäten setzt.

 

[Pannelecker]

Danke für die Antwort
Werde jetzt erstmal viele Videos schauen und viel testen))

 

[Pannelecker]

Eine Frage habe ich noch...

Mein wichtigstes Ziel ist erst mal Plex und Nextcloud in einer VM zum laufen zu bringen, wo die beiden 4 TB durchgereicht werden
Am liebsten würde ich sie (wie schon erwähnt) über OMV verwalten

Frage :
Gibt es einen Unterschied wenn ich OMV auf dem Raspi laufen lasse und da die HDD dran hänge oder OMV in einer VM

bzw evtl. gibt es ja eine andere Variante die sinnvoller wäre mit meinen jetzigen Komponenten

Für einen Tip dazu wäre ich sehr dankbar.....das wäre erst mal eine Basis auf die ich testen könnte

Gruß

 

[Dunuin]

Also mein OMV oder Nextcloud auf den Raspis war alles andere als schnell und meine vier Pis sind alle längst eingemottet. Wenn man erst einmal x86 Performance gewöhnt ist, möchte man keine SBCs mehr laufen haben.
Beim Nextcloud auf dem Pi musste ich immer gefühlte 5 Sekunden warten, wenn ich im webUI was geklickt habe. Das macht auf Dauer echt keinen Spaß.
Und dann bist du beim Pi auch auf 1Gbit beschränkt und die Gbit NIC hängt intern am gleichen US(B) Bus wie auch deine HDDs. Ist dann auch echt nicht toll wegen Bandbreite für ein NAS.

Außerdem nicht vergessen, dass du bei interner Kommunikation zwischen VMs nur durch die Singlethreaded-Leistung deiner CPU beschränkt bist und nicht durch die Leistung deiner physischen NIC. Wenn die CPU das mit macht können OMV VM, Plex VM und Nextcloud VM durchaus mit 20Gbit oder ähnlichem kommunizieren. Nur externe Clients die dann z.B. auf Nextcloud zugreifen oder was von Plex streamen wollen hätten dann die 1Gbit der physischen NIC als Flaschenhals.

USB Disk würde ich per Disk Passthrough in die OMV VM bringen, da USB Passthrough langsamer und weniger stabil ist und deine Medien dann per SMB/NFS vom NAS in die Nextcloud und Co.

Und Plex frisst maaaassig CPU Leistung wenn du keine Subscription + PCI Passthrough der GPU hast. Da eine VM keinerlei physische Hardware wie eine GPU nutzen kann, wenn du die nicht per PCI Passtrough duechreichst (wo dann weder Host noch andere VMs/LXCs die Hardware mehr nutzen könnten). Da kann ein Transcoding von einem Video schnell mal alle CPU Kerne auf 100% bringen, dass da alles hängt, weil alles an Decocoding/Encoding in Software von der CPU erledigt werden müsste. Da bist du dann zurück in die 90er, wo es noch keine GPUs gab.
Und ist die Frage ob du die iGPU überhaupt durchreichen kannst beim MiniPC. Normal würde man sich da eine GTX1050 oder Quadro in den Server rein für das Transcoding stecken, aber das ist beim MiniPC ja auch nicht drin.
Host + Plex könnten sich die iGPU wiederum nur teilen, wenn du Plex in einem Container laufen lässt. Und im privilegierten Container wäre es mir persönlich schon wieder zu unsicher um Plex vom Internet aus erreichbar zu machen. Dann wäre es schlecht wenn man von Unterwegs oder von Freunden aus was streamen will.
Unprivilegierter LXC wäre da sicherer, aber da kannst du wegen zusätzlicher Isolation wiederum nicht direkt deine Medien per SMB/NFS in den unprivilegierten Plex LXC bringen...das meine ich damit, dass du immer auf irgendwelche Einschränkungen triffst...

Ist quasi immer ein Abwägen zwischen mehr Isolation/Abstraktion für bessere Sicherheit, weniger Abhängigkeiten und weniger Rumgefrickel vs weniger Isolation/Abstraktion für weniger Overhead und besseres Ausnutzen von physischer Hardware.

 

[Pannelecker]

Vielen Dank für diese ausführliche Erklärung

Werde mir jetzt mal alles durch den Kopf gehen lassen und ein Plan erstellen den ich Schritt für Schritt teste

Mal schauen wie weit ich komme

 

[Pannelecker]

Hi

Also ich habe jetzt soweit meine Sachen ganz gut am laufen und Backups mit Snapshot laufen jede Nacht

Wollte jetzt so langsam die Sache mit dem Backup des ganzen Systems angehen

Was gibt es da zu beachten bzw welche Methoden sind sinnvoll

Habe etwas über Clonezilla gelesen und gewisse Ordner zu sichern

Für Tips wäre ich sehr dankbar

LG