[SOLVED] HDD Passthrough in VM

[Wikinger85]

Hallo zusammen,

ich hoffe ihr könnt meiner Verwirrung mit etwas Entwirrung helfen.

Ich hatte ursprünglich innerhalb von Proxmox eine VM mit OVM für Plex am laufen. Wollte dann auf OMV6 upgraden, dies ging in die Hose und jetzt muss bzw. will ich das neuaufsetzen. Bin jetzt am überlegen auf TrueNas zuwechseln, einfach weil dort ja z.B. Plex schon als Plugin vorhanden ist und mein erster Eindruck recht positiv ist. Ausserdem hatte ich es schonmal gehabt, dass ich es erneut aufsetzen musste und ich Probleme hatte (lag wahrscheinlich an mir), die Festplatten erneut wieder einzubinden ohne Datenverlust. Auch hatte mich immer etwas genervt, das wenn man in Proxmox ein Laufwerk hinzugefügt hatte, man immer sich an den grösstmöglichen Speicherwert rantasten musste. (bin ich zu doof dafür?)

Meine Frage sind:

1. Kann ich es mit dem Passtrough umgehen, so dass die HDD wirklich vollständig (max. Kapazität) weitergegeben wird und was passiert, wenn mir die VM wieder mal Bye-Bye sagt, ich es neu aufsetzen muss oder etwas anderes testen möchte mit den Daten? Sind diese dann weiter verfügbar? Es ist an sich kein schmerzhafter Verlust, will einfach Verständnis entwickeln und den Aufwand reduzieren.

2. Wie steht es um die Sicherheit von durchgereichten Platten? Ich habe einen Turnkey Fileserver, Nextcloud sowie einen TS in jeweils einem LXC. Ich frage mal doof in meiner Laienwelt, sollte sich jemand unberechtigten Zugriff via der VM erschleichen, hat er dann auch die Möglichkeit auf die anderen Container und Festplatten zu kommen? Keine Ahnung ob es da Möglichkeiten gibt via dem Passhrough= Es gibt noch 2 andere Platten, für Nextcloud sowie den Fileserver je eine.

Ich kann immer nur sagen, ich bin ein Laie, versuche auch Google und Youtube zu misshandeln, aber irgendwie so richtig werde ich nicht fündig. Eben wichtig ist mir die Sicherheit, obwohl ich an sich nichts zu verheimlichen habe... aber wer mag schon Privatsachen unnötig öffentlich machen. Von aussen erreichbar sind für mich nur Plex und der Teamspeak.

Danke für jede ernstgemeinte Hilfe.

Cheers

 

[Dunuin]

Hallo zusammen,

ich hoffe ihr könnt meiner Verwirrung mit etwas Entwirrung helfen.

Ich hatte ursprünglich innerhalb von Proxmox eine VM mit OVM für Plex am laufen. Wollte dann auf OMV6 upgraden, dies ging in die Hose und jetzt muss bzw. will ich das neuaufsetzen. Bin jetzt am überlegen auf TrueNas zuwechseln, einfach weil dort ja z.B. Plex schon als Plugin vorhanden ist und mein erster Eindruck recht positiv ist. Ausserdem hatte ich es schonmal gehabt, dass ich es erneut aufsetzen musste und ich Probleme hatte (lag wahrscheinlich an mir), die Festplatten erneut wieder einzubinden ohne Datenverlust. Auch hatte mich immer etwas genervt, das wenn man in Proxmox ein Laufwerk hinzugefügt hatte, man immer sich an den grösstmöglichen Speicherwert rantasten musste. (bin ich zu doof dafür?)

Ich würde Plex nicht als TrueNAS Plugin laufen lassen. Dann hast du eine TrueNAS VM und da innerhalb dann noch ein Plex als Jail (also als FreeBSD Container). Da würde ich Plex lieber gleich auf Proxmox im LXC laufen lassen. Die TrueNAS Plugins waren meiner Erfahrung nach auch nicht gerade aktuell und nur schwer individualisierbar. Da habe ich mir damals unter TrueNAS immer lieber slebst meine eigenen Jails aufgesetzt, selbst wenn es bereits ein fertig Plugin mit dem gleichen Service gab.

Meine Frage sind:

1. Kann ich es mit dem Passtrough umgehen, so dass die HDD wirklich vollständig (max. Kapazität) weitergegeben wird und was passiert, wenn mir die VM wieder mal Bye-Bye sagt, ich es neu aufsetzen muss oder etwas anderes testen möchte mit den Daten? Sind diese dann weiter verfügbar? Es ist an sich kein schmerzhafter Verlust, will einfach Verständnis entwickeln und den Aufwand reduzieren.

Du kannst die Disks partitionieren und dann nur eine Partition durchreichen anstatt der kompletten Disk. aber nicht vergessen, dass da HDD passthrough wie hier beschrieben kein physisches/direktes Passthrough ist. Damit sieht deine VM auch nur eine virtuelle Disk dessen Daten dann halt roh auf der physischen Disk liegen. Möchte man, dass da die VM direkt und physisch ohne Overhead auf die Disks zugreifen kann, dann muss man sich einen HBA besorgen und diesen per PCI Passthrough durchreichen.
Wenn du Disks über disk Passthrough in die VM durchreichst und dann die VM zerstörst, dann liegen die Daten immer noch auf der physischen Disk und du könntest eine neue VM erstellen, wieder Disk passthrough einrichten und hättest dann wieder Zugriff auf die Daten.

2. Wie steht es um die Sicherheit von durchgereichten Platten? Ich habe einen Turnkey Fileserver, Nextcloud sowie einen TS in jeweils einem LXC. Ich frage mal doof in meiner Laienwelt, sollte sich jemand unberechtigten Zugriff via der VM erschleichen, hat er dann auch die Möglichkeit auf die anderen Container und Festplatten zu kommen? Keine Ahnung ob es da Möglichkeiten gibt via dem Passhrough= Es gibt noch 2 andere Platten, für Nextcloud sowie den Fileserver je eine.

Ich kann immer nur sagen, ich bin ein Laie, versuche auch Google und Youtube zu misshandeln, aber irgendwie so richtig werde ich nicht fündig. Eben wichtig ist mir die Sicherheit, obwohl ich an sich nichts zu verheimlichen habe... aber wer mag schon Privatsachen unnötig öffentlich machen. Von aussen erreichbar sind für mich nur Plex und der Teamspeak.

Wenn dir Sicherheit wichtig ist würde ich keine LXC für Services nutzen, welche frei im Internet stehen. Nextcloud und TS sind ja alles Dinge für die du auch wohl Port-Forwarding eingerichtet hast, damit die vom Internet aus erreichbar sind. Die kann also jeder nach belieben versuchen zu hacken. Und hast du mal aus Unwissenheit oder Faulheit eine Sicherheitslücke nicht rechtzeitig geschlossen (und gegen Zero-Day-Exploits kann man sich eh nicht schützen), dann stehen da der ganzen Welt alle Türen offen auf deinen Gast zuzugreifen. In einem solchen Fall wäre es dann besser eine VM zu haben, da diese viel besser isoliert ist und der Schaden sich nur auf die eine VM beschränkt. Bei einem unprivilegierten LXC wäre es viel leichter auch Zugriff auf andere LXCs oder gar den kompletten PVE Server zu erhalten. Und privilegierten LXCs sind noch viel unsicherer, die würde ich erst garnicht in erwägung ziehen, wenn der Dienst auch öffentlich verfügbar sein soll.

Wenn du die Sicherheit noch weiter erhöhen willst, dann könntest du auch eine DMZ einrichten und z.B. lokale Dienste (Fileserver) und öffentliche Dienste (Nextcloud, Teamspeak, ...) in getrennten Netzen halten. Wird dann z.B. deine Nextcloud gehackt, dann sitzt die Nextcloud wenigstens nicht zusammen mit dem Fileserver im selben Netzwerk, dass der Angreifer da nicht versuchen kann sich z.B. über Sicherheitslücken im NFS/SMB-Protokol noch über das Netzwerk zusätzlich Zugriff auf deine Dateien im Fileserver zu verschaffen.

Soweit ich das sehe sollte das mit Disk Passthrough nicht unsicherer sein als mit normalen virtuellen Disks. Für die VM selbst sind ja beides nur virtuelle Disks. Und der Host gibt dem Gast vor, auf was er Zugriff hat und auf was. nicht. Mappt der Host dann eine Partition als virtuelle Disk, dann sollte der Gast auch echt nur indirekt Zugriff auf diese eine Partition haben.

 

[Wikinger85]

Hallo Dunuin,

wo danke für deine schnelle und ausführliche Antwort.

Womit fange ich an. Fange ich mit der Sicherheit an. Nextcloud habe ich in der Tat keine Portweiterleitung eingerichtet, da ich Nextcloud wirklich nur "inhouse" drauf Zugriff haben möchte auf die Fotos, Dokumente und die Kalender Funktion und sobald wir uns im WIFI befinden werden die Bilder vom Handy z.B. geladen, etc. Aktualisierung ist somit nur im Heimnetz möglich. Manche mögen jetzt sagen, warum eine Cloud wenn man von extern nicht zugreifen kann, aber mir ist es wichtiger dies zentral zu haben, geteilte Kalender, Doks und Fotos etc. Sofern ich da kein Portforwarding habe, denkst du, dass eine VM immernoch notwendig ist?
Teamspeak habe ich, wie du richtig gesagt hast, offen. Sollte ich in dem Fall also besser als VM neuaufsetzen um schon einmal einen Schritt in Richtung mehr Sicherheit zu machen!? Ergänzung, habe TS im Docker!

Zu den Disk, das klingt ja schonmal vielversprechend. Ich bin etwas unglücklich darüber, dass die Daten immer wieder weg sind und das will ich vermeiden. Selber die HDDs sind so aufgeteilt:
- 1x HDD für Nextcloud
- 1x HDD für Fileserver
- 2x HDD für Medien

Wenn du Disks über disk Passthrough in die VM durchreichst und dann die VM zerstörst, dann liegen die Daten immer noch auf der physischen Disk und du könntest eine neue VM erstellen, wieder Disk passthrough einrichten und hättest dann wieder Zugriff auf die Daten.

Dies ist jetzt aber generell auf Passthrough besorgen und nicht auf den Adapter oder? Sprich Daten sind da, auch wenn ich fusche?

Zu meinem Verständnis bzgl. deiner Empfehlung zu Plex. Warum würdest du Plex in einen LXC packen, Teamspeak aber z.B. nicht? Warum in dem Fall nicht Plex auch in eine VM via OMV/Portainer z.B. wie ich es bisher hatte. Spricht dagegen eigentlich was? OMV/Plex mit HDD Passthrough?

Ich danke dir vielmals für deine Hilfe. Klasse!

 

[Dunuin]

Hallo Dunuin,

wo danke für deine schnelle und ausführliche Antwort.

Womit fange ich an. Fange ich mit der Sicherheit an. Nextcloud habe ich in der Tat keine Portweiterleitung eingerichtet, da ich Nextcloud wirklich nur "inhouse" drauf Zugriff haben möchte auf die Fotos, Dokumente und die Kalender Funktion und sobald wir uns im WIFI befinden werden die Bilder vom Handy z.B. geladen, etc. Aktualisierung ist somit nur im Heimnetz möglich. Manche mögen jetzt sagen, warum eine Cloud wenn man von extern nicht zugreifen kann, aber mir ist es wichtiger dies zentral zu haben, geteilte Kalender, Doks und Fotos etc. Sofern ich da kein Portforwarding habe, denkst du, dass eine VM immernoch notwendig ist?

Dann wäre meiner Meinung nach auch ein LXC voll ok. Ist ein Dienst nicht öffentlich, dann versucht den generell auch keiner Anzugreifen. Kannst du naturlich immer noch haben, dass du dir da Schadsofrware auf irgendeinem Rechner im Heimnetz einfängst, die dann als Backdoor fungiert und der Angreifer dann doch Zugriff auf die Nextcloud bekommt, aber dann ist eh schon alles zu spät. Dann hat der Angreifer ja schon Zugriff zum LAN, Zugriff auf den kompromitierten Rechner, Passworter die auf dem Rechner gespeichert sind, Zugriff auf alle SMB/NFS Freigaben auf die der Rechner Zugriff hat etc, Zugriffsauf deine Nextcloud sofern der Rechner sich mit dieser Synchronisiert etc.

Teamspeak habe ich, wie du richtig gesagt hast, offen. Sollte ich in dem Fall also besser als VM neuaufsetzen um schon einmal einen Schritt in Richtung mehr Sicherheit zu machen!? Ergänzung, habe TS im Docker!

Ja. Erst recht wenn du nicht taglichst nachguckst, ob neue Updates verfügbar sind und diese dann gleich installierst, um neue bekannte Sicherheitslücken zu schließen.

Zu den Disk, das klingt ja schonmal vielversprechend. Ich bin etwas unglücklich darüber, dass die Daten immer wieder weg sind und das will ich vermeiden. Selber die HDDs sind so aufgeteilt:
- 1x HDD für Nextcloud
- 1x HDD für Fileserver
- 2x HDD für Medien

Wichtig ist auch ein gutes Backupkonzept zu haben. Hast ordentliche Backups, dann gehen dir auch nie Datenaverloren, weil du einfach den Gast mit allen seinen Daten in wenigen Klicks wiederherstellen kannst.
Du hast nicht geschrieben wie groß die HDDs sind.
Ich persönlich finde da noch ein Raidz1/2/3 ZFS Pool am besten für Cold Storage. Wenn dir da eine Platte ausfällt, dann läuft einfach alles regulär weiter ohne Ausfall oder Datenverlust. Auch hättest du Schutz vor schleichendem Dateiverfall, dass dir da nicht unbemerkt deine Daten über die Jahre korrumpieren. Und wenn du automatische Snapshots benutzt, dann dann etwas selbst verbockst, dann konntest du es immer noch Rückgangig machen und z.B. zu einem Stand von vor einer Stunde oder vor einem Tag zurückkehren.
Raid und Snapshots ersetzen aber nie ein Backup. Backups sollte man also trotzdem inner noch zusatzlich machen also braucht man alle HDDs mindestens 2 mal (bzw doppelte Kapazität). Hier würde ich den Proxmox Backup Server (PBS) zum Sichern der VMs/LXCs empfehlen. Der braucht kaum Ressourcen, läuft auch in eineraVM oder einem LXC und spart super Platz dank Deduplication.

Dies ist jetzt aber generell auf Passthrough besorgen und nicht auf den Adapter oder? Sprich Daten sind da, auch wenn ich fusche?

Hängt davon ab wie du fuscht.
Wenn du von innerhalb des Gastes Daten auf der HDD löscht sind diese auch für immer weg. Gleiches wenn du vom PVE Host aus fuscht und du die falsche Disk formatierst etc.
Aber wenn du einfach nur etwas im Gast verbockst ohne die Daten auf der HDD zu löschen oder zu überschreiben (also z.B. ein Programm nicht mehr laufen will, dein Gast nicht mehr booten will oder ähnliches), dann könntest du einfach den Gast löschen, Gast neu aufsetzen, wieder HDD durchreichen und hättest immer noch die Daten auf der HDD.

Aber wenn du ständig deine Daten verlierst machst du echt was falsch.
Ich mache auch manchmal einen Gast kaputt, verliere Dabei aber keine Daten, da ich immer direkt bevor ich irgendetwas am Gast ändere immer ein Snapshot oder Backup erstelle. Läuft dann etwas nicht so wie ich es will, dann wird der Gast halt auf den gesicherten Zustand zurückgerollt/wiederhergestellt und ich versuche es erneut. Solange bis alles so läuft wie idh es haben will.
Da solltest du dir also ein ordentliches Backupkonzept überlegen. Siehe z.B. oben.

Zu meinem Verständnis bzgl. deiner Empfehlung zu Plex. Warum würdest du Plex in einen LXC packen, Teamspeak aber z.B. nicht? Warum in dem Fall nicht Plex auch in eine VM via OMV/Portainer z.B. wie ich es bisher hatte. Spricht dagegen eigentlich was? OMV/Plex mit HDD Passthrough?

Ich danke dir vielmals für deine Hilfe. Klasse!

Hängt halt von den Details ab. Soll Plex im Internet hängen, dann würde ich Plex in eine VM packen. Willst du nur lokal gucken (oder von unterwegs per VPN) dann hätte auch ein LXC seine Vorzüge. So braucht ein LXC weniger Ressourcen und wegen fehlender Isolierung könnte Plex die GPU mit dem PVE Host oder anderen LXCs teilen, damit das Videoenkodieren/-Dekodieren GPU beschleunigt wäre und nicht alles von der CPU in Software berechnet werden müsste, was viel langsamer ist, mehr Strom verbraucht und die CPU unnötig auslastet.
Wolltest du Hardwarebeschleunigung in einer VM müsstest du dir extra eine zusatzliche GPU rein für die Plex VM anschaffen und exklusiv per PCI Passthrough durchreichen.

Und ich persönlich bevorzuge es Dienste getrennt zu halten. Ich hatte z.B. auch mal Plex benutzt, bin dann aber später auf Emby umgestiegen. Dann konnte ich meine Plex VM einfach löschen, mir eine Emby VM einrichten und auf die Medien auf dem NAS zeigen lassen und fertig war der Wechsel ohne irgendwelche Plex-Rückstände.
Hast du Plex z.B. in einer OMV VM, dann kannst du nicht einfach dire OMV VM löschen, wenn du dein Plex nicht mehr haben willst. Oder sagen wir du hast Plex in einer OMV VM und du willst eigentlich gerne von OMV auf TrueNAS umsteigen. Dann hast du das Problem, dass du da die OMV VM nicht löschen kannst, weil dann ja dein Plex auch nicht mehr laufen würde. Da müsstest du dann erneut Plex von Grund auf neu z.B. in deiner TrueNAS VM installieren.
Wäre Plex eine eigene VM/LXC hättest du das Problem nicht. Dann wurdest du nur die SMB/NFS Freigaben anpassen, dass da deine Plex VM eben auf den Medienordner vom TrueNAS statt dem von OMV zeigt.
Und dann wieder Punkt Sicherheit. Hast du eine Plex VM und es gibt eine Sicherheitslücke im webUi von Plex, dann erhalt der Angreifer nur Zugriff auf die Plex VM. Dann kommt der Angreifer zwar immer noch an deine Filme, Serien und Co, weil die ja in Plex eingebunden sein müssen damit Plex funktioniert, aber es könnte auch viel schlimmer sein. Sagen wir du lässt Plex in einer OMV VM laufen. Nun nutzt wer eine Sicherheitslucke in Plex um Zugriff auf die VM zu bekommen. Nun hat der Angreifer aber vielleicht Zugriff auf die komplette OMV VM inkl sämtlicher Daten auf allen HDDs die an der Plex VM hängen. Dann hat der Angreifer nicht zur zugriff auf deine Filme und Serien sondern auch auf sensiblere Daten wie Kontoauszüge, Firmendaten, Urlaubsfotos oder was man sonst so auf seinem NAS rumliegen hat.

Ich versuche da also alles so gut wie möglich zu isolieren und nur genau das zu erlauben, was gerade so nötig ist damit ein Service laufen kann.

 

[Wikinger85]

Und auch hier vielen Dank für dein Feedback.

Das mit dem Teamspeak in einer VM sowie auch Plex werde ich mir nachher direkt anschauen. Vielen Dank für deinen wertvollen Input. Jetzt hoffe ich, dass ich das alles so hinbekomme, da ich wirklich dass als Hobby betreibe und basierend auf lesen, Videos, google und Foren mir zusammenbaue. Vlt nicht ganz optimal, aber ich bin bei sowas gern neugierig und deswegen frage ich lieber einmal mehr nach.

Bzgl. der Anmerkung zu den Backups, das war das erste was ich in Angriff genommen habe. Ich habe 2 ältere Zyxel NAS auf die 1x Nextcloud und 1x die Daten vom Fileserver wöchentlich gesichert werden. Dazu nutze ich die Backup-Funktion von Proxmox. Die Daten vom Fileserver sichere ich zusätzlich noch auf eine externe USB welche ich per Sync tool bei Bedarf anstecke und dann das automatisch läuft. Ich denke, dies ist eine ganz solide Lösung (zumindest hoffe ich das.)!?

Die Medien Festplatten sind das einzige was ich überhaupt nicht regelmässig sichere. Wäre an sich auch nicht so dramatisch, mich ärgert es einfach nur, wenn es durch gängige Dinge passieren. Z.B. die letzte OMV Instanz ging in die Hose, weil ich das Upgrade von OMV5 auf OMV 6 machen wollte. Ganze Nacht ist das Upgrade durchgelaufen und nichts passiert. Ich hatte in der Tat in fast 3 Jahren seit ich den Server am laufen hatte 2x den Fall und jedes mal war es irgendwas mit OMV/Plex. Nichtmal weil ich da grossartig was experimentiere und wenn doch dann wäre ich der erste der sagt, ich Trottel. Weder Nextcloud noch der Fileserver hat bisher irgendwelche Probleme gemacht.

Ich versuche eben auch jeden Dienst getrennt zu halten, daher eine HDD für Nextcloud (3TB), 1 für den Fileserver (4GB) und 2 für die Medien (getrennt 3&4GB). Im schlimmsten Fall wäre beim aussteigen einer, also nur ein Teil weg. Aktuell ist es nach 2 Jahren voller Kurzarbeit aber noch nicht drin, noch 2 Festplatten zu holen um die Medien in einen Raid Pool zu setzen. Hoffe ändert sich bald. Das mit dem formatieren der falschen und löschen vom Gast macht für mich aber Sinn, danke für die Klarstellung. Ich muss aber mir wirklich angewöhnen die Snapshot Funktion zu verwenden, dies habe ich echt nicht auf dem Radar gehabt obwohl ich regelmässig das gelesen oder gehört habe. Ich habe aber bei der OMV/Plex-VM Variante bisher wirklich nur für Medien genommen und keine privaten Daten. Eben so wie du es sagst, so viel getrennt wie möglich zu halten.

Ich hoffe ich bekomme dass jetzt hin. Gestern wollte ich es testweise mal in einer VM aufsetzen aber irgendwie hat das nicht funktioniert wie es sollte.

Ich danke dir auf jeden fall und würde mich ggf. nochmal melden.