Proxmox-Neuling - Erste Planungen / Fragen

[DerTom246]

Hallo zusammen,

ich möchte bei mir die folgenden Komponenten/Server einrichten -> Heim-Server mit Nextcloud, NAS, TV-Server.

Meine Hardware/geplanter Aufbau:
- CPU A8-7600
- RAM 16 GB (wird auf 48 GB erweitert)
- 2 x 500 GB SSD (Mirror) für Proxmox und die VM's
- 4 x 8 TB HDD als Datenspeicher (Raidz1) + 1 x 250 GB SSD als Cache
- Mellanox 10Gb dual Netzwerkkarte

Über das NAS werden diverse Samba-shares bereitgestellt.

Ich hatte bisher nur einen NAS eingerichtet (Basis Arch Linux), der nun auch als TV-Server dienen soll. Hier gestaltet sich aber die Einrichtung des TV-Servers unter Arch als schwierig. Mir wurde empfohlen eine fertige Distribution zu nutzen. Ich möchte aber nicht mehrere Rechner 24/7 laufen lassen. So kam es dazu, dass ich mich an Proxmox erinnerte.

Bei meinen Recherchen bzw. dem Studium von Youtube-Videos ist mir aufgefallen, dass regelmäßig für jeden einzelnen Server auch 'Daten-Partitionen' eingerichtet werden, auf die dann eben der installierte Server Zugriff hat. Dies möchte ich aber so nicht. Beispiel: Über den TV-Server sollen TV-Aufnahmen in das Verzeichnis 'Video' geschrieben werden. Dieses Verzeichnis wird über den NAS - als Samba-share - anderen Clients/dem TV-Server zur Verfügung gestellt. Habe ich das im Wiki richtig gelesen, dass dies über iSCSI realisiert werden kann? Gibt es dazu eine detaillierte Anleitung, die mir die einzelnen Schritte gut verständlich zeigt? Auch für Vorschläge bin ich dankbar.

Viele Grüße!

Tom

 

[gmed]

Hi,

wenn ich das richtig verstanden habe, dann willst du eine Kiste, auf der dann deine Anwendungen als VM laufen?!
Dabei sollen einige der VM's auf gemeinsame Daten zugreifen können?

Das geht wohl nur darüber, dass du z.B. eine NAS-VM hast und darüber Speicherplatz im Netzwerk, z.B. via cifs frei gibst.
Durch das Trennen auf mehrere VM's geht halt, wie bei physischen Geräten, nur der Weg via Netzwerk.

Alternativ nutzt du einen VM z.B. als NAS und Host für Nextcloud.
Dadurch erhöht sich aber wieder der Konfigurationsaufwand für diese VM.

Sollen keine Daten getauscht werden, dann weise einfach der jeweiligen VM genug Plattenplatz zu, bzw. erzeuge weitere disks und hänge diese an die VM an.

iSCSI ist eher dafür gedacht, dass du der Proxmox-Maschine von ausserhalb zusätzlichen Speicherplatz anbietest, welches diese dann exclusiv für sich nutzen kann.
Bei iSCSI geht es darum, via Netzwerk Festplatten zu "emulieren", so dass der Client keinen Unterschied mehr hat zwischen lokalen Platten und solchen via Netzwerk.
Ein gemeinsamer Zugriff auf iSCSI ist meines Wissens nach nicht möglich und auch nicht Sinn und Zweck.
Dafür gibt es ja dann CIFS, NFS oder ähnliches.

 

[DerTom246]

Hallo gmed,

ja, eine Kiste mit mehreren VM für die einzelnen Server, die auf einen gemeinsam genutzten Datenbereich zugreifen. Bisher hatte ich einzelne Samba-shares für die Teilbereiche Backup, Multimedia, Daten etc.

Zur Verfügung stellen kann ich die nur über die NAS-VM? Ich würde gerne zfs für die Samba-shares in der Proxmox-Version nutzten. Laut den von mir gelesenen Kommentaren deutlich besser als die eigentliche Linux-Implementierung. Das hat unter openmediavault (mit Proxmox-Kernel) aber nur so lange funktioniert, bis ein anderer Kernel gebootet wurde. Das hat zfs zerlegt. Möchte ich nicht wieder.

Nur, damit ich jetzt nicht nach Alternativen suche, die ich nicht brauche... Erstellen eines zfs-pools mit Bereitstellung von Samba-shares, die per smb in die VM's eingebunden werden, direkt aus Proxmox heraus, ist nicht möglich?

Ziel ist die bestmögliche Implementierung von zfs für die Daten bzw. den zfs-pool auf den 4x8TB-Platten.

Vielen Dank!

 

[CoolTux]

Du kannst natürlich aus dem Host raus eine CIFS Freigabe machen und diese dann in Deine VMs einbinden.

 

[gmed]

Das ist wohl dann eher eine philosophische Frage:
Will man Proxmox als reine Virtualisierungslösung betreiben, dann ist die zusätzliche Nutzung als Samba-Server zwar möglich, aber nicht unbedingt optimal.

Geht es nur darum, die Kiste so zusammen zubauen, dass alles auf einer Hardware effizient läuft, dann ist es sicher besser, den Samba-Dienst auf dem Host laufen zu lassen und nicht in einer separaten VM.

Darüber hinaus kommt es auch darauf an, wie komplex das Samba-Setup denn sein soll.
Sind es nur drei Freigaben mit einer handvoll lokaler Benutzer, dann ist das zügig erledigt.

Bequemer kann da die Nutzung einer NAS-Distribution als VM schon sein.

 

[DerTom246]

Vielen Dank für die Erläuterung und den Input.

Ziel ist eine optimale Datensicherheit in Kombination mit einer guten Performance.

Ich habe noch immer nicht so richtig kapiert, wo hier eigentlich das zfs verwaltet wird.

Ich erzeuge einen raidz-pool auf den 4x8TB-Platten unter proxmox. Bei der Installation NAS-VM wird dann ein Teilbereich dieses Pools für die VM reserviert, auf dem dann die NAS-VM einen eigenen zfs-pool erstellt? zfs on zfs? geht das?

Die Alternative wäre, die Festplatten direkt an die NAS-VM durchzureichen. Wenn ich Mr. Google richtig verstanden habe, dann kann ich nur den Storage-Controller direkt an eine VM/NAS durchreichen und nicht einzelne Platten... Da alle 8 SATA-Ports an einem Controller hängen, kann ich den Controller nicht durchreichen, da dort auch die beiden SSD mit Proxmox dranhängen... In diesem Fall muss ich doch den zfs-pool und den Samba-Dienst auf dem Host erstellen und laufen lassen?

 

[gmed]

Warum soll die NAS-VM auch mit zfs arbeiten?
Die kann doch z.B. ext4 etc. nutzen?

Ausserdem bezweifele ich, ob 48GB RAM für dein Vorhaben ausreichen würden.
Und optimale Datensicherheit hängt nicht nur vom Dateisystem ab.
Eher vom Backup.

 

[nasenmann72]

Hallo Tom,
ich habe eine vergleichbare Installation laufen. Der Proxmox-Host ist gleichzeitig "NAS", indem er die einzelnen ZFS-Datasets per CIFS und NFS frei gibt. Ich hatte auch mal überlegt eine NAS-VM anzulegen, dies aber wieder verworfen, weil für den Hausgebrauch dies so absolut ausreichend ist und die Daten nicht durch die VM gewurschtelt werden müssen.
Viele Grüße

 

[DerTom246]

Vielen Dank für den Input!

Bin noch dabei meinen Aufbau zu testen. Proxmox läuft und VM's für ubuntu, centos und omv sind eingerichtet.

Bezüglich des Durchreichens des Controllers hätte ich noch eine Frage.

Kann mir jemand eine PCIe-Karte mit mind. vier SATA-Ports empfehlen, von der auch gebootet werden kann?

Habe es mit einer 'günstigen' Karte aus China probiert (40 EUR), funktioniert aber nicht. Also nicht das Proxmox das Problem wäre... Mit der Karte bootet das Bios nur in den safe-mode und die Platten werden nicht erkannt...

Meine Hardware hat sich übrigens geändert. Getauscht wurde nach:
- CPU Ryzen 3200G
- 64 GB RAM (ECC läuft mit dem Board nicht - also kein ECC-RAM)
- Mainboard Asus x570-f gaming

Viele Grüße

 

[gmed]

Nur mal zum Verständnis:

Du hast Proxmox laufen.
Darauf div. VM's.
Nun willst du einen Festplattencontroller am PCIe Bus durchreichen zu einer VM, damit diese ihre eigenen Platten bekommt?
Und das auf nem gamin-Mainboard?

Grundsätzlich braucht es zum Durchreichen von PCIe Geräten unterstützung seitens Board+BIOS/UEFI. Stichwort Iommu
Info dazu hier:
https://pve.proxmox.com/wiki/PCI(e)_Passthrough

Davon abgesehen, verstehe ich das Setup nicht.
Wo ist der Vorteil, wenn du eine VM doch wieder in eine fast physische Maschine wandeln willst?
Mit dediziertem Festplattencontroller fehlt da nicht mehr viel dazu.
Bei Grafik- oder Netzwerk kann ich's noch nachvollziehen.
Aber beim Storage?

 

[DerTom246]

Vielleicht denke ich ja zu kompliziert...

Ich habe bisher auf meinem Homeserver/NAS btrfs mit diversen Subvolumes für einzelne Anwendungen/Bereiche genutzt, zu denen Snapshots erstellt wurden und Backups liefen. Diese wurden als smbshares div. Clients verfügbar gemacht. Das wollte ich unter Proxmox mit zfs so beibehalten. Die Vorgehensweise auf einem Storage mit zfs dann eine VM mit ext4 ein Dateisystem erstellen/zugreifen zu lassen, hat für mich da nicht funktioniert, da ich so keine Trennung der einzelnen Bereiche bekomme.

Das Mainboard lag hier rum... Hatte gelesen, dass es keine Raid-Controller sein sollen, da diese mit zfs nicht harmonieren. Die Voraussetzung mit iommu kannte ich nicht.

Viele Grüße

 

[gmed]

Das hat weniger mit kompliziert, als mit Erfahrung zu tun.

Aus Anwendungssicht:
Du brauchst einen Ersatz für dein NAS, welches diverse CIFS-freigaben bereit gestellt hat. nicht mehr, nicht weniger.
Dafür reicht es aus, eine VM (FreeNAS u.ä.) aufzusetzen. Der gibst du Plattenplatz genug mit und dann kannst du deine Freigaben wie bisher einrichten und verwalten.
Als Backup machst du dann in regelmässigen Abständen eine Sicherung eben dieser VM.
Im Desasterfall stellst du diese VM wieder her und weiter gehts.
In der VM brauchst du dann auch gar nicht groß mit ZFS, BTRFS etc. pp. rumzueiern, da die Sicherheit/ Backupg-Geschichte über proxmox gegeben ist.

Solange du nicht irgendwelche ganz speziellen Anwendungen hast ( was bei CIFS-Freigaben eher nicht der Fall sein dürfte) reicht für die NAS-VM eine ganz simple Konfiguration ohne Raid usw. (So nebenbei würde das die Performance der NAS-VM auch einbremsen.)

Nicht falsch verstehen, du kannst auch Storage auf Proxmox direkt erstellen und via CIFS freigeben, aber das ist eher unbequem und solange es nicht auf das letzte Quentchen Performance angeht, unnötig.

Ganz davon ab sparst du dir die Frickelei mit IOMMU, PCIe Durchreichungen usw. usf.
Auch kannst du dann mit deinem ASUS Board weiter arbeiten und hast mit den 64GB RAM auch genug Futter für die VM's

 

[DerTom246]

Ich habe mich weiter eingelesen und deine Hinweise/Informationen zu verarbeiten versucht. Dabei bin ich auf folgende Dinge aufmerksam geworden.

In der Doku habe ich gelesen, dass ein erzeugter Storage die ID der VM erhält und gelöscht wird, sollte man die VM löschen. Des Weiteren müsste ich auch die Größe des Storage fest vorgeben.

Da ich dies gerne variabel einrichten würde (Platzbedarf schwankt etc.) und auch einen zentralen Punkt haben möchte, an dem die smbshares verwaltet werden, stelle ich mir den Aufbau so vor.

Proxmos: 4x8TB zpool raidz2, zfs-datasets erstellen, samba-server einrichten
VM: samba-clients

Damit wäre ein zentraler Administrationspunkt für die smbshares gegeben, die Größe der datasets müsste nicht vorgegeben werden, jede VM bekommt die datasets, die sie braucht und auch der gleichzeitige Zugriff von mehreren Servern/VM's auf einen gemeinsam genutzten dataset wäre möglich. Backup erfolgt dann für jeden einzelnen dataset und ist von der VM unabhängig!?

Einrichtung würde über die Kommandozeile erfolgen, habe ich aber bisher auch so auf meinem NAS (Basis Arch Linux) gemacht. Braucht Zeit, ja, dafür ist aber auch das Erfolgserlebnis größer, wenn es dann läuft.

 

[gmed]

In der Doku habe ich gelesen, dass ein erzeugter Storage die ID der VM erhält und gelöscht wird, sollte man die VM löschen. Des Weiteren müsste ich auch die Größe des Storage fest vorgeben.

Klar erhält die Platte die ID der VM, aber selbstverständlich kannst du diese Platte vor dem Destroy der VM einer anderen VM zuweisen.
(Einzelheiten lass ich jetzt mal aus)
Und auch das Ändern der Plattengröße ist absolut machbar. (Ich bin gerade dabei...)
Das Vergrößern ist in jedem Fall über die WebUI kein Problem.
Einzig beim Verkleinern mußt du aufpassen, was für eine Art Storage darunter liegt.
Bei LVM ist da Handarbeit angesagt, ist aber auch machbar.

Damit wäre ein zentraler Administrationspunkt für die smbshares gegeben, die Größe der datasets müsste nicht vorgegeben werden, jede VM bekommt die datasets, die sie braucht und auch der gleichzeitige Zugriff von mehreren Servern/VM's auf einen gemeinsam genutzten dataset wäre möglich. Backup erfolgt dann für jeden einzelnen dataset und ist von der VM unabhängig!?

Wie bereits in diesem Thread angemerkt ist das durchaus eine Alternative.
Wenn du dir das Zutraust und dann läuft das später aus Anwendungssicht genauso gut wie bei meinem Szenario.
Es ist halt eher eine Philosophiefrage, denn eine technische Anforderung.