Neuling mit Verständnisfragen

[Rockhound53]

Hallo zusammen,

ich würde gerne in die Proxmox-Welt einsteigen und habe folgendes vor:

Kurz zu meiner aktuellen "Situation":

Derzeit habe ich ein NAS (altes Qnap) als Datengrab sowie ein Odroid n2+ als HomeAssitant Zentrale. Das Netzwerk besteht aus Unifi-Komponenten.

Natürlich bin ich immer wieder in die HomeAssistant-Welt über Proxmox gestoßen und habe, nachdem mir letztens beinahe die HomeAssistant-Installation abgeraucht ist (leider keine aktuellen Backups gemacht), habe ich mich dazu entschlossen, in absehbarer Zeit umzurüsten und mein Odroid als Backup zu nehmen (Wenn die Kiste mal ausfällt, funktioniert das halbe Haus nicht mehr richtig :mit den Augen rollen und alles auf Proxmox umzurüsten.

Folgendes hätte ich vor:

Terramaster F4-424 Pro als NAS
2x NMW SSD mit jeweils 1 TB
4x WD RED 4 TB Festplatte

Darauf Proxmox mit OMV (Für Dateifreigabe und Backup) und HomeAssistant OS in einer VM.

Was mir beim Lesen und Videos schauen noch an Fragen gekommen ist, wollte ich die Profis hier kurz fragen:

1. ich würde die SSDs im Raid 1 spiegeln und darauf dann Proxmox und die VMs laufen lassen, macht dies Sinn? Reichen hier 1 TB für Proxmox und die VMs/Container?
2. Kann ich die 4 NAS-Festplatten im RAID 5 unter Proxmox laufen lassen und dann Individuell den VMs zuordnen (OMV für die Dateifreigabe, HomeAssistant, evtl. Frigate NVME), sodas ich bei bedarf die Zuordnung des Speichers neu verteilen kann?
   
3. Unter HomeAssistant habe ich als Add-ons nginx und frigate am laufen. Es macht Sinn, diese dann nicht unter HA, sondern als eigenständige VMs bzw. Container laufen lassen? Welche Vorteile und/oder Nachteile hätte dies?

Besten Dank vorab für Eure Antworten.

Viele Grüße

Thomas

 

[otherwisegg]

Hallo zusammen,

ich würde gerne in die Proxmox-Welt einsteigen und habe folgendes vor:

Kurz zu meiner aktuellen "Situation":

Derzeit habe ich ein NAS (altes Qnap) als Datengrab sowie ein Odroid n2+ als HomeAssitant Zentrale. Das Netzwerk besteht aus Unifi-Komponenten.

Natürlich bin ich immer wieder in die HomeAssistant-Welt über Proxmox gestoßen und habe, nachdem mir letztens beinahe die HomeAssistant-Installation abgeraucht ist (leider keine aktuellen Backups gemacht), habe ich mich dazu entschlossen, in absehbarer Zeit umzurüsten und mein Odroid als Backup zu nehmen (Wenn die Kiste mal ausfällt, funktioniert das halbe Haus nicht mehr richtig :mit den Augen rollen und alles auf Proxmox umzurüsten.

Folgendes hätte ich vor:

Terramaster F4-424 Pro als NAS
2x NMW SSD mit jeweils 1 TB
4x WD RED 4 TB Festplatte

Darauf Proxmox mit OMV (Für Dateifreigabe und Backup) und HomeAssistant OS in einer VM.

Was mir beim Lesen und Videos schauen noch an Fragen gekommen ist, wollte ich die Profis hier kurz fragen:

1. ich würde die SSDs im Raid 1 spiegeln und darauf dann Proxmox und die VMs laufen lassen, macht dies Sinn? Reichen hier 1 TB für Proxmox und die VMs/Container?
2. Kann ich die 4 NAS-Festplatten im RAID 5 unter Proxmox laufen lassen und dann Individuell den VMs zuordnen (OMV für die Dateifreigabe, HomeAssistant, evtl. Frigate NVME), sodas ich bei bedarf die Zuordnung des Speichers neu verteilen kann?
3. Unter HomeAssistant habe ich als Add-ons nginx und frigate am laufen. Es macht Sinn, diese dann nicht unter HA, sondern als eigenständige VMs bzw. Container laufen lassen? Welche Vorteile und/oder Nachteile hätte dies?

Besten Dank vorab für Eure Antworten.

Viele Grüße

Thomas

Moin!

1. 1TB sollte völlig ausreichen. Proxmox selber braucht etwa 4+ GB auf einer frischen Installation. Der Rest hängt von deinen Nöten ab.
2. Siehe https://pve.proxmox.com/wiki/Software_RAID und https://pve.proxmox.com/wiki/ZFS_on_Linux

 

[Rockhound53]

Moin!

1. 1 TB sollte vollständig ausreichen. Proxmox selbst benötigt etwa 4+ GB auf einer Neuinstallation. Der Rest hängt von deinen Notizen ab.
2. Siehe https://pve.proxmox.com/wiki/Software_RAID und https://pve.proxmox.com/wiki/ZFS_on_Linux

Hallo und danke für deine Antworten.

Bei 2. habe ich mich schon eingelesen, was genau die RAID-Modi sind und wie diese funktionieren. Ich stoße nur im Internet immer wieder auf Berichte, dass OMV oder TrueNas wohl Probleme haben, wenn man denen Speicher über die VM zuweist und die Platten nicht direkt durchreicht und das Raid in OMV oder TrueNas direkt erstellt? Daher die Frage, ob ich einfach 4 Platten in ein Raidz1 packen kann und zVOMV 10 GB gegebenenfalls SABnzbd 4 GB usw.? Oder kann ich den LXC-Containern und VMs dann nur Speicher aus dem SSD-Verbund zuweisen, wo auch Proxmox darauf installiert ist?

Besten Dank.

 

[otherwisegg]

Hallo und danke für deine Antworten.

Bei 2. habe ich mich schon eingelesen, was genau die RAID-Modi sind und wie diese funktionieren. Ich stoße nur im Internet immer wieder auf Berichte, dass OMV oder TrueNas wohl Probleme haben, wenn man denen Speicher über die VM zuweist und die Platten nicht direkt durchreicht und das Raid in OMV oder TrueNas direkt erstellt? Daher die Frage, ob ich einfach 4 Platten in ein Raidz1 packen kann und zVOMV 10 GB gegebenenfalls SABnzbd 4 GB usw.? Oder kann ich den LXC-Containern und VMs dann nur Speicher aus dem SSD-Verbund zuweisen, wo auch Proxmox darauf installiert ist?

Besten Dank.

Genau Erfahrung habe ich mit dem ganzen selber nicht -> Wir setzten sowas in der Firma nie ein.
Aber wenn ich erinnere, dann verträgt sich das alles nicht so ganz. Du kannst natürlich völlig auf Virtuelle Platten setzen via Proxmox aber wenn ich mich recht erinnere, benutzt TrueNAS auch ZFS und dann hast du ZFS auf ZFS was wirklich nicht so cool ist.

Entweder du reichst die Platten + Sata Controller durch oder den Controller alleine (PCI Passthrough) -> Damit erzielst du wohl, auch nach kurzer Recherche, die besten Ergebnisse.
Performanceseitig bei OMV liegst du wirklich im nicht merkbaren Bereich, egal ob Virtualisiert oder "Bare Metal".

Zum Thema Festplatten:
Installierst du VM auf SSD-Verbund 1 kannst du auch nur Speicher aus SSD-Verbund 1 nutzen.
Möchtest du jetzt den Speicher von HDD-Verbund 1 nutzen, müsstest du A. die Platte von Storage SSD-Verbund 1 nach HDD-Verbund 1 verschieben, oder B. eine Platte aus HDD-Verbund 1 erstellen welche dann als Extra Platte angehangen wird.


Lange Rede kurzer Sinn:
Reich die Platten oder den Controller durch, alles andere ist Quatsch. (siehe https://pve.proxmox.com/wiki/PCI_Passthrough)


Wie bereits erwähnt, genau weiß ich es nicht oder nichtmehr, da persönlich nicht wirklich viel mit gearbeitet.

 

[Rockhound53]

Hallo noch mal und danke noch mal für die Erläuterung.

Ich hab jetzt mal auf einem NUC, das ich noch hier Rum liegen hatte, was eingespielt...

OMV hatte ich jetzt mal installiert und könnte dann auch eine CIFS-Freigabe in einen nicht privilegierten Container mounten.

Ich habe jetzt nur noch wegen der Festplatten gefragt, und zwar wenn ich die Platten nicht direkt am OMV durchreiche und in Proxmox schon ein ZFSr1 mache, muss ich dann, wenn das Laufwerk an OMV als Virtuelles Laufwerk weitergegeben wird, wieder mit einem beschriebenen Dateisystem verwendet werden? Wenn ja, was nimmt man dann? Zfs auf zfs ist ja keine gute Idee, sagtest du ja schon. Aber was dann? Hier die Frage, wenn proxmox defekt ist, ich proxmox bei installiere und die OMV Installation wieder einrichten, komme ich dann auf die Daten einfach wieder drauf? Stelle mir das was schwierig vor, wenn man Dateisystem auf Dateisystem hat?

Und angenommen, der Proxmox-Host schmiert ab und ich musste das RAID woanders wieder aufbauen, wäre es möglich, wenn ich die Platten per Passthrough durchgereicht und in Truenas mit ZFS ein RAID erstellt hätte, dass ich die Platten mit einem System wieder zum Laufen bringen, wo ich Truenas einfach so direkt installiert habe, ohne Proxmox?

Ich hoffe, du verstehst meine Gedanken und was bin ich?

Vielen Dank

 

[otherwisegg]

Hallo noch mal und danke noch mal für die Erläuterung.

Ich hab jetzt mal auf einem NUC, das ich noch hier Rum liegen hatte, was eingespielt...

OMV hatte ich jetzt mal installiert und könnte dann auch eine CIFS-Freigabe in einen nicht privilegierten Container mounten.

Ich habe jetzt nur noch wegen der Festplatten gefragt, und zwar wenn ich die Platten nicht direkt am OMV durchreiche und in Proxmox schon ein ZFSr1 mache, muss ich dann, wenn das Laufwerk an OMV als Virtuelles Laufwerk weitergegeben wird, wieder mit einem beschriebenen Dateisystem verwendet werden? Wenn ja, was nimmt man dann? Zfs auf zfs ist ja keine gute Idee, sagtest du ja schon. Aber was dann? Hier die Frage, wenn proxmox defekt ist, ich proxmox bei installiere und die OMV Installation wieder einrichten, komme ich dann auf die Daten einfach wieder drauf? Stelle mir das was schwierig vor, wenn man Dateisystem auf Dateisystem hat?

Und angenommen, der Proxmox-Host schmiert ab und ich musste das RAID woanders wieder aufbauen, wäre es möglich, wenn ich die Platten per Passthrough durchgereicht und in Truenas mit ZFS ein RAID erstellt hätte, dass ich die Platten mit einem System wieder zum Laufen bringen, wo ich Truenas einfach so direkt installiert habe, ohne Proxmox?

Ich hoffe, du verstehst meine Gedanken und was bin ich?

Vielen Dank

Wenn ich dich richtig verstanden habe, solltest du folgende Möglichkeiten haben:

Wenn du in Proxmox ein ZFS RAID1 (mirrored vdev) erstellst und dieses dann als virtuelles Laufwerk an OMV durchreichst, hast du zwei Optionen.

1. Virtuelles Laufwerk mit Dateisystem
   1. In diesem Fall formatierst du das virtuelle Laufwerk in OMV mit einem Dateisystem wie ext4, XFS oder btrfs. Wenn Proxmox ausfällt, müsstest du die OMV-Installation wiederherstellen, das virtuelle Laufwerk erneut einbinden und hättest Zugriff auf die Daten.
2. Passthrough der physischen Laufwerke
   1. Hierbei reichst du die physischen Festplatten direkt an den OMV-Container oder VM weiter. Das würde es OMV ermöglichen, direkt auf die Festplatten zuzugreifen und ein eigenes ZFS-Pool darauf zu erstellen. Wenn Proxmox ausfällt, könntest du die Festplatten in einen anderen OMV- oder TrueNAS-Server einbauen und den ZFS-Pool importieren.

Bei einem Ausfall vom Proxmox:

Wenn du dich für ein virtuelles Laufwerk mit Dateisystem entscheidest, ist die Wiederherstellung relativ einfach. Nach der Neuinstallation von Proxmox und OMV musst du:

1. Das ZFS-RAID1 in Proxmox erneut einbinden.
2. Die VM oder den Container wiederherstellen.
3. Das virtuelle Laufwerk in OMV einhängen und es sollte das vorhandene Dateisystem erkennen.

Falls du dich für den Passthrough der physischen Festplatten entscheidest:

1. Installiere OMV oder TrueNAS auf einem anderen System.
2. Baue die Festplatten in das neue System ein.
3. Importiere den ZFS-Pool (in TrueNAS oder OMV).

Wie bereits von mir und dir erwähnt, ZFS auf ZFS solltest du vermeiden. Stattdessen kannst du: In Proxmox einen ZFS RAID1 erstellen und in OMV dann mit ext4, XFS oder btrfs formatieren.


Ich hoffe ich hab alles so richtig verstanden was du geschrieben hast und deine Fragen einigermaßen (soweit es ging haha) gut beantwortet.

 

[Rockhound53]

Hallo und nochmal Danke, ich komme schon immer weiter...

Ich habe mir jetzt folgendes überlegt:

Damit ich nicht direkt die 4 Laufwerke kaufen muss, würde ich 2x 4TB im ZFS Raid1 laufen lassen. ich denke dann direkt über Proxmox einzubinden und als Virtuelles Laufwerk an OMV weiterzuleiten (OMV hat ja „nur“ kein ZFS-Plugin, da traue ich mich nicht so ganz, dass dieses auch vernünftig läuft. Proxmox hat ZFS ja als Standard).

Frage: Macht es dann Sinn, in OMV das einfachste Dateisystem (ext4?) zu nehmen? Anspruchsvollere Dateisysteme haben dann sicherlich wieder einen höheren CPU- und RAM-Verbrauch? ZFS ist ja auch schon etwas anspruchsvoller, oder?

Benn ich ein ZFS-Raid in Proxmox mache, welches ja Checksum, Bit Rot Erkennung und "Selbstheilung" hat, hiflt mir das dann überhaupt, wenn ich mit OMV ein weiteres Dateisystem drüber lege und dann dort evtl. ist etwas defekt?

Ich hoffe, das dies dann meine letzte Rückfrage ist und ich dann eine Entscheidung habe, wie ich es angehe.

Besten Dank.

 

[otherwisegg]

Hallo und nochmal Danke, ich komme schon immer weiter...

Ich habe mir jetzt folgendes überlegt:

Damit ich nicht direkt die 4 Laufwerke kaufen muss, würde ich 2x 4TB im ZFS Raid1 laufen lassen. ich denke dann direkt über Proxmox einzubinden und als Virtuelles Laufwerk an OMV weiterzuleiten (OMV hat ja „nur“ kein ZFS-Plugin, da traue ich mich nicht so ganz, dass dieses auch vernünftig läuft. Proxmox hat ZFS ja als Standard).

Frage: Macht es dann Sinn, in OMV das einfachste Dateisystem (ext4?) zu nehmen? Anspruchsvollere Dateisysteme haben dann sicherlich wieder einen höheren CPU- und RAM-Verbrauch? ZFS ist ja auch schon etwas anspruchsvoller, oder?

Benn ich ein ZFS-Raid in Proxmox mache, welches ja Checksum, Bit Rot Erkennung und "Selbstheilung" hat, hiflt mir das dann überhaupt, wenn ich mit OMV ein weiteres Dateisystem drüber lege und dann dort evtl. ist etwas defekt?

Ich hoffe, das dies dann meine letzte Rückfrage ist und ich dann eine Entscheidung habe, wie ich es angehe.

Besten Dank.

Wenn du ein ZFS RAID1 in Proxmox erstellst und dieses als virtuelles Laufwerk an OMV weiterleitest, ist es tatsächlich am einfachsten, in OMV ein unkompliziertes Dateisystem wie ext4 zu verwenden.

1. ext4: Bewährt, stabil und ressourcenschonend. Ideal für einfache Setups und hat einen geringen CPU- und RAM-Verbrauch
2. XFS: Auch eine gute Wahl, besonders bei größeren Dateien und höheren Datenmengen. Etwas höhere Anforderungen an die Ressourcen, aber immer noch moderat.
3. btrfs: Hat einige fortschrittliche Funktionen wie Snapshots und Komprimierung, aber auch einen höheren Ressourcenverbrauch und Komplexität.

ZFS ist in der Tat ressourcenintensiver als ext4 oder XFS, sowohl in Bezug auf CPU als auch auf RAM. Wenn du das ZFS-RAID1 in Proxmox verwaltest, übernimmt Proxmox diese Last, und OMV muss nur das virtuelle Laufwerk verwalten. Daher ist es sinnvoll, ein leichtes Dateisystem wie ext4 in OMV zu verwenden.
Die Schutzmechanismen von ZFS (wie Checksums, Bit Rot Erkennung und Selbstheilung) wirken sich auf die Datenintegrität des ZFS-Pools aus. Diese Mechanismen arbeiten unabhängig vom darüberliegenden Dateisystem.

Wenn du ext4 in OMV verwendest, wird das ext4-Dateisystem diese Schutzmechanismen nicht beeinträchtigen. Das bedeutet:

• Falls ein Blockfehler auftritt: ZFS erkennt und repariert diesen Fehler, bevor er an ext4 weitergereicht wird.
• Wenn ext4-Dateisystem korrumpiert ist: Das wäre ein Dateisystemproblem auf der Ebene von ext4, aber ZFS stellt sicher, dass die darunterliegenden Datenblöcke konsistent und intakt bleiben.

 

[Rockhound53]

Alles klar, danke für die Erläuterungen.

Jetzt habe ich das NAS (Terramaster F4-424-Pro) mit 2x NVMe (WD Red SN700, 1 GB) in Betrieb genommen, direkt Proxmox drauf installiert und bekomme jetzt solche Syslogs:

07. Juni 16:33:22 pve-SkYNeT-Kernel: PCIe-Port 0000:00:1c.6: AER: Korrigierbare Fehlermeldung von 0000:00:1c.6 empfangen
07. Juni 16:33:22 pve-SkYNeT Kernel: PCIe-Port 0000:00:1c.6: PCIe-Busfehler: Schweregrad=Korrigierbar, Typ=Physikalische Schicht, (Empfänger-ID)
07. Juni 16:33:22 pve-SkYNeT Kernel: PCIe-Port 0000:00:1c.6: Gerät [8086:54be] Fehlerstatus/Maske=00000001/00002000
07. Juni 16:33:22 pve-SkYNeT Kernel: PCIeport 0000:00:1c.6: [ 0] RxErr (Erste)

Davon kommen alle paar Minuten die gleichen hinzu.

Hast du eine Idee, was das sein könnte? Proxmox ist noch „Jungfräulich“, bisher nur die Updates laufen lassen und weiterhin noch nicht installiert.

Besten Dank.

 

[Falk R.]

Dann guck mal weches PCI Device die Fehler verursacht.
Mit lspci werden dir alle Geräte gelistet und dann musst du nur die ID finden.

 

[Rockhound53]

Dann guck mal, welches PCI-Gerät den Fehler verursacht.
Mit lspci werden dir alle Geräte aufgelistet und dann musst du nur die ID finden.

Danke, das wäre dann folgendes Gerät:

00:1c.6 PCI-Brücke: Intel Corporation Device 54be

Sag mir aber auch nicht viel...

 

[Falk R.]

Das ist eine CPU - PCI Brücke. Ich habe jetzt auch keine Ahnung wie man herausfindet welches Device da angeschlossen ist.
Ich würde mal checken ob alle Kabel und sonstigen beweglichen Bauteile, wie z.B. NVMes richtig sitzen.