NAS on Top of Proxmox

[tweak]

Hallo zusammen,
ich arbeite bereits seit vielen Jahren mit Proxmox und möchte nun mein NAS-Setup noch einmal überdenken. Dazu würde ich gerne eure Meinung einholen.

Hintergrund:
Ich betreibe einen HP DL20 Gen10 mit zwei verbauten PM883-SSDs (2 TB).
Als Backup-System kommt ein Proxmox Backup Server auf einem HP DL20 Gen9 mit RAIDZ1 und WD-Red-Festplatten zum Einsatz.

Beide Systeme laufen mit einer Enterprise-Subscription.

Soweit zum Ist-Zustand.

Zum eigentlichen Thema:
Seit gut fünf Jahren betreibe ich eine Debian-VM, der eine vDisk mit 1 TB als NAS-Storage zugewiesen ist. Die VM ist in die Domäne eingebunden und stellt über Samba die Freigaben für Clients und Server bereit.

Die komplette VM inklusive der 1-TB-vDisk wird einmal pro Woche auf den Backup-Server gesichert. Ich habe bereits mehrfach Restore-Tests durchgeführt und bislang keine Probleme festgestellt.

Allerdings ist mir bewusst, dass ein Backup auf Hypervisor-Ebene für ein NAS-System nicht unbedingt ideal ist.

Daher meine Frage an euch:
Würdet ihr ein anderes Setup bevorzugen? Wenn ja, wo seht ihr die Mehrwerte?

• Die Varianten mit Passthrough-Disks kenne ich, diese funktionieren bei mir jedoch nur eingeschränkt, da ich einen zusätzlichen Controller benötigen würde, um die Disks direkt in die VM durchzureichen.
• Auch die Variante mit LXC und Datasets ist mir bekannt – allerdings stellt sich mir hier die Frage, wie es in diesem Szenario mit dem Backup-Prozess aussieht.

Vielen Dank für eure Tipps!


LG

 

[fstrankowski]

Für Homelab würde das gerade noch so gehen, habe ich früher auch mal so gemacht, aber auch da bin ich mittlerweile umgestiegen. Nutze jetzt hier ein DXP 4800+ mit Proxmox + TrueNAS mit durchgereichten Platten (also ganzem Controller) + ZFS womit ich deutlich weniger Bauchschmerzen habe.

Bei deiner bisherigen Hardware sollte Dich eine Investition von 400 € auch nicht weiter stören um das so umzubauen. Dann haste ein Top-NAS-System, mit Truenas, 10G, 2x NVMe + 4HDD und alles ist paletti. IMHO gibts derzeit fürs Homelab kein besseres Setup.

Um das abzurunden machste dann 1x pro Tag ein verschlüsseltes TrueNAS Backup auf eine Hetzner Storage Box und kannst dich zurücklehnen.

 

[Falk R.]

Die komplette VM inklusive der 1-TB-vDisk wird einmal pro Woche auf den Backup-Server gesichert. Ich habe bereits mehrfach Restore-Tests durchgeführt und bislang keine Probleme festgestellt.

Warum nur 1x pro Woche?

Allerdings ist mir bewusst, dass ein Backup auf Hypervisor-Ebene für ein NAS-System nicht unbedingt ideal ist.

Aber du hast die komplette Flexibilität einer VM.

Daher meine Frage an euch:
Würdet ihr ein anderes Setup bevorzugen? Wenn ja, wo seht ihr die Mehrwerte?

• Die Varianten mit Passthrough-Disks kenne ich, diese funktionieren bei mir jedoch nur eingeschränkt, da ich einen zusätzlichen Controller benötigen würde, um die Disks direkt in die VM durchzureichen.

Warum extra Controller? Du kannst doch einfach einzelne Disks durchreichen, das mache ich seit Jahren so. Du hast nur keine Smart Werte in der VM, weil die der Host bekommt.

Gerade weil du einen PBS hast, würde ich nichts ändern, außer die Backups mindestens täglich machen.
Einzelne Files oder Folder kannst du ja auch einfach restoren. Im Ernstfall auch einfach die ganze VM auf einem neuen Host.

 

[thearona]

ähnliches Setup, große VM mit allen Daten (bei mir Fedora) mit stündlichem Backup auf eine PBS VM und von dort nächtlich auf einen bare metal PBS (der läuft nur für die Zeit der Syncs und wird dann wieder schlafen gelegt). Zusätzlich lasse ich die wichtigsten Daten per restic (bzw backrestic mit GUI) auf eine hetzner storage box sichern, falls die Bude mal abrauchen sollte.

 

[tweak]

Hallo,
die Entscheidung der Backup-Frequenz ist ein Resultat aus der Anzahl an Änderungen der Files am NAS pro Woche.
Daher war bis zum jetzigen Zeitpunkt einmal die Woche ausreichend.

Ich hätte noch zwei drehende Disks 2TB Seagate Enterprise zu Hause, diese könnte ich ggf. direkt an eine VM durchreichen mit jedoch dem Kompromiss keine Zustandswerte in der VM zu haben.
Raid würde dann innerhalb der VM zustande kommen.

Für mich der Grund das aktuelle Setup zu hinterfragen, war genau der Punkt den @fstrankowski angesprochen hat.
Kann ich hier tatsächlich Datenverlust erleiden?
Trotz Backup auf getrennt Hardware?

Punkto Performance hatte ich eigentlich mit der aktuellen Konstruktion noch keinen "Engpass", trotz Raid1 sind die SSDs relativ flott.

 

[ThoSo]

Kann ich hier tatsächlich Datenverlust erleiden?
Trotz Backup auf getrennt Hardware?

Das kannst doch zusätzlich mit einer besser zwei externen Festplatten durch eine offline Kopie deines Datenbestandes bzw.. der Backups abfangen. Muss man manuell nur machen und an einem sicheren Ort lagern.

 

[Treptower]

Spoiler: Warning: Execute unvetted scripts at your own risk, they may take over your host.

bash -c "$(curl -fsSL https://raw.githubusercontent.com/And-rix/pve-scripts/main/vdsm/vdsm-arc-toolkit.sh)"

NAS in <60sec

 

[news]

bash -c "$(curl -fsSL https://raw.githubusercontent.com/..)"

NAS in <60sec

Haha, noch so etwas, was nix kann, das Script ist ein Sicherheitsrisiko!

 

[fstrankowski]

bash -c "$(curl -fsSL https://raw.githubusercontent.com/...)"

NAS in <60sec

• Priprietary Software
• Illegal / Not supported
• Not a NAS but more a hack
• Not stable by any means
• Your script isnt even documented

 

[tweak]

Ignorieren wir den Lösungsansatz mit dem genannten Script fürs erste. Die Gründe wurden ja bereits genannt.

Somit bleiben wir eigentlich beim gleichen Erkenntnisstand wie zuvor

Es gibt Pro für VM mit entsprechend großer vdisk und pro für Passthrough.

Das Argument von @Falk R. finde ich schon nicht schlecht, die Flexibilität einer VM zumal ich aktuell mit PBS Einzel File Restore aus den Backups tätigen kann.

Aber es muss ja auch was am Thema Datenverlust, Inkonsistenz dran sein.

 

[6equj5]

Auch die Variante mit LXC und Datasets ist mir bekannt – allerdings stellt sich mir hier die Frage, wie es in diesem Szenario mit dem Backup-Prozess aussieht.

Die LXC kann man doch "ganz normal" sichern, also bevorzugt auf einen PBS.

Würdet ihr ein anderes Setup bevorzugen?

Ich fahr ja mittlerweile einige Monate den ganzen PVE als NAS auf NAS-Hardware (Minisforum N5). Hab SMB/NFS bisher mit Webmin organisiert.
Seit gut einer Woche hab ich die ideale Lösung für mich: https://github.com/macgaver/zfsnas-chezmoi

Wenn ja, wo seht ihr die Mehrwerte?

Da weiß ich fast nicht, wo ich anfangen soll. Zunächst mal ist da alles mögliche drin: SMB, NFS, iSCSI, S3, Snapshots mit Replikation, ... Das alles mit schicker GUI. Und rasend performant.

 

[jim_os]

Seit gut einer Woche hab ich die ideale Lösung für mich: https://github.com/macgaver/zfsnas-chezmoi

Hm - etwas was es jetzt seit rund 2 Wochen gibt und was wohl per Vibe Coding entwickelt wurde und wird, würde ich auf mein Produktivsystem jetzt nicht unbedingt loslassen. Aber ok das ist natürlich Ansichtssache und eine ganz individuelle Entscheidung. Mal ein paar Monate abwarten ob und wie sich das dann so entwickelt.

VG Jim

 

[6equj5]

Vibe Coding

Na ja. Gibt eh bald nix anderes mehr. Und wenn man sich z.B. die GUI vom Proxmox ansieht, uiuiui. Nur so Pegaprox vs. PDM z.B.

... würde ich auf mein Produktivsystem jetzt nicht unbedingt loslassen.

Kannst den Source Code lesen und ändern oder nur selbst kompilieren, wenn Du denen net traust. Das ist ja ein Vorteil von Open Source.
Im Grunde verwenden sie ganz normale Linux CLI-Tools und stricken da die GUI drumrum.

Mal ein paar Monate abwarten ob und wie sich das dann so entwickelt.

In der Zeit nutze ich es halt. Wenn ich immer erst "ein paar Monate abwarten" wollte, bei jedem Tool, dann bekäme ich in meinem Restleben nicht mehr viel gebacken.

 

[Browbeat]

Na ja. Gibt eh bald nix anderes mehr

Sagt wer?

 

[6equj5]

Die Nutzer.

 

[Browbeat]

Die Nutzer der Software oder die Nutzer, also die Programmierer?

 

[6equj5]

Die der Software zuerst, so wie ich. Wenn es schnell verfübar ist und nützlich und noch schick ... warum sollte ich dann auf einen im Zweifel auch noch viel teureren "classic coder" warten, bis der mal in die Pötte kommt? Weil er am Ende bessere Qualität liefert? Allein das kann man bezweifeln.
Siehe Synology, QNAP, TrueNas, UGreen, whatever, um mal beim Beispiel eines "simplen" NAS zu bleiben. Das ist - in der bisherigen Form - alles unflexible Bloatware. Mich bekommen die nicht mehr zurück als Nutzer. Aber ok, ich bin vielleicht auch nicht repräsentativ. Die kommenden Jahre werden jedenfalls sehr unterhaltsam.

 

[Browbeat]

Du schreibst dir also deine NAS-Software selbst, bzw. lässt sie schreiben?

Schade, wenn für dich die Beispiele "unflexible Bloatware" sind, für die meisten ist es das sicher nicht

Und ja, deine Ansisten und Aussagen sind sicher nicht repräsentativ - ehrlich gesagt habe ich selten so viel Nonsens auf einmal gelesen.

 

[Browbeat]

Die der Software zuerst, so wie ich. Wenn es schnell verfübar ist und nützlich und noch schick ... warum sollte ich dann auf einen im Zweifel auch noch viel teureren "classic coder" warten, bis der mal in die Pötte kommt?

Da merkt man auch, dass du nicht wirklich Ahnung von der Materie hast.
Eine NAS-Software muss nicht schnell verfügbar und schick sein, sondern ausgereift und stabil.

Zumal es bei einem NAS-System ja nicht um Classic Coder geht - aber wirf gerne weiter mit Buzzwords um dich

 

[6equj5]

Du schreibst dir also deine NAS-Software selbst

Nein. Ich schau, was es am Markt gibt. Gerne bei FOSS.

Eine NAS-Software muss nicht schnell verfügbar und schick sein, sondern ausgereift und stabil.

Debian und OpenZFS sind ausgereift und stabil. Siehe Proxmox. Oder warum bist Du hier?

ZNAS verwendet nur völlig gängige Pakete, praktisch verpackt in eine schicke Oberfläche. Für Leute wie mich, die keinen Bock haben, auf CLI rumzuturnen.



Du darfst selbstverständlich verzichten.