Detailfragen zu denen ich keine passende Antwort bekommen konnte.

[sebaCGN]

Hallo Proxmox user,
bin neu ind befasse mich grade mit PVE aus (erstmal) privatem Interesse.

Kurz zu mir: Bin 45 Jahre alt, kein ausgebildeter ITler, aber seit 15 Jahren mein Beruf. Leider primär mit Microsoft Produkten, Linux nur privat und nie produktiv benutzen müssen was mir leider was abgeht.

Mein Setup:
i3 n305
32 GB Ram
Div. SSDs, NAS HDDs

Mein Ziel:
"klassisches" Homelab.
Eine OMV VM
eine Win10/11 VM
mehrere Container:
Adguard oder PiHole
Paperless
Bitwarden
Stirling PDF
Home assistent
etc....

Was für mich elementar wäre, ist die OMV VM da müssten 2 Mirror Raid arrays rein und da gehts schon los.

Bilde ich einen Raid1 ZFS Pool in PVE und reiche nur den Verbund in OMV, oder reiche ich die Platten einzeln durch oder den Controller per PCIe Passthrough und stricke mir das Raid1 in der VM ?

Was ist in der Gesamtheit die optimale Lösung, ich muss ja irgendwie gewährleisten das ich informiert werde wenn mir ein Array um die Ohren fliegt.

Thema Backup/Snapshots ist ja auch interessant.

Ich hab schon experimentiert mit PCIe Passthrough und das hat augenscheinlich auf Anhieb funktioniert. Ich hatte on OMV die S.M.A.R.T. Werte und konnte ein Pool einrichten und durch OMV überwachen lassen.

Ich habe ziemlich viele Tutorials, yt, PDFs durch und einen zuverlässigen konsistenten Weg konnte ich mir nicht ableiten.

Die Linux Defizite machen es auch nicht leichter aber da mir privat MS Windows immer mehr auf den Keks geht möchte ich mich schon in Zukunft umorientieren.

Wäre evtl. ein "Homelab Tutorial" für so Anfänger wie nicht eine gute Sache ? Hab sowas als gesammeltes Werk nicht gefunden. Würde es aber sehr "feiern"

Ich hätte auch noch Fragen zu Pfaden VM, Container, ISOs, PVE Installation selber und ob es Sinn macht
die zu verlegen wegen dem Platz auf Laufwerken.

Ich bin vermutlich der 1000. der sowas fragt, ich hab auch viel Infos gefunden bekomme es aber nicht mehr Überblickt und habe einfach ein paar finale Fragen.

Ich bedanke mich vorab!

VG Seba

 

[LnxBil]

Was für mich elementar wäre, ist die OMV VM da müssten 2 Mirror Raid arrays rein und da gehts schon los.

Bilde ich einen Raid1 ZFS Pool in PVE und reiche nur den Verbund in OMV, oder reiche ich die Platten einzeln durch oder den Controller per PCIe Passthrough und stricke mir das Raid1 in der VM ?

Ich bin wegen der Komplexität immer dafür, alles auf seiner eigene Ebene zu machen, d.h. Storage wird außerhalb der VM gemacht und im Hypervisor integriert. Ich würde sogar alles - auch im Homelab - auf mind. ein RAID1 legen wollen und dann nur das "nach unten" weitergeben was man so braucht.

Was ist in der Gesamtheit die optimale Lösung, ich muss ja irgendwie gewährleisten das ich informiert werde wenn mir ein Array um die Ohren fliegt.

PVE würde das per Mail tun, wenn alles korrekt konfiguriert ist.

Wäre evtl. ein "Homelab Tutorial" für so Anfänger wie nicht eine gute Sache ? Hab sowas als gesammeltes Werk nicht gefunden. Würde es aber sehr "feiern"

Wird bestimmt irgendwann irgendwer anlegen, aber PVE hat nicht das Homelab als Ziel und es gibt nicht "die" Lösung. Wir sind hier bei Linux und da gibt es immer viele Wege mit unterschiedlichen Philosophien und Herangehensweisen. "Die beste" ist halt immer subjektiv und - wie immer und überall im Internet - wird es einer besser wissen bzw. deine Lösung scheiße finden

Ich hätte auch noch Fragen zu Pfaden VM, Container, ISOs, PVE Installation selber und ob es Sinn macht
die zu verlegen wegen dem Platz auf Laufwerken.

Das kannst nur do beantworten ob das Sinn macht. In meinen Setups gibt es normalerweise keine Fragen nach "wegen dem Platz auf den Laufwerken". Alles in in einem Pool und somit hat man nie die Wahl wohin man etwas legt. Wenn die Daten in mehreren Containers zugegriffen werden müssen, muss halt ein Bind-Mount her oder man macht es über das Netzwerk.... aber ob das für einen use case was ist musst du entscheiden.

Ich bin vermutlich der 1000. der sowas fragt, ich hab auch viel Infos gefunden bekomme es aber nicht mehr Überblickt und habe einfach ein paar finale Fragen.

Ja, wahrscheinlich ... und du wirst nicht der letzte sein. Im Allgemeinen trifft halt immer die Antwort "kommt halt darauf an" zu, bzw. YMMV im englischen.

Im Endeffekt wirst du es wahrscheinlich selbst ausprobieren müssen, aber ich bin Verfechter von KISS und somit sollte man so wenig wie möglich am Hypervisor machen müssen, sondern alles in die VMs auslagern. Macht das Restore wesentlich einfacher und man weiß in ein paar Jahren auch noch was man da gemacht hat, da alles schön 0815 funktioniert.

 

[sebaCGN]

Hi,
danke für die (schnelle) Rückmeldung.
Ja durch die Linux Basis und meine Defizite geht mir halt sehr viel von der "Logik" flöten.
Ich muss da echt noch Lücken schließen und dann ergeben sich manche Dinge von alleine.

Ich hab da auch bock drauf nur sind viele Linux user und Foren eher "speziell" und ich ecke da oft an Aussagen an die bestimmt gut gemeint und richtig sind mich aber null oder nur mit der Brechstange weiterbringen.

Foren sind Fluch und Segen zugleich !

So wie ich dich verstanden habe sagst du:
Lass alles "default" leg die Speicherpools in PVE an und binde den pool ein.

Ich bräuchte tatsächlich 3 Raid1 HDD Pools, und habe noch eine Handvoll 256GB 2,5" SSDs zur Hand. M.2 leider nicht ohne Geld in die Hand nehmen zu müssen was ich aktuell vermeiden möchte.

Was wäre denn eine akzeptable Kapazität für PVE zu beheimaten ? 512GB ? 1TB?

Bitte nicht wundern über die 3 Raid1 Pools aber das
sind alles Überbleibsel vorheriger NAS und leider immer nur 2 HDDs = Raid1

würdest du auch PVE selbst auf ein RAID1 (zfs) installieren ?

Wie kann ich dann alles am besten sichern ? also die pve installation die pools und VMs/LXCs ?

Das Thema überblicke ich noch nicht zuverlässig leider.

 

[LnxBil]

Ich bräuchte tatsächlich 3 Raid1 HDD Pools, und habe noch eine Handvoll 256GB 2,5" SSDs zur Hand.

An sich würde ich einen ZFS Pool mit 3 vdevs zu je zwei Platten machen (also RAID10 in der "alten RAID Terminilogie" über 6 Platten, ergo Platz von 3). Das klappt auch mit unterschiedlichen Größen, falls du nicht alle der gleichen Größe hast.

M.2 leider nicht ohne Geld in die Hand nehmen zu müssen was ich aktuell vermeiden möchte.

Nur am Rande: M.2 ist der Formfaktor der Karten und sagt nix aus über das Protokoll SATA oder NVMe aus. Eine 12 Gb SAS 256 GB ist schneller als eine M.2 SATA 6 Gb.

Du wirst mit Con-/Prosumer SSDs keinen Spaß haben mit ZFS. Wenn du es versucht kommen garantiert Threads von dir, dass entweder deine SSD schnell kaputtgegangen ist oder alles sehr langsam ist. Wenn es dir möglich ist, dann kauf dir bei eBay zwei gebrauchte Enterprise SSDs z.B. ab 240GB für ca. 30 Euro das Stück und verwende die für ZFS als special metdata devices, somit kannst du dir einen Pool bauen, auf dem einige Daten auf den SSDs, die Metadata immer (so lange Platz ist) auf den SSDs und der Rest der Daten auf den HDDs.

Was wäre denn eine akzeptable Kapazität für PVE zu beheimaten ? 512GB ? 1TB?

Das OS selbst benötigt auf einem komprimierten ZFS meistens weniger als 10 GB, du kannst das also locker einfach auf dein ZFS mit draufpacken.

Bitte nicht wundern über die 3 Raid1 Pools aber das
sind alles Überbleibsel vorheriger NAS und leider immer nur 2 HDDs = Raid1

Hast du genug Plattenplatz das einmal auszulagern und dann entsprechend neu draufzukopieren? Dann könntest du einen großen ZFS Pool machen und hast generell mehr davon.

würdest du auch PVE selbst auf ein RAID1 (zfs) installieren ?

Ja, wie gesagt alles nur in einen einzigen Pool.

Wie kann ich dann alles am besten sichern ? also die pve installation die pools und VMs/LXCs ?

Proxmox Backup Server (PBS). Die Installation selbst ist egal, wenn du an der nichts änders (KISS Prinzip), sondern alles in den Containern / VMs machst. Sonst müsstest du die auch noch sichern, was der PBS aber auch kann. Nur das Wiederherstellen auf Bare-Metal wird nicht so einfach klappen.

Den PBS kannst du entweder als eigene Maschine, gehostet im Internet (früher auch frei über tuxis.nl oder remote-backups.com) oder zur Not als LX(C) container auf dem PVE selbst betreiben, dann aber mit externem Langzeit-Datastore, z.B. auf einer USB Festplatte. Ich selbst habe oft einen PBS in einem Container mitlaufen, der ständig (alle paar Stunden) ein Backup fährt und der seine Daten dann auf einen externen PBS offsite hochkopiert um die 3-2-1 Regel sicherzustellen.

PVE kann auch selbst Backups anlegen, aber nur Vollbackups, was auf Dauer einfach zu viel Platz benötigt.

 

[sebaCGN]

Hi,
erstmal wirklich vielen vielen Dank !

Viel Input !
Ich weiß das klingt vielleicht doof aber ich bin nicht soo tief in dem Server Storage Thema drin. schon vdevs gehört, muss ich aber erstmal forschen.

Die Platten sind 2x8,2x13,2x16TB.

Sind jetzt nicht voll, aber ich hätte gerne ein paar Trennungen, ich wollte einen "Büro Pool"
Auch als Ziel für paperless, stirlingPDF,onlyoffice eventuell etc. Beziehungsweise den verwegenen Plan sämtliche Office Themen Remote anzusteuern) einen persönlichen Space ( DSLR Fotografie mit RAWs und ein paar ISOs und Zeugs)
und einen "Entertainment Pool"

ZFS scheint DAS Ding zu sein was ich bis jetzt gelesen und verstanden hab. Mir macht nur die Ram Last etwas kummer wenn ich 2 bis 4 GB pro TB lese.
(kann nur max. 48gb und hab zur Zeit nur 32gb)

Aber 1 pool für wirklich alles ?!
Das widerspricht aber meiner bisherigen Vorgehensweise aber ich kam auch nie über RAID 5 bzw. 10 hinaus.

Ist das dann dank zfs vergleichbar mit unRAID?
Das einfach beliebige Platten immer zum Pool hinzugefügt werden und dann nur entsprechend die paritäten wieder verteillt werden?

Es ist mir grade etwas peinlich so blank hier zu stehen und irgendwie offensichtlich ein Stück weit stehen geblieben zu sein im Kopf und stelle fest ich weiß einfach doch noch gar nix über PVE...
und ich hab mich schon Stunden lang damit befasst.
Ich wills nicht mal produktiv nutzen

wenn ich den PBS als Container laufen lasse und mir geht die Kiste kaputt, komme ich ohne die Instanz auch erstmal nicht mehr zurück zum Ursprung. right ?
D.h. ich muss dann irgendwo anderweitig einen PBS an den Start kriegen ?

Krass...und auch irgendwie alles interessant !

Vielleicht habe ich mich da echt ein bisschen übernommen merke ich grade und gehe jetzt erstmal produktiv auf ein reines OMV oder trueNAS "zurück" uns bastel mir eine PVE Bastelkiste und dann mal demütig try&error!

Typisch Linux Forum, die Fragen werden mehr nicht weniger

VG
Seba

 

[LnxBil]

Das einfach beliebige Platten immer zum Pool hinzugefügt werden und dann nur entsprechend die paritäten wieder verteillt werden?

Ne, das ist RAID-technisch was anderes.

wenn ich den PBS als Container laufen lasse und mir geht die Kiste kaputt, komme ich ohne die Instanz auch erstmal nicht mehr zurück zum Ursprung. right ?
D.h. ich muss dann irgendwo anderweitig einen PBS an den Start kriegen ?

Ja und dort einfach den datastore anhängen. Daher wäre ein off-site PBS schon was feines.

Typisch Linux Forum, die Fragen werden mehr nicht weniger

Das ist in der Wissenschaft auch so, von daher ist das gut.

Sind jetzt nicht voll, aber ich hätte gerne ein paar Trennungen, ich wollte einen "Büro Pool"
Auch als Ziel für paperless, stirlingPDF,onlyoffice eventuell etc. Beziehungsweise den verwegenen Plan sämtliche Office Themen Remote anzusteuern) einen persönlichen Space ( DSLR Fotografie mit RAWs und ein paar ISOs und Zeugs)
und einen "Entertainment Pool"

Pool ist ja die oberste Einheit, darunter werden datasets angelegt. ZFS ist ja gleichzeitig ein Volume-Manager als auch ein Dateisystem, sodass du alles schön trennen kannst, aber es belegt halt nur Speicher auf einem Pool. Mit dem Verbinden aller Platten hast du zum einen eine Verteilung, sodass es schneller wird, als auch eine Speicherplatzvergrößerung. Zudem kann ZFS Komprimierung und du verwendest somit weniger Platz. Man kann alles schön in Datesets packen für die Dinge, die einem so Spaß machen und diese beliebig schachteln. ZFS kann auch send/receive mit dem man die Daten inkrementell Replizieren kann, wenn man sie z.B. auf eine (besser mind. 2) externe Platten spiegeln möchte.

Das bricht etwas das KISS-Prinzip, aber wenn man die Daten mit ZFS verarbeiten möchte, wäre das auf jeden Fall auch was feines. Mache ich auch so bei kleineren Umgebungen, in größeren hab ich das ZFS ebenso in der VM am laufen und verwende im Cluster CEPH.

Vielleicht habe ich mich da echt ein bisschen übernommen merke ich grade und gehe jetzt erstmal produktiv auf ein reines OMV oder trueNAS "zurück" uns bastel mir eine PVE Bastelkiste und dann mal demütig try&error!

PVE kann ganz einfach und ganz schwer sein, je nachdem wie tief man da rein möchte. Wenn man gleich die eierlegende Wollmichsau will, ist es eben schwerer :-D

 

[sebaCGN]

Nabend,
nicht falsch verstehen.
Ich hab schon bock mich da rein zu fuchsen und mir ist auch klar das es von Enterprise bis runter zum privaten Homelab funktioniert.

Meine Befürchtung ist nur das ich es in meiner Freizeit nicht gebacken bekomme.

Jeder will die eierlegende Wollmilchsau wenn er die bekommen kann, das heisst ja nicht das ich erwarte keine Arbeit damit zu haben.

Mein NAS muss aber leider zuverlässig laufen und verfügbar sein alles andere ist verhandelbar und gilt es zu lösen...aufgeben gibts nicht, der Berg ist nur noch höher geworden als er schon ist.

Noch kann ich testen...ich hau mal alle Platten die ich noch rumfliegen habe an die PVE kiste, dann installiere ich das neu mache direkt beim Setup ein ZFS Raid?....nur welches ? Muss ich nochmal lesen.

Dataset anlegen habe ich ich verstanden und kopiere mal ein paar Daten drauf und das kann ich dann auch als HDD in eine VM durchreichen denke ich.

Dann teste ich mal den PBS als Container oder VM und versuch mal meine PVE instanz weg zu sichern und nochmal wieder herzustellen.
Kann ich den pbs theoretisch auf meinem Arbeitsrechner in eine Virtualbox installieren und eine Sicherung erstellen und retour?

Gelingt mir das habe ich schon mal die Gewissheit das
ich noch irgendwie handlungsfähig bin und könnte anfangen es "privat produktiv" mal anzugehen.

Man kann es nicht oft genug sagen, danke für deine Zeit und Input !
Sie war auch bestimmt nicht umsonst aber wie bei allem neuen braucht man erstmal ein langen Atem und Geduld. PVE fasziniert mich richtig ich muss nur die Zeit finden es zu lernen.

VG
Seba