HomeServer - Hardwareberatung

[Tropaion]

Danke für deine Antwort, ich glaube ich verstehe es jetzt halbwegs.
Das ZFS von FreeNAS ist vertrauenswürdiger als von ProxMox, also verwendest du das zum sichern.

Kann ProxMox von sich selbst auch ein BackUp machen oder nur von denn VMs?
Weil wenn man ProxMox sich auch BackUpen kann, dann nehme ich zwischenzeitlich ne kleine alte HDD bis ich mir eine SSD kaufen kann und restore dann drauf.
Wenn ich mir wirklich noch eine SSD zulege, bin ich schon sehr über meinen Grenzen, das heißt Spiegeln ist bei mir nicht mehr drin, geschweige denn ZFS.

Wo ich auch noch keine konkrete Antwort gefunden habe ist, wie die VMs alle eigene lokale IPs vom Router bekommen? Geht das sowieso automatisch, oder muss man das was mit NAT,...etc. machen?

Lg,
Tropaion

 

[Dunuin]

Danke für deine Antwort, ich glaube ich verstehe es jetzt halbwegs.
Das ZFS von FreeNAS ist vertrauenswürdiger als von ProxMox, also verwendest du das zum sichern.

Ja, ein Unix wie FreeNAS mit ZFS vertraue ich da mehr als Linux mit ZFS. Deshalb ist das mit FreeNAS in der VM auch eine ziemlich elegante Lösung. Da hat man die Stabilität eines Unix mit ZFS von hause aus direkt im Kernel und da FreeNAS als reines NAS Betriebssystem ausgelegt ist ist alles schön vorkonfiguriert oder kann über die FreeNAS Weboberfläche leicht bedient werden. Bei mir habe ich FreeNAS sogar auf zwei extra Servern drauf aber in einer VM ist das natürlich auch eine Option wenn man keine 2 oder 3 Server laufen lassen möchte.

Kann ProxMox von sich selbst auch ein BackUp machen oder nur von denn VMs?
Weil wenn man ProxMox sich auch BackUpen kann, dann nehme ich zwischenzeitlich ne kleine alte HDD bis ich mir eine SSD kaufen kann und restore dann drauf.
Wenn ich mir wirklich noch eine SSD zulege, bin ich schon sehr über meinen Grenzen, das heißt Spiegeln ist bei mir nicht mehr drin, geschweige denn ZFS.

Nein, Proxmox kann sich selbst nicht backuppen. Ich musste Proxmox leider auch 3 mal neu aufsetzen, weil mich immer etwas gestört hat und ich das doch anders haben wollte. Auch ein Grund warum ich da die beiden Proxmox System SSDs gespiegelt habe. Wenn da dann mal eine ausfällt dann läuft wengistens alles normal weiter und ich muss nichts neu aufsetzen.
Prinzipiell könnte man von einer Linux Live CD booten und dann mit dem "dd" befehl einfach das ganze Proxmox Systemlaufwerk 1:1 auf ein anderes Laufwerk kopieren. Dann muss das Ziellaufwerk aber mindestens so groß sein wie das Quellenlaufwerk.

Wo ich auch noch keine konkrete Antwort gefunden habe ist, wie die VMs alle eigene lokale IPs vom Router bekommen? Geht das sowieso automatisch, oder muss man das was mit NAT,...etc. machen?

Lg,
Tropaion

Naja, entweder du verpasst denen manuell eine Statische IP oder du nutzt DHCP, dann würden die sich vom Router eine lokale IP abholen. Ich vergebe immer statische IPs, so kann das erst garnicht zu Chaos, durch wechselnde IPs, kommen.

 

[Tropaion]

Danke, jetzt ist mir das einiges klarer.
Ich denke ich werde eine kleine alte HDD nehmen und später einfach auf eine größere SSD spiegeln.

 

[Dunuin]

Ja, das klingt doch nach einem Plan. Dann kannst du dir auch etwas Zeit lassen und auf ein gutes SSD Angebot warten und vorher schon etwas testen.
Wenn du Proxmox auf eine kleine HDD installierst und nicht direkt auf die 4x 3TB HDDs, dann kannst du die 4 großen HDDs auch sehr einfach immer wieder importieren ohne an denen etwas ändern zu müssen. Falls du auch wie ich erst keinen Plan hast und öfters mal Proxmox neu installieren musst, weil dir etwas doch nicht passt.

 

[Tropaion]

@Dunuin ich habe jetzt noch etwas über das Setup nachgedacht und mir ist noch eine Fragen aufgekommen.
Wenn man mit FreeNAS eine Netzwerkfreigabe macht wo dann ProxMox VM-BackUps machen kann, läuft ja der ganze Traffic über denn Router oder?
Weil man ja ProxMox über das Netzwerk auf die Freigabe zugreift und dort dann sichert.
Das geht aber sich auch anders, das das direkt am selben Rechner passiert bzw. auch schneller/effizienter ist oder? Wie macht man das?
Lg,
Tropaion

 

[Dunuin]

@Dunuin ich habe jetzt noch etwas über das Setup nachgedacht und mir ist noch eine Fragen aufgekommen.
Wenn man mit FreeNAS eine Netzwerkfreigabe macht wo dann ProxMox VM-BackUps machen kann, läuft ja der ganze Traffic über denn Router oder?
Weil man ja ProxMox über das Netzwerk auf die Freigabe zugreift und dort dann sichert.
Das geht aber sich auch anders, das das direkt am selben Rechner passiert bzw. auch schneller/effizienter ist oder? Wie macht man das?
Lg,
Tropaion

Nein, wenn du eine VM benutzt hast du keinen direkten Zugriff zwischen den Laufwerken von VMs. Das geht dann echt nur indirekt über Netzwerkfreigaben. Das ist ja auch mit der Sinn, dass du da komplett isolierte virtuelle Rechner hast. Das macht das Ganze sicherer und leichter zu migrieren.
Langsamer als ein direkter Zugriff ist das immer noch, da ja ein Netzwerkprotokoll wie SMB oder NFS benutzt werden muss, aber alle deine VMs haben ja eine eigene IP, welche gemeinsam mit Proxmox an einer Linux Bridge hängt. Untereinander können Proxmox und die VMs über diese Bridge kommunizieren und die Daten müssen nicht über deinen Router laufen. Die virtuellen Netzwerkkarten können also direkt lokal untereinander kommunizieren.

Wenn du Linux Container (LXCs) statt VMs benutzt, dann kannst du auch direkt Ordner von Proxmox zu einem LXC mounten. So kann der LXC direkten Zugriff auf einen Ordner haben ohne den Umweg über SMB/NFS. Da Container aber nur halb-isoliert sind hast du auch einige Einschränkungen. So kannst du in LXCs z.B. nur Linux installieren und Windows oder FreeNAS würden nicht gehen, da diese eben keine Linuxe sind.

 

[Tropaion]

@Dunuin jetzt ist mir noch etwas eingefallen.
Spricht eig. was dagegen für denn FreeNAS ein 3x3TB RAIDZ-1 (effektiv 6TB) ZFS zu machen?

Zählt eine Intel SSD DC P4501 500GB auch zur Enterprise-Reihe? Hab die gerade für guten Preis gefunden, kenn mich bei denn Enterprise-Sachen aber nicht so aus.
Die haben einen U.2-Anschluss, keine Ahnung ob man die direkt mit SATA-Kabel anschließen kann.

 

[Dunuin]

@Dunuin jetzt ist mir noch etwas eingefallen.
Spricht eig. was dagegen für denn FreeNAS ein 3x3TB RAIDZ-1 (effektiv 6TB) ZFS zu machen?

Zählt eine Intel SSD DC P4501 500GB auch zur Enterprise-Reihe? Hab die gerade für guten Preis gefunden, kenn mich bei denn Enterprise-Sachen aber nicht so aus.
Die haben einen U.2-Anschluss, keine Ahnung ob man die direkt mit SATA-Kabel anschließen kann.

Gegen 3x 3TB HDDs als raidz1 mit FreeNAS spricht nichts.

Die SSD wäre eine Enterprise SSD aber ist die frage ob du die angeschlossen bekommst. U.2 ist von der Leistung eher wie eine M.2 NVMe SSD. Müsstest du dann wohl noch einen PCIe/M.2 zu U.2 Adapter kaufen und bin nicht sicher ob dein Mainboard dann überhaupt von einer an PCIe angeschlossenen SSD booten kann.

 

[vhit]

Die DC P4501 ist keine Endurance-Plattte, die hat 650 TB TBW. Die ist auch unfassbar langsam, auf keinen Fall als Schreibcache zu nutzen, da nur 300MB/s schreiben aber 2500MB/s lesend. Deswegen ist die auch so günstig angeboten, die sind haufenweise aus Servern übrig, aber die möchte halt keiner.

Wenn man die Intel-SSDs neu kauft ist das notwenige Kabel bereits dabei, ansonsten kostet das 30 Euro extra. Also hier drauf achten. Ihr beide wollt ja unbedingt etwas haben wo Enterprise dran steht, da möchte ich euch nicht weiter von abhalten und klinke mich dann auch aus.

Deine ausgesuchtes Board hat einen einen M.2 PCIe Gen3 x4 Anschluss. Den braucht die DC P4501, denn U.2 ist kein SATA sondern PCIe mit 12 GBit. Man kann aus einem M.2 Anschluss einen U.2 Anschluss machen mit soetwas: https://www.amazon.de/gp/product/B013MA3696

Falls man vier SATA-Ports aus einem M.2 machen möchte steckt man das drauf, braucht keine Treiber oder ähnliches und ist perfekt für JBOD: https://www.amazon.de/gp/product/B013G4EMH8/

Backup von Proxmox ist einfach, die ganze Konfiguration steckt in '/etc/pve' und muss nur weggesichert werden zusammen mit '/etc/passwd' und evtl '/etc/shadow'. Das sind dann 1-5 MB an Dateien.

 

[Tropaion]

@vhit Welche SSD würdest du empfehlen? Ich kenne mich da nicht so gut aus.
Eine Intel DC S3520 240GB hätte ich auch noch gefunden, aber die ist beim Schreiben und TBW auch nicht besser.

 

[Dunuin]

Die S3520 ist ebenfalls wie die P4501 nicht für Endurance ausgelegt (599 TBW). Powerloss Protection haben aber beide. S3700/S3710 wäre die Endurance Version zur S35X0 Serie.

 

[Tropaion]

@Dunuin ich hätte noch zwei Fragen.
Wenn ich das Setup mit FreeNAS jetzt mache und mit HBA direkt zugreife und ein ZFS mit Raid5 erzeuge.
Was ist wenn FreeNAS was hat und man es neu installieren muss, kann man dann denn Pool mit denn Daten wieder einbinden ohne etwas zu verlieren?

Und, wenn ich jetzt ProxMox auf einer SSD mit ZFS Raid 0 installiere, ist es möglich das später noch in ein Raid 1 umzuwandeln ohne alle neu aufsetzen zu müssen?

Mfg,
Tropaion

 

[Dunuin]

@Dunuin ich hätte noch zwei Fragen.
Wenn ich das Setup mit FreeNAS jetzt mache und mit HBA direkt zugreife und ein ZFS mit Raid5 erzeuge.
Was ist wenn FreeNAS was hat und man es neu installieren muss, kann man dann denn Pool mit denn Daten wieder einbinden ohne etwas zu verlieren?

Ja, prinzipiell kannst du die virtuellen Festplatten, worauf du FreeNAS installiert hast, löschen, neue erstellen und FreeNAS neu auf die installieren. Solange du nichts an den 3x HDDs am HBA machst (und höchstens eine ausgefallen ist) kannst du den Pool einfach wieder in FreeNAS importieren. Falls du den ZFS Pool verschlüsselt hast musst du aber die Keys gut sichern, sonst geht natürlich kein Import, wenn du es nicht wieder entschlüsseln kannst.
Ist ja auch einer der Vorteile von Software Raid. Sollte dein Server mal kaputt sein kannst du die HDDs einfach in einen anderen beliebigen Rechner stecken, ein FreeNAS installieren, den Pool importieren und schon kommst du wieder an alle Daten ran.

Und, wenn ich jetzt ProxMox auf einer SSD mit ZFS Raid 0 installiere, ist es möglich das später noch in ein Raid 1 umzuwandeln ohne alle neu aufsetzen zu müssen?

Mfg,
Tropaion

Ja, du kannst eine einzelne SSD nehmen und da Proxmox mit ZFS installieren. Damit ist ZFS erstmal auf der SSD erst einmal recht nutzlos, da es ohne Parität keine Fehler korrigieren kann (aber Fehler erkennen klappt noch) und auch keine Ausfallsicherheit bietet. Du kannst aber später den Pool um eine weitere SSD als Mirror erweitern. Dann hast du quasi ein ZFS Raid1.

 

[Dunuin]

Musst du dann mit dem Befehl "zpool add DeinPool mirror ZfsPArtitionDeinerAltenSSD ZfsPartitionDeinerNeuenSSD" machen. Vorher musst du aber der neuen SSD die Partitionstabelle, den Bootloader und die Partitionen von der alten SSD verpassen. Das ist wichtig, weil Proxmox nicht direkt von ZFS booten kann. Das sollte dann so ähnlich laufen wie hier beschrieben unter dem Punkt "Changing a failed bootable device".
Nur das du da halt "zfs add" statt "zfs replace" benutzt. Und das Wort "mirror" nicht vergessen, sonst macht dir "zfs add" da ein stripe (Raid0) statt einem mirror (Raid1) draus.

 

[Tropaion]

@Dunuin Danke noch mal für deine Antwort, jetzt ist wieder was aufgekommen.
Ich habe habe ja denn Dell PowerEdge T320 mit 8x 3.5'' Hot-Swap gekauft, ohne Caddys (leider, habe ich übersehen).
Alle 8 Slots sind an denn H310 Raid-Controller angeschlossen, das heißt wenn ich die SSD einbaue, sind die auch am RAID-Controller angeschlossen. Wenn ich jetzt HBA Passtrough zu FreeNAS mache, funktioniert das Setup dann nicht mehr oder? Ich habe zwar auch gehört das der Controller selbst einen Drive-Passthrough für manche Platten zum MB machen kann, aber das weiß ich nicht ob das da geht.
Leider hab ich nichts dazu gefunden, ob man direkt am MB auch SATA-Anschlüsse hat oder nicht.

Hoffentlich hab ich keinen Blödsinn gekauft. 2.5'' auf 3.5'' Caddy Adapter brauch ich dann auch noch für die SSDs.

 

[Dunuin]

Ja, wenn du den H310 per PCIe Passthrough durchreichst dann sind desse 8 SATA ports ausschließlich in der VM benutzbar.
Wenn das hier das Mainboard ist, dann sehe ich da 2 SATA ports die mit ODD beschriftet sind (vermutlich dann nur für CD/DVD) und das direkt dabenen (beschriftet mit "SATA_A") sollte ein SFF-8087 Anschluss sein. Mit einem SFF-8087 zu 4x SATA Kabel (7€) gehen da dann wohl noch 4 SATA Festplatten dran. Ich hab nur keine Ahnung ob du da dann im Gehäuse noch Platz für die SSDs hast. Die 8x 3,5" Slots dürften ja eine Backplane haben und du kannst da dann nicht einfach Laufwerke reinschrauben und einzelne SATA Kabel anschließen.
Eigentlich müsstest du ja noch 3x 5,25" Slots bei dem Gehäuse haben um da 1 oder 2 DVD-Laufwerke anzuschließen. Falls da bereits ein DVD-Laufwerk drin ist kannst du das auch bedenkenlos entfernen. Schluckt eh nur unnötig Strom und würdest du höchstens einmal brauchen können um Proxmox zu installieren. Dazu kannst du aber auch genau so gut einfach von einem USB-Stick booten. Im Prinzip kannst du da dann auch einfach ein 5,25" zu 2,5" Einbaurahmen kaufen. Sowas hier z.B. habe ich bei mir im Server. Da passen dann 6x 2,5" oder 2x 2,5" + 1x 3,5" Laufwerke in einen 5,25" Slot rein. Hatte ich glaube ich für 7€ gekauft.
Vermutlich wird das Server-Netzteil auch nur recht wenig SATA Stromanschlüsse haben. Meins hatte glaube ich nur 2 Stück bei einem 900W Netzteil und ich wollte da 8 Laufwerke anschließen. Eventuell brauchst du da dann noch ein Y-Kabel wie dieses hier.

Wenn das so stimmt könntest du bis zu 4x 2,5" SATA SSDs über einen 5,25" Einbaurahmen direkt über den SFF-8087 Anschluss am Mainboard anschließen und die dann für Proxmox nutzen. Der H310 würde dann an das Backplane von den 8x 3,5" Hotswap-Käfig gehen und dann könntest du da deine 3 HDDs für FreeNAS nutzen und könntest später z.B. noch dein FreeNAS um einen raidz1 pool aus bis zu 5 weiteren HDDs erweitern, wenn dir da mal der Platz ausgeht.

 

[Tropaion]

Am besten ich warte mal bis Montag bis der Server kommt und schau es mir dann genau an. Zu dem MB findet man ja im Internet fast gar nichts.
Alternativ wäre glaube ich noch ein zweiter HBA bzw. eine PCIe to SATA-Karte.

 

[Dunuin]

Ja, musst du dann aber mit den PCIe Lanes aufpassen. Laut der Dell-Seite hat der T320 war mechanisch PCIe 16x+8x+8x+8x+8x aber elektrisch angebunden sind die nur als 16x 3.0 + 4x 3.0 + 4x 2.0 + 4x 3.0 + 1x 2.0.
Müsste dann eine HBA Karte sein die nur PCIe 4x braucht oder die läuft sonst überhaupt nicht oder nur gedrosselt.

Der H310 braucht z.B. 8x PCIe 2.0

 

[Tropaion]

Ok, danke für die Info. Wusste nicht das es das auch gibt.
Bevor ich was großes mache, melde ich mich am Mo noch mal

 

[Dunuin]

Du kannst ja auch erstmal einfach eine Woche lang mit Proxmox und FreeNAS herumspielen bis du alles zusammen hast. FreeNAS kann im Gegensatz zu Proxmox z.B. auf einem USB-Stick installiert werden. Wenn du dann noch eine alte HDD für Proxmox hast, dann kannst du ja einfach beides mal installieren und dich einarbeiten. Dann machst du auch wenig doofe Fehler, wenn du dann später alle für den Produktiveinsatz installierst.

Gibt da ziemlich viele Fallstricke die sich nicht im Nachhinein so leicht ändern lassen. Sobald du ein raidz in Proxmox nutzt musst du dir z.B. eine gute Volblocksize für die VMs ausrechnen. Behältst du den Standardwert bei und erstellst einfach VMs, dann nehmen die VMs bis zu den doppelten Platz auf den Festplatten ein. Dann kannst du auf dem Papier zwar 2/3 der KApazität nutzen, aber in echt sind es dann z.B. nur 1/3 der Kapazität.