Einstieg in Proxmox

[tweak]

Hallo Erstmals!
Ich bin neu im Umgang mit Proxmox und hätte dazu ein paar Fragen. Bis dato hat sich mein Anwendungsgebiet bei Hypervisor auf XEN, Esxi beschränkt.
Da ich mir aber nun für den Heimgebrauch einen HP DL20 Gen10 zugelegt habe und der darin befindliche S100i Controller von Esxi nicht unterstützt wird und ich dennoch gerne ein Raid hätte bin ich nun auf Proxmox gestoßen. (Hardware-Raid mal außen vor)

Soweit ich das bis dato gelesen habe kann ich mittels Proxmox und ZFS ja realisieren.

Installationsüberlegung:
Proxmox auf dedizierter 128 GB USB SSD (interner USB-Slot)
2x 1TB SSD im SW-Raid mit ZFS ?

Aktuelle Serverausstattung:
Intel Xeon 2136
32 GB RAM

Was will damit abgedeckt werden:
DC
Firewall
FileShare
OS mit GPU Passthrough
OS mit USB Passthrough

Denke die ersten 3 Dinge sollten kein Problem darstellen, wie sieht es aber mit dem Passthrough aus bei Proxmox? Läuft das so gut wie bei Esxi?
Für die Firewall/Routervariante wurde mir sogar speziell zu Proxmox geraten.

Hoffe ihr könnt mir hier ein paar Fragen beantworten und sage mal vorerst danke!

Mfg

 

[narrateourale]

Proxmox auf dedizierter 128 GB USB SSD (interner USB-Slot)

Was für eine SSD hast du im Sinn? Grundsätzlich funktioniert Proxmox anders als ein ESXi da es nicht nur vom Installationslaufwerk bootet sondern auch alle Logs usw. drauf schreibt. Ich persönlich würde auch Wert darauf legen, dass das System auch redundant ist.

2x 1TB SSD im SW-Raid mit ZFS ?

Grundsätzlich kein Problem. Ich würde aber bei den ganzen SSDs schauen, dass es Enterprise Grade SSDs sind die auch einiges an Schreiblast aushalten und nicht innerhalb kurzer Zeit durch sind.

32 GB RAM

Je nachdem wie viel du deinen VMs geben willst könnte das ein bisschen wenig sein.

OS mit GPU Passthrough

Kommt auf die IOMMU Groups an die das Motherboard zur Verfügung stellt.

OS mit USB Passthrough

Sollte kein Problem sein. Proxmox kann einzelne USB Geräte oder USB Ports durchreichen.

 

[tweak]

Hallo,
da es im HomeServer bereich liegt habe ich zu Samsung Evo gegriffen, die haben meiner Meinung ein brauchbares TBW/Preis Verhältnis.
D.h. du würdest es als sinnvoller erachten wenn ich das "Bootsystem" nicht auf eine seperate Platte ablege sondern eventuell anders betrachtet das komplette System auf einem Raid5 / Raidz ?

Ja, die 32GB Ram werden mir auch im HomeServer Betrieb noch zum Verhängnis werden auch in Verbindung mit ZFS.

GPU Passthrough, da habe ich bereits nen Thread eröffnet im Konfig-Forum, aber ohne Feedback. Hab mir daran 2 Tage die Zähne ausgebissen und bekomme es einfach nicht zum laufen (Code 43).
Mal zackig auf ESXi gewechselt und schon hat es geklappt.
IOMMU Groups sind kein Problem mit dem Mainboard.

USB Passtrough hab ich noch nicht versucht.

mfg

 

[tweak]

So da das Thema mit dem GPU-Passthrough nun gefixt ist, würde ich gerne ein paar Meinungen hören wie ich am besten den Speicher für Proxmox realisieren sollte.

Benötigen werde ich im Endausbau etwas bei ca. 2 TB.

Mein ursprünglicher Gedanke war es ja das OS auf einem seperaten Laufwerk zu betreiben. Aber nachdem bei Proxmox das etwas anders ist denke ich wird es auch sinnvol sein das redundant zu betreiben.

Was wäre mit einem Raidz mit 3x 1TB SSD für das System?

mfg

 

[tweak]

Keiner eine Empfehlung wie das am besten zu Handhaben ist? Oder wie das üblich im Home-Server umfällt läuft?

Mfg

 

[becheesus]

Ich bin ja nun auch beileibe kein Experte, sondern fange ebenfalls gerade an, bzw. plane meinen (auch Home-) Server. Sehe aber nun, nach einiger Überlegung, eigentlich keinen wirklichen Nutzen darin, das System bzw. PVE selbst auf eine separate SSD zu installieren. Für eine SSD spricht doch eigentlich nur die höhere Geschwindigkeit - die hier einigermaßen irrelevant ist. Und für eine Auslagerung, dass so Platz gespart wird - aber das ist hier ja auch nicht viel. Auf der anderen Seite hat man, wenn das OS ebenfalls auf einem redundanten ZFS-Pool installiert ist, auch in der Hinsicht Ausfallsicherheit, wie du ja auch schon schreibst.
Das Einzige, was, wenn ich es richtig verstehe, vielleicht als Nachteil betrachtet werden könnte, ist, dass der Rebuild etwas komplizierter, wenn vom ZFS-Pool gebootet wird, aber das wird ja in der Dokumentation auch gut erklärt und sollte zu schaffen sein.

Für mich hat auch v.a. gegen die Installation auf einer separaten SSD gesprochen, dass diese schon von guter Qualität sein sollte, also, was die zu erwartende Lebensdauer angeht, - und wenn man da wirklich gute Werte will, muss man vergleichsweise tief in Tasche greifen. Würde ich wohl tun, wenn ich wirklich einen Nutzen sähe - aber, wie gesagt, ich kann da keinen erkennen.

(An die Experten: wenn ich etwas grob missverstanden oder nicht beachtet habe: bitte korrigieren...)

 

[tweak]

Die ursprüngliche Idee Proxmox auf seperater Hardware abzubilden stammt eigentlich aus den Erfahrungen mit VMWare. Das ist somit hinfällig.
Mir geht es eher darum ob es sinnvoll ist den Datastore mit SSDs abzubilden zwecks Performance der VMs oder doch mittels klassischem Raid10 und HDDs/SAS.

Denke der eine oder andere wird das ja auch bereits im "HomeServer" bereich getestet bzw. überlegt haben.

mfg

 

[narrateourale]

Bei SSD und Home Server ist halt echt auch die Frage welche man nimmt. Bei den günstigen consumer SSDs läuft man Gefahr, dass diese mit den auf Servern teils hohen Schreibraten nicht lange klar kommen (gibt aktuell gerade ein paar Threads mit der Thematik) und die Enterprise SSDs zu teuer sind.

Was man mit ZFS noch machen kann ist mit den anderen VDEV-Typen einen Mittelweg gehen.

Man kann das Schreiben mit einer dedizierten ZIL/SLOG verbessern. Eine kleine Intel optane mit ein paar GB ist leistbar und hält lange. Das Lesen kann mit mehr RAM abgefedert werden solange die Lesemuster sich nicht zu oft ändern. Und dann gibt es mit der aktuellen 0.8 Version die Möglichkeit der "Special devices" wo man die kleinen Schreib- und Lesevorgänge auf SSDs auslagern kann während die großen Daten weiter auf die günstigen HDDs kommen. Kleine Daten sind in dem Fall Metadaten als auch kleine Dateien bis zur konfigurierten Größe.

Für meinen nächsten Home Server überlege ich mir evtl eine Optane für die ZIL zu nehmen und zwei Enterprise Grade SSDs mit ein paar hundert GB als Special device gespiegelt.

Ob das dann viel bringt wird sich zeigen.

 

[tweak]

Naja, aber wenn man Enterprise SSDs im TB bereich anschafft wird das für den Home-Use-Bereich auch schon etwas utopisch.

Meine Überlegung war ja, nachdem das mit dem Raid mit "Consumer-SSDs" so komplex ist auf folgendes auszuweichen.
Die SSD wird für die VMs benutzt und davon werden je nach Priorität täglich oder wöchentlich Snapshots gemacht auf eine externe HDD.
Damit hätte man meiner Meinung nach eine praktikable/bezahlbare Verfügbarkeit.

Was das ganze jetzt aber etwas schwieriger macht ist, dass Proxmox nicht im RAM ähnlich ESXi läuft sondern wirklich von der Platte. Soll heißen ist die Platte/SSD hinüber steht das System. Und hier Backups zu erstellen ist aufwändiger als mit den VMs.

Daher wär eigentlich der Fokus auch für das OS an die Verfügbarkeit. Und jetzt stellt sich die Frage, eigens für das OS ein Raid zu bauen oder gleich ein Raid für alles? Da ja auch irgendwie der Stromspargedanke im "Home-Use" ansteht, sollten es ja so wenig Platten wie notwendig sein um das ganze nicht unnötig in die Höhe zu treiben.

Mfg

 

[becheesus]

Was für SSDs kämen denn so in Frage? Also kleine Optane-Teile (für OS und/oder als Log- u. Cache-Device). Gibt es da auch welche im M.2-Format? Und wie hoch sollte der TBW-Wert sein, wenn man die SSD für PVE selbst verwenden wollte?
Die TBW hängen ja auch stark mit der Größe der SSD zusammen (naheliegenderweise); d.h. wenn man hier die richtig hohen Werte haben will, muss man eher große kaufen - und die gehen, bei Optane, halt schon sehr in's Geld.

Edit: was ich mich auch noch frage, ist: in der Doku steht zu "Replacing a failed disk in the root pool": "Now replace the physical disk (if it's hot-swappable, otherwise you'll have to reboot which could be interesting if it's /dev/sda that's failing"
Was ist denn damit genau gemeint? Könnte es in einer solchen Situation größere Risiken geben, dass das System nicht wiederhergestellt werden könnte? Das ist aktuell tatsächlich der einzige Grund, warum ich mir noch nicht sicher bin, PVE direkt auf den ZFS-Root-Pool zu installieren.
Meine HDDs werde zwar "hot-swappable" sein, aber man weiß ja nie, welche Probleme es vielleicht geben wird...

 

[narrateourale]

Was das ganze jetzt aber etwas schwieriger macht ist, dass Proxmox nicht im RAM ähnlich ESXi läuft sondern wirklich von der Platte. Soll heißen ist die Platte/SSD hinüber steht das System. Und hier Backups zu erstellen ist aufwändiger als mit den VMs.

Für das OS sollte aber auch eine ~60GB Optane ausreichen bzw. wenn einem die Lautstärke nicht ganz wichtig ist würden sich auch 2x 2.5" HDDs dafür eignen.

Daher wär eigentlich der Fokus auch für das OS an die Verfügbarkeit. Und jetzt stellt sich die Frage, eigens für das OS ein Raid zu bauen oder gleich ein Raid für alles? Da ja auch irgendwie der Stromspargedanke im "Home-Use" ansteht, sollten es ja so wenig Platten wie notwendig sein um das ganze nicht unnötig in die Höhe zu treiben.

2.5" HDDs brauchen schon nicht viel Leistung, ~2 W im Betrieb. SSDs spielen sich eher im 0.xW Bereich ab. Wenn man sich die Stromkosten auf ein Jahr hoch rechnet sind die bei den SSDs sowieso vernachlässigbar, bei den 2.5" HDDs auch wenig bis kaum ins Gewicht fallend solange man nicht 10 oder mehr davon betreiben will

Ob jetzt OS und Gäste auf dem gleichen RAID/ZPOOL laufen oder nicht ist wohl eher Geschmackssache bzw. abhängig davon wie viele Disken man unterbringen kann / mag. Grundsätzlich sollte nicht dagegen sprechen alles in einem großen RAID zu haben.

Gibt es da auch welche im M.2-Format? Und wie hoch sollte der TBW-Wert sein, wenn man die SSD für PVE selbst verwenden wollte?

AFAIK gibts die Optane nur im m.2 Format. Bezüglich einem spezifischen Modell / Familie für großes Storage hab ich selbst zu wenig Erfahrung. Aber wenn man die TBW ein wenig vergleicht (geht auf Geizhals ganz gut) sind zB bei Samsung die Consumer SSDs so bis zu 300-400TB TBW spezifiziert.
Aber deshalb gibt es ja auch durchaus die Optione HDDs zu verwenden und mit einer kleinen guten SSD zu schreibend zu cachen und mit mehr RAM lesend zu cachen. Wie schon gesagt, sollten die etwas höheren Stromkosten (bei 2.5" HDDs) im Vergleich zu den höheren Anschaffungskosten von SSDs egal sein.

Das sind bis jetzt aber auch nur Gedankengänge die ich zu meinem neuen geplanten Homeserver habe.

Edit: was ich mich auch noch frage, ist: in der Doku steht zu "Replacing a failed disk in the root pool": "Now replace the physical disk (if it's hot-swappable, otherwise you'll have to reboot which could be interesting if it's /dev/sda that's failing"

Die Wiki Seiten sind soweit ich das beurteilen kann nicht immer auf dem ganz aktuellen Stand. Ich hab nachgeschaut, im Administration Guide steht gut beschrieben wie man eine kaputte Festplatte in einem ZPOOL wechselt, auch was zu tun ist, wenn die Festplatte ein Teil des Pools ist von dem gebootet wird: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_zfs (3.8.4)

 

[tweak]

Hallo,
nach langem hin und her. Werde ich nun eine Teststellung mit 2x Raid1 wagen.
Also 2x Consumer SSD hab eine gefunden die unschlagbar günstig ist und dennoch 835TB aushalten soll. Das werden wir mal testen.
Als Backup dafür kommen 2x Seagate Exos zum Einsatz.

Interessant wäre es dazu noch ob es irgendwie möglich wäre die Schreibvorgänge die Proxmox zylklisch erzeugt zu reduzieren. Bzw. vielleicht gibts ja möglichkeiten Dienste zu deaktivieren wie HA-Funktionalität welches im Home-Use eher weniger Anwendung finden wird um die SSDs zu schonen.

mfg

 

[tweak]

So die erwähnten "Consumer SSDs" sind vorübergehend nicht lieferbar. Jetzt stehe ich erst wieder am Anfang.
Noch jemand Vorschläge bevor ich eine neue Bestellung tätige?