ESXi 6.0 zu Proxmox Migration - Setup und Hardwarefragen

[BeMei]

Hallo zusammen,

ich muss unsere IT die nächsten Jahre noch ein wenig am Leben erhalten. Aktuell habe ich zwei HP Server DL 308 G6 (8x 300 GB SAS mit RAID Controller) und DL 385 G7 (8 x 500 GB ebenfalls mit RAID Controller) unter ESXi 6.0 am Laufen. Es sind jeweils zwei Platten im Raid gespiegelt wegen Ausfallsicherheit. Im Laufe der letzten Jahre musste ich auch durchaus die eine oder andere Platte tauschen.

Auf dem G7 ist ein Exchange Server 2016 unter Windows Server 2016 und ein Fileserver Windows Server 2019 als VM installiert,
auf dem G6 ein Terminalserver 2016 und einige Windows 10 VM, Dazu läuft auf jedem Host noch ein Domaincontroller.

Weder Terminalserver noch Exchange Server haben in Zukunft noch User die sie brauchen werden weil die Leute nicht mehr da sind,

Die Idee ist es eine vorhandene Workstation mit 2x Xeon Gold Prozessoren und 256 GB RAM mit Proxmox aufzusetzen. Dazu stehen 2 Seagate 8TB Ironwolf Platten zur Verfügung und zwei SSD mit 2 TB die als 24x7 gelabelt sind. Die Workstation hat keinen RAID Controller.

Ich hatte die Überlegung die beiden 8TB HDD mit ZFS aufzusetzen und alle VM da drauf zu packen. Es ist nicht mit viel Traffic zu rechnen ausser den notwendigen Backups.
Den Exchange Server würde ich gerne durch Gromox/Grommunio ersetzen und sobald das erledigt ist auch die Domänencontroller einmotten.

Meine Fragen:

Wäre es sinnvoll da ich ja kein Hardware RAID habe bei den Ironwolf Platten ZFS einzusetzen? Ich denke RAM wäre wohl genug da, oder?

Was ist mit dem System: Ich habe des öfteren gelesen das ZFS die SSD kaputt macht. Ist das aktuell so richtig? Gäbe es eine andere Möglichkeit ohne einen Hardware Raid Controller zu nehmen? Vielleicht LVM als Spiegel?

Habt ihr vielleicht Tips für ein anderes Setup?

 

[waltar]

(Wenn kein hw-raid vorhanden wie hier) Installier pve mit zfs mirror auf die 2x8TB hdd und anschliessend mach noch ein zfs mirror aus den 2x2TB ssd's für deine VM's. 256GB Ram ist gut. Die pve db kann somit die ssd's nicht "verbrauchen" und den hdd's macht das nicht soviel aus, zudem kannst du intern nochmal die VM's vom ssd mirror auf den hdd mirror spiegeln.

 

[Falk R.]

Hallo zusammen,

ich muss unsere IT die nächsten Jahre noch ein wenig am Leben erhalten. Aktuell habe ich zwei HP Server DL 308 G6 (8x 300 GB SAS mit RAID Controller) und DL 385 G7 (8 x 500 GB ebenfalls mit RAID Controller) unter ESXi 6.0 am Laufen. Es sind jeweils zwei Platten im Raid gespiegelt wegen Ausfallsicherheit. Im Laufe der letzten Jahre musste ich auch durchaus die eine oder andere Platte tauschen.

Auf dem G7 ist ein Exchange Server 2016 unter Windows Server 2016 und ein Fileserver Windows Server 2019 als VM installiert,
auf dem G6 ein Terminalserver 2016 und einige Windows 10 VM, Dazu läuft auf jedem Host noch ein Domaincontroller.

Weder Terminalserver noch Exchange Server haben in Zukunft noch User die sie brauchen werden weil die Leute nicht mehr da sind,

Die Idee ist es eine vorhandene Workstation mit 2x Xeon Gold Prozessoren und 256 GB RAM mit Proxmox aufzusetzen. Dazu stehen 2 Seagate 8TB Ironwolf Platten zur Verfügung und zwei SSD mit 2 TB die als 24x7 gelabelt sind. Die Workstation hat keinen RAID Controller.

Ein 24/7 Label ist mehr Marketing als ein echter technischer Unterschied.

Ich hatte die Überlegung die beiden 8TB HDD mit ZFS aufzusetzen und alle VM da drauf zu packen. Es ist nicht mit viel Traffic zu rechnen ausser den notwendigen Backups.

Da die HDDs langsam drehende Disks (7k) sind wird das mit ZFS recht langsam werden. Die alten 300G Disks sind 10k SAS welche deutlich schneller sind.

Den Exchange Server würde ich gerne durch Gromox/Grommunio ersetzen und sobald das erledigt ist auch die Domänencontroller einmotten.

Meine Fragen:

Wäre es sinnvoll da ich ja kein Hardware RAID habe bei den Ironwolf Platten ZFS einzusetzen? Ich denke RAM wäre wohl genug da, oder?

Was ist mit dem System: Ich habe des öfteren gelesen das ZFS die SSD kaputt macht. Ist das aktuell so richtig? Gäbe es eine andere Möglichkeit ohne einen Hardware Raid Controller zu nehmen? Vielleicht LVM als Spiegel?

Du kannst ein md Raid bauen oder wenn du das OS da drauf installieren willst kannst du im Installer auch BTRFS Raid1 nehmen.

Da du eh nicht viele VMs hast könnte das schon funktionieren. Je nachdem was für Anschlüsse in der Workstation vorhanden sind, eventuell noch zwei gebrauchte Enterprise SSDs dazu kaufen. Damit könntest du die HDDs deutlich beschleunigen, wenn du Special Device (Metadaten) und Cache von den SSDs zur Verfügung stellst.

 

[Johannes S]

Wäre es sinnvoll da ich ja kein Hardware RAID habe bei den Ironwolf Platten ZFS einzusetzen? Ich denke RAM wäre wohl genug da, oder?

Ja, der RAM sollte ausreichen. Problematisch könnte höchstens die Performance sein, weil HDD natürlich nicht so schnell wie SSD sind.
Daher würde es sich in meinen Augen anbieten die SSDs so zu partitionieren, dass auf eine relativ kleinen Teil davon nur das Betriebssystem kommt und dann den Rest für die VMs zu nutzen. Die HDDs dann als Datengräber für die Anwendungen. Wie groß sind denn aktuell deine VMs und Daten?

Was ist mit dem System: Ich habe des öfteren gelesen das ZFS die SSD kaputt macht. Ist das aktuell so richtig? Gäbe es eine andere Möglichkeit ohne einen Hardware Raid Controller zu nehmen? Vielleicht LVM als Spiegel?

Naja, sowohl Proxmox selbst als auch ZFS haben eine höhere Schreiblast als ein normales Linux oder andere Dateisysteme. Bei Proxmox kommt das durch die Systemlogs und die Cluster-Funktionalitäten, bei ZFS durch dessen zusätzliche Features und Datensicherheit.

Das Problem betrifft dabei vor allen typische Consumer-Hardware, bei Festplatten mit Powerlossprotection (PLP) sollte das Problem nicht auftreten.

Generell wird empfohlen die Systeme mit Enterprise-SSDs oder Enterprise-NVMEs zu betreiben. NAS-Festplatten sind das im Regelfall nicht, das ist einfach Marketing (da da immer noch Sachen wie PLP fehlen).

Ein Kompromiss könnte sein, dass man ein Setup mit special devices macht: Dabei erzeugt man mit ZFS ein virtuelles Device, dass aus der HDD für die Daten und der SSD (bzw. einer Partition darauf) für die Metadaten und kleinen Dateien besteht. Die Performance wird damit natürlich nicht so gut sein, wie wenn man völlig auf SSD gesetzt hätte, aber immerhin besser als mit einer reinen HDD. Achtung: Geht das special device kaputt/verloren, sind alle Daten weg! Darum sollte man so ein Setup immer als Mirror aufbauen (also mindestens zwei HDDs für die Daten und zwei SSDs als specialdevice, die sich spiegeln). Und natürlich ist RAID kein Ersatz für ein Backup. Wie macht ihr die Backups gerade?
Hast du vielleicht eine konkrete Seriennummer/Device ID für deine Festplatten? Dann kann eher gesagt werden, ob sich das eignet oder nicht.

Außerdem: Habt ihr vor, die alten Server dann wegzuschmeißen und nur noch mit dem neuen Proxmox-Server zu arbeiten? Kapazitätsmäßig sollte das ja passen, aber trotzdem wäre es ja ärgerlich bei einen Fehler des Servers dann "nackt" dazustehen. Habt ihr euch dazu schon Gedanken gemacht? Prinzipiell kann man einen Proxmox-Cluster auch mit zwei Knoten aufbauen, man sollte dann aber noch ein drittes Gerät (wofür ein Raspberry oder alter Desktop-PC reicht) als quroum-device hinzufügen (da sonst bei einen Ausfall der Cluster mangels Stimmenmehrheit einen um die Ohren fliegt). Mit ZFS können diese beiden Knoten dann sich gegenseitig ihre VMS replizieren, sodass dann beim Ausfall eines Knotens der andere übernehmen kann. Siehe: https://pve.proxmox.com/wiki/Cluster_Manager und https://pve.proxmox.com/wiki/Storage_Replication
Standardmäßig werden die Daten dann alle 15 Minuten repliziert, das kann auf bis zu eine Minute reduziert werden (daraus ergibt sich dann auch der schlimmstmögliche Datenverlust im Fehlerfall).

 

[BeMei]

Wie groß sind denn aktuell deine VMs und Daten?

Exchange und Fileserver haben etwa 450 GB, die VM jeweils etwa 80-120 GB und die DC denke ich sind mit 100GB zugeteilt, brauchen aber nicht soviel. Der Terminalserver ist unter 300 GB mit allem.

Ein Kompromiss könnte sein, dass man ein Setup mit special devices macht: Dabei erzeugt man mit ZFS ein virtuelles Device, dass aus der HDD für die Daten und der SSD (bzw. einer Partition darauf) für die Metadaten und kleinen Dateien besteht. Die Performance wird damit natürlich nicht so gut sein, wie wenn man völlig auf SSD gesetzt hätte, aber immerhin besser als mit einer reinen HDD. Achtung: Geht das special device kaputt/verloren, sind alle Daten weg! Darum sollte man so ein Setup immer als Mirror aufbauen (also mindestens zwei HDDs für die Daten und zwei SSDs als specialdevice, die sich spiegeln). Und natürlich ist RAID kein Ersatz für ein Backup. Wie macht ihr die Backups gerade?

Fileserver, Terminalserver und VM werden regelmässig von der Nakivo Backup Software auf unser Synology NAS gesichert. Exchange und DC mittels Windows Backup. Ebenso Fileserver und Terminalserver noch mal zusätzlich per Windows Backup, ist aber eigentlich doppelt gemoppelt.

Hast du vielleicht eine konkrete Seriennummer/Device ID für deine Festplatten? Dann kann eher gesagt werden, ob sich das eignet oder nicht.

Ich schaue mal und reiche das nach.

Außerdem: Habt ihr vor, die alten Server dann wegzuschmeißen und nur noch mit dem neuen Proxmox-Server zu arbeiten?

Ja, das ist der Plan, die beiden alten Server machen einen Höllenlärm und ich würde gerne etwas mehr Ruhe haben

Kapazitätsmäßig sollte das ja passen, aber trotzdem wäre es ja ärgerlich bei einen Fehler des Servers dann "nackt" dazustehen. Habt ihr euch dazu schon Gedanken gemacht?

Ja, ich habe noch eine weitere kleiner Workstation da die aushelfen könnte. Aber sie ist eigentlich als Workstation gedacht.

Prinzipiell kann man einen Proxmox-Cluster auch mit zwei Knoten aufbauen, man sollte dann aber noch ein drittes Gerät (wofür ein Raspberry oder alter Desktop-PC reicht) als quroum-device hinzufügen (da sonst bei einen Ausfall der Cluster mangels Stimmenmehrheit einen um die Ohren fliegt). Mit ZFS können diese beiden Knoten dann sich gegenseitig ihre VMS replizieren, sodass dann beim Ausfall eines Knotens der andere übernehmen kann. Siehe: https://pve.proxmox.com/wiki/Cluster_Manager und https://pve.proxmox.com/wiki/Storage_Replication
Standardmäßig werden die Daten dann alle 15 Minuten repliziert, das kann auf bis zu eine Minute reduziert werden (daraus ergibt sich dann auch der schlimmstmögliche Datenverlust im Fehlerfall).

Ich fürchte das wäre schon zu komplex für mich.

 

[Falk R.]

Also wenn du es auch leise haben möchtest, da gibt es auch extra leise Server von einigen Herstellern. Kommt natürlich auch darauf an ob du etwas Budget dafür hast.

 

[BeMei]

(Wenn kein hw-raid vorhanden wie hier) Installier pve mit zfs mirror auf die 2x8TB hdd und anschliessend mach noch ein zfs mirror aus den 2x2TB ssd's für deine VM's. 256GB Ram ist gut. Die pve db kann somit die ssd's nicht "verbrauchen" und den hdd's macht das nicht soviel aus, zudem kannst du intern nochmal die VM's vom ssd mirror auf den hdd mirror spiegeln.

Das ist genau umgedreht wie ich mir das ursprünglich gedacht hatte aber dann gehen die SSD nicht so schnell kaputt hoffe ich. Danke für den Tip!

Ich habe derzeit eine Testinstallation auf der Workstation um mit Proxmox warm zu werden und ein wenig zu üben.
Mein Versuch ist es die ganze Sache möglichst einfach zu halten. Das Backup würde ich gerne weiter mit Nakivo machen.

@Falk R.
Das Budget ist quasi nicht existent. Ich muss quasi mit den Bordmitteln in alter MacGyver Manier was basteln

@Johannes S

Hast du vielleicht eine konkrete Seriennummer/Device ID für deine Festplatten? Dann kann eher gesagt werden, ob sich das eignet oder nicht.

Ich schaue und reiche die nach.

 

[ivenae]

Hätte ich nicht so gemacht.

Ich würde VMs ausschließlich auf SSDs installieren, weil niemand will mit Schnarchnasen VMs auf klassischen Festplatten noch arbeiten. (Ich lache immer über die Spinner, die heute noch 7.000 € Server mit teurem RAID Controller und klassischen SAS Platten machen. An den Kunden verdient man dann besonders gut.)
Die Menge an geschriebener Daten eines Proxmox mit ZFS sind höher als erwartet, aber nicht so hoch, dass gute SSDs das nicht innerhalb der üblichen Lebenszyklen von 5 - 6 Jahren locker wegschaffen würden.
Mein Heim-Server schreibt ca. 1 TB / Monat. Bei einer 2 TB SSD ist das ein halber Zyklus. Wenn die SSD 72 Monate halten soll, hat sie 36 Zyklen am Ende ihrer Lebensdauer.
Selbst billigster QLC (den man NICHT für ZFS nimmt!) schafft 400 Zyklen, TLC schafft eher 4.000 Zyklen.
TLC vorausgesetzt, ist Faktor 100 mehr ggü. meinem Heimserver immer noch OK.

HDDs würde ich gar nicht mehr nutzen. Wenn es nicht anders geht, weil du den Speicher benötigst, binde virtuelle Festplatten als Laufwerk D: in die VM und lege sie auf dem Pool ab, der auf den HDDs liegt. Ansonsten mach auf die Dinger eher ein nächtliches Backup der SSDs.

 

[ivenae]

Noch eine Sache zum Reserveserver: Ich lebe ohne Reserveserver beim Kunden ganz gut. Im Zweifel hab ich als Dienstleister Hardware hier, womit ich zumindest einen Notbehelf generieren kann, d.h. einen Server, der zumindest die VMs mit reduziertem RAM und schmaler CPU oder unter Einbau (einer) der alten Festplatten schonmal booten kann.

Im optimalen Fall fällt der Server während der 5 Jahre Nutzung natürlich nicht aus, oder wird zwar in einem Notfalltermin getauscht, aber gleich mit neuer, ausreichend flotter Hardware.

Dank nächtlicher Backups ist das i.d.R. in einem halben Tag ohne großen Datenverlust oder ganz ohne Datenverlust gemacht, je nachdem was kaputt ist (beide Platten sind ja doch eher unwahrscheinlich).

Gegenfrage: Wenn der neue Server jetzt 5 Jahre hält und dann spontan verreckt: Würdest du ernsthaft deine Zeit verschwenden, die 10 Jahre alte Hardware als Notbehelf nochmal anzuschließen? Ich würde lieber schnell einen neuen Rechner kaufen, wenn ich keinen auf Lager hätte. Und wenn es im Mediamarkt ist. Ich meine: Das ist Linux mit RAID-Mirror. Wenn eine Platte kaputt geht, läuft der weiter. Wenn der Rechner kaputt geht, baust du zumindest eine SSD einfach in einen beliebigen anderen Rechner. Das wird booten. Da findet sich doch was unter Kollegen, was man bis zum Eintreffen der neuen Hardware nutzen kann, ohne jetzt Elektroschrott aufzubewahren, oder nicht?