Wechsel von ESXi zu Proxmox (Storage Setup)

[GaMeR-Zero]

Hallo zusammen,

ich möchte/muss in Zukunft zu Proxmox wechseln.

Es handelt sich um einen Schulserver mit mehreren VMs (Server 2022 / Debian / Docker Host, etc.)

Ich habe mich zu vielen Themen wie RAID, ZFS, etc. eingelesen, habe aber noch ein paar Fragen zum aktuellen Best-Practice.

Aktuelle Situation:
- ESXi 7
- HW-RAID
- 1 (kleine) HDD für ESXi-Installation
- 2-3 SSDs im RAID (1 oder 5)

Ich bin soweit, dass das RAID nicht mehr benötigt bzw. nicht empfohlen wird. Wie mache ich es am besten mit Proxmox? Bei ESXi habe ich ESXi und Datenpool immer getrennt.

Meine aktuelle Überlegung:

1 x "kleinere" ZFS fähige SSD für die Proxmox-Installation oder hier auch schon ein Mirror? (EXT4 oder ZFS?)
2 x ZFS fähige SSD als Datenspeicher für die VMs. Als Mirror oder doch lieber RAIDZ?

Oder was würdet Ihr empfehlen?

Vielen Dank vorab.

LG

 

[abader]

Hi,

Grundsätzlich kannst du weiterhin ein HW Raid verwenden. Mit LVM-Thin und eine funktionierende Lösung. Da du nur einen Host hast, brauchst du auch die ZFS Replica Features etc nicht.

SSD ist immer eine Empfehlung als Datastore.

Erstmal egal was du machst - Keep it Simple Stupid ;-)

Hauptsache du kommst Klar mit dem Hardware- und Softwarestack.

 

[Falk R.]

Es empfiehlt sich schon die OS Disk redundant zu machen, sonst sollte das Original Setup gut funktionieren.

 

[GaMeR-Zero]

Danke für die Rückmeldungen.

Wenn ich die Promox-Installation und die Daten/VMs voneinander trenne, kann ich dann meine vorhandenen SAS-Festplatten für die Proxmox nutzen oder sollte ich hier auch SSDs verwenden? Spielt die Geschwindigkeit für das Betriebssystem hier eine entscheidende Rolle, wenn meine VMs auf separaten SSDs liegen?

 

[abader]

Boot Drive ist vollkommen egal. SAS oder SATA HDD oder Enterprise SSD.

 

[GaMeR-Zero]

Update und weitere Fragen:

Server wurde geliefert:

Supermicro Mainboard H12SSL-NT
128GB RAM
2 x 240GB NVMe SSD

Proxmox ist als Mirror auf den NVMe SSDs installiert und läuft.

Jetzt benötige ich einen Pool für meine virtuellen Maschinen:

Ziel sind 2-3 "Windows Server 2022" Installationen für eine Schule. (Domaincontroller, Terminalserver, Fileserver für Schüler und ein paar "einfache" Anwendungen die im Netzwerk bereitgestellt werden)

Ich habe 3 (evtl. 4) 2TB SSDs zur Verfügung.

Unter ESXi mit Hardware-RAID hätte ich jetzt ein RAID 5 über die 3 Festplatten erzeugt. Ich benötige ~4 TB (bzw. 3,6 die reell verfügbar wären).

Nach meinen Recherchen wäre das ein RAID-Z1. Dieses wird aber anscheinend nicht wirklich empfohlen, da nicht geeignet für VMs und zu viel Speicherplatz verloren geht?!

Was wäre jetzt die beste Konfiguration oder welche Möglichkeiten habe ich noch?

Würdet Ihr RAID-Z1 wählen?

Oder lieber mit 4 Platten:

- RAID 10?
- 2 x Mirrored und die VMS darauf verteilen?

Ich habe auf anderen Servern noch genügend Kapazitäten für den PBS (der auf jedenfall auch noch kommt), bin aber mit der zusätzlichen "Sicherheitsstufe" des RAIDs gut zurechtgekommen. Ist dies noch zeitgemäß oder was ist heute Best-Practice?

Vielen Dank.

 

[Falk R.]

Ziel sind 2-3 "Windows Server 2022" Installationen für eine Schule. (Domaincontroller, Terminalserver, Fileserver für Schüler und ein paar "einfache" Anwendungen die im Netzwerk bereitgestellt werden)

Was für eine Schule ist das denn? Die Schulen welche ich betreue nutzen außer für DC und TS immer Linux. DC würde auch mit Linux gehen, was auch sinn macht, wenn man auf der grünen Wiese beginnt. Nur mal so als Anregung. Eventuell tauschst du dich mal mit Admins anderer Schulen aus.

Ich habe 3 (evtl. 4) 2TB SSDs zur Verfügung.

Was für SSDs sind das? Enterprise und welcher Anschluß?

Unter ESXi mit Hardware-RAID hätte ich jetzt ein RAID 5 über die 3 Festplatten erzeugt. Ich benötige ~4 TB (bzw. 3,6 die reell verfügbar wären).

Du kannst ja auch hier Hardware Raid nuttzen, aber bitte nur mit Batteriecache.

Nach meinen Recherchen wäre das ein RAID-Z1. Dieses wird aber anscheinend nicht wirklich empfohlen, da nicht geeignet für VMs und zu viel Speicherplatz verloren geht?!

RaidZ1 ist mit einfacher Parität wie bei Raid5, daher identischer Verschnitt. Ist nur nicht für VMs empfohlen. Wenn du aber nur wenige VMs hast und 3-4 Enterprise NVMe hast, dann sollte die Performance ausreichen.

Was wäre jetzt die beste Konfiguration oder welche Möglichkeiten habe ich noch?
Würdet Ihr RAID-Z1 wählen?
Oder lieber mit 4 Platten:

Ich empfehle immer Raid10 (2x Mirror im Pool) da kann man auch mal einen Mirror hinzufügen wenn es voll wird.

Ich habe auf anderen Servern noch genügend Kapazitäten für den PBS (der auf jedenfall auch noch kommt), bin aber mit der zusätzlichen "Sicherheitsstufe" des RAIDs gut zurechtgekommen. Ist dies noch zeitgemäß oder was ist heute Best-Practice?

Raid ist keine Sicherheitsstufe. Es schützt dich nur vor Datenverlust bei Hardwaredefekten. Ein Raid ersetzt NIEMALS ein Backup. Snapshots natürlich auch nicht!

 

[GaMeR-Zero]

Danke für die Umfangreiche Antwort.

Was für eine Schule ist das denn? Die Schulen welche ich betreue nutzen außer für DC und TS immer Linux. DC würde auch mit Linux gehen, was auch sinn macht, wenn man auf der grünen Wiese beginnt. Nur mal so als Anregung. Eventuell tauschst du dich mal mit Admins anderer Schulen aus.

Viele verschiedene Schulen von Grundschule bis Gymnasium. Server- Clientinfrastruktur ist komplett vorhanden. (Microsoft)

Was für SSDs sind das? Enterprise und welcher Anschluß?

1,92 TB Intel D3-S4620 2,5" SATA SSD

Du kannst ja auch hier Hardware Raid nuttzen, aber bitte nur mit Batteriecache.

Nutze ich aktuell.
Alte Server sollen zukünftig durch neue ersetzt werden. Durch den Wegfall von ESXi suche ich jetzt eine Alternative und wollte mich auf aktuelle Best-Practices konzentrieren. (Auch wenn es mit ESXi + HW-RAID, gefühlt, deutlich einfacher und unkomplizierter war. Server laufen seit 5-10 Jahren ohne Probleme. Der neue Proxmox-Server ist nach dem Kernelupdate bei Update auf 8.2 erstmal auf die Nase gefallen. (Testserver um das Update zu testen) Alte Server lasse ich auf ESXi auslaufen, da sich viele Gemeinden das aktuelle Preismodell nicht leisten können.)

RaidZ1 ist mit einfacher Parität wie bei Raid5, daher identischer Verschnitt. Ist nur nicht für VMs empfohlen. Wenn du aber nur wenige VMs hast und 3-4 Enterprise NVMe hast, dann sollte die Performance ausreichen.

Warum wird es für VMs nicht empfohlen?

Ich empfehle immer Raid10 (2x Mirror im Pool) da kann man auch mal einen Mirror hinzufügen wenn es voll wird.

Danke,
in diese Richtung habe ich auch tendiert.

Raid ist keine Sicherheitsstufe. Es schützt dich nur vor Datenverlust bei Hardwaredefekten. Ein Raid ersetzt NIEMALS ein Backup. Snapshots natürlich auch nicht!

Das ist natürlich klar, war vlt. etwas unglücklich ausgedrückt, deshalb ja der Hinweis mit dem PBS. Aktuell habe ich doppelte Sicherung: Backup auf NAS und NAS auf Offline-Backup. Es ist aber beruhigend/praktisch, wenn man bei einem Festplattenausfall nicht direkt einen Komplettausfall hat. Bei vielen Schulen ist man auch nicht immer so schnell vor Ort. Aber auch hier wollte ich auf aktuelle Standards setzen. Ist finanziell aber nicht immer drin, erst recht nicht bei kleinen Grundschulen am Dorf .

 

[Falk R.]

1,92 TB Intel D3-S4620 2,5" SATA SSD

Die SSDs sind OK für ZFS im Mirror. Das Problem bei RaidZ ist, dass du großen Sreiboverhead hast. Je nachdem wie viele Disks du im RaidZ hast, vergrößert sich die Größe der Datenblöcke, ähnlich wie beim Raid wo die Full Stripe Size größer wird. Die Metadaten müssen auch immer noch extra geschrieben werden. Die Metadaten kann man mit einem Special Device Mirror abfangen, aber wenn du nur 3-4 SSDs nutzen willst, fällt das aus.

Also kurz gesagt, SATA SSDs und RaidZ machen eine zu schlechte Performance, als das man da produktive Server drauf betreiben möchte.
Wenn deine Server einen RaidController mit Batteriecache haben, dann würde ich den auf jeden Fall nutzen, die SSDs werden es dir danken.

Das ist natürlich klar, war vlt. etwas unglücklich ausgedrückt, deshalb ja der Hinweis mit dem PBS. Aktuell habe ich doppelte Sicherung: Backup auf NAS und NAS auf Offline-Backup. Es ist aber beruhigend/praktisch, wenn man bei einem Festplattenausfall nicht direkt einen Komplettausfall hat. Bei vielen Schulen ist man auch nicht immer so schnell vor Ort. Aber auch hier wollte ich auf aktuelle Standards setzen. Ist finanziell aber nicht immer drin, erst recht nicht bei kleinen Grundschulen am Dorf .

Dann ist ja gut.