HDD und SSD für Proxmox sinnvoll nutzen

[ProxTier]

Hallo zusammen,

ich möchte einen Dell T40 mit Proxmox virtualisieren und bitte um Eure Tipps.

Bei den Gästen soll hauptsächlich Windows Server (VM) zum Einsatz kommen, aber auch Linux (dann als LXC).

Verbaut ist standardmässig eine normale HDD, zudem habe ich eine Server-SSD von Intel (SATA) eingebaut.

Mein Plan ist nun, Proxmox selbst auf der HDD zu installieren und die SSD für die Gäste zu nutzen. Bremse ich in dieser Konstellation die LXC-Gäste wegen der HDD aus?

Alternativ könnte ich die Intel-SSD nochmal kaufen und dann aus beiden Intel-SSDs ein ZFS als Software-RAID bauen. Dann habe ich zwar etwas Redundanz bei den Gästen, aber der Hypervisor bleibt ja dennoch nur auf einer Platte ohne RAID oder ZFS.

Was schlagt ihr vor?

Vielen Dank!

 

[Dunuin]

Was spricht dagegen einfach eine zweite SSD zu holen und dann Proxmox auf einem ZFS Mirror zu installieren? Proxmox selbst braucht nur wenige GB (bei mir gerade 5 von 20GB). VMs und LXCs kannst du ja trotzdem von dem gleichen ZFS Mirror laufen lassen auf dem auch Proxmox läuft. Dann wäre alles schnell und redundant.

HDD könntest du dann als Storage für Backups, ISOs, LXC Templates etc nutzen. Wenn Performance nicht so wichtig ist und du Angst wegen der Haltbarkeit der SSDs hast, dann könntest du den SWAP auch noch auf die HDD legen und deinen VMs noch eine kleine zweite virtuelle HDD verpassen, welche dann auf der HDD liegt. Dann könnten die Win VMs die Auslagerungsdatei auch auf der HDD haben.

 

[ProxTier]

@Dunuin, ganz lieben Dank für die schnelle und ausführliche Antwort.

Ich komme aus der Hyper-V-Welt und dort wird immer dringend geraten, den Hypervisor auf physikalisch von den Gast-VMs getrennten Platten/SSDs zu betreiben.

Wenn ich Dich richtig verstanden habe, ist das bei Proxmox nicht so und ich kann bei der Installation direkt ein ZFS einrichten, auf dem sowohl Proxmox selbst installiert wird, alsauch später die Gäste liegen?

Edit: Ich habe gerade mal nachgesehen und bin erschrocken, wie sich der Preis für meine Intel DC S4600 inzwischen mehr als verdoppelt hat - ich habe die für unter 100 € gekauft. Alternativ steht aber die S4610 zur Verfügung. Wenn ich nun eine zweite dazukaufe, muss/soll das bei ZFS eine vergleichbare oder identische SSD sein oder könnte es z.B. auch eine EVO sein? Wie viel mehr RAM muss ich einberechnen? Aktuell hat mein T40 nur 8 GB - klar, dass das nicht hinhauen wird.

 

[Dunuin]

@Dunuin, ganz lieben Dank für die schnelle und ausführliche Antwort.

Ich komme aus der Hyper-V-Welt und dort wird immer dringend geraten, den Hypervisor auf physikalisch von den Gast-VMs getrennten Platten/SSDs zu betreiben.

Besser wäre es schon, wenn Proxmox eigene Laufwerke hätte, dass da der Hypervisor nicht gebremst wird, wenn da eine VM die SSDs an die Grenzen bringt. Ist aber keine Pflicht bei Proxmox und sollte auch so laufen. SSDs bekommt man ja auch nicht so leicht in die Knie wie HDDs.

Wenn ich Dich richtig verstanden habe, ist das bei Proxmox nicht so und ich kann bei der Installation direkt ein ZFS einrichten, auf dem sowohl Proxmox selbst installiert wird, alsauch später die Gäste liegen?

Per Default richtet dir Proxmox die Laufewerke auch so ein, dass da alles von einem Pool läuft. Also ein Storage für Proxmox+Iso+Backups und ein Storage für VMs/LXCs. Läuft dann alles von einem Pool.

Edit: Ich habe gerade mal nachgesehen und bin erschrocken, wie sich der Preis für meine Intel DC S4600 inzwischen mehr als verdoppelt hat - ich habe die für unter 100 € gekauft. Alternativ steht aber die S4610 zur Verfügung. Wenn ich nun eine zweite dazukaufe, muss/soll das bei ZFS eine vergleichbare oder identische SSD sein oder könnte es z.B. auch eine EVO sein? Wie viel mehr RAM muss ich einberechnen? Aktuell hat mein T40 nur 8 GB - klar, dass das nicht hinhauen wird.

Enterprise SSDs sollten das schon am besten sein. Für ZFS müssten die Laufwerke nicht identisch sein, sollten aber möglichst gleich sein. Ich habe hier auch gemischt S3710 mit S3700 am Laufen und macht keine Probleme. Die S4610 ist ja glaube ich wie bei meinen SSDs als direkter Ersatz für die S4600 gedacht.
Bei Consumer SSD wie den EVOs musst du auf passen. ZFS kann dir sehr schnell die SSDs killen. Je nach Workload kann es durchaus sein, dass da so eine Evo kein Jahr halten würde.

Faustformel für ZFS ist 4GB +1GB RAM je 1TB Rohkapazität der Laufwerke. Wenn du Deduplikation nutzen willst etwa das 5-fache davon. Standardmäßig wird ZFS 50% deines RAMs nutzen (lässt sich aber manuell einstellen).
Und Proxmox kann nicht wirklich gut mit Überprovisionierung des RAMs umgehen. Die 8GB reichen dann vielleicht gerade so für Proxmox + ZFS ohne irgendwelche VMs.

Wenn dir der RAM für ZFS fehlt wäre noch sonst LVM auf Hardware-Raid eine Option oder LVM auf einem mdraid Software-Raid. Mdraid wird aber nicht offiziell unterstützt und du müsstest die Proxmox Packages auf ein Debian draufinstallieren, da der Proxmox Installer das nicht kann.

 

[ProxTier]

Ganz lieben Dank für Deine Mühe @Dunuin!

Ich bin echt noch unsicher, wie ich es realisieren will. Eine zweite SSD habe ich bestellt, ist inzwischen da (S4610). Die ist ja für ein Raid immer sinnvoll, egal, ob via ZFS oder z.B. über den integrierten Intel VROC-Controller (wird zumindest offiziell bei Proxmox nicht unterstützt).

Theoretisch könnte ich auch auf 2 1 TB HDDs den Hypervisor betreiben (bei Proxmox dann via ZFS, bei Hyper V ggf. über Intel VROC) und auf den beiden SSDs liegen dann die Gäste (auch hier ZFS bei Proxmox, VROC oder ggf. Storage Spaces Direct bei Hyper V).

Wie wird eigentlich ZFS unter Proxmox gemonitored? Also wie wird über z.B. ausgefallene Laufwerke benachrichtigt?

Danke Dir vielmals.

 

[Dunuin]

Wie wird eigentlich ZFS unter Proxmox gemonitored? Also wie wird über z.B. ausgefallene Laufwerke benachrichtigt?

Du kannst dir Postfix einrichten und das zfs-zed Paket installieren um e-Mail-Benachrichtigungen zu bekommen. Ich persönlich habe noch Zabbix als Monitoring-Tool installiert. Da gibt es auch Plugins für um neben den normalen Metrics auch alle ZFS Werte im Detail überwachen zu können. So ein Zabbix Server braucht aber ca 2-3GB RAM und schreibt recht viel in die Datenbank (bei mir so kontinuierlich 500kb/s). Dafür kann ich dann aber auch alle Server, VMs etc übersichtlich von einem Dashboard aus überwachen.