Proxmox Hardwareauswahl

[TapsTT]

Hallo zusammen,

ich plane ein neues Proxmox System (Ablösung ESXi) und hätte ein Frage zur Hardware,
besonders zu den Festplatten da alles über ZFS gemacht werden soll.

Folgendes soll auf dem System laufen:
5 x Windows Server (inkl. MS SQL Server)
RAM Verbrauch VMS ca. 32GB - 48GB

Geplante Hardware:
64GB ECC DDR4 2400 RAM

Installation Proxmox ZFS Raid1:
M.2 SATA Karte PCI-E
2 x 120GB M.2 SATA

Platten für VMs:
4 x SATA III 7.2k (512n) -> ZFS Raid10
2 x 256GB SDD für ZFS Log (gespiegelt)
1 x 256GB SSD für ZFS Cache

Bekommt man mit dieser Auswahl eine gute ZFS Performance hin?
Alternative wäre dann Hardware RAID und SAS Platten.

Ist die Installation von Proxmox auf M.2 SATA mit ZFS RAID1 möglich?

Vielen Dank.

Gruß
Tobias

 

[wolfgang]

Hi,

Wie groß sind die 4 x SATA Platen?

Ist die Installation von Proxmox auf M.2 SATA mit ZFS RAID1 möglich?

Hängt vom Bios ab.
Problem ZFS unterstützt kein UEFI Boot.
Manche MB können aber nur M2 mit UEFI booten.

 

[TapsTT]

Hi,

danke für die Rückmeldung.

4 x 2TB SATA (Optional 4 x 4TB SATA)

Mainboard:
Supermicro X11SSH-LN4F

Gruß
Tobias

 

[wolfgang]

Ramm ist ok.

L2ARC kannst du dir sparen bei dem System und macht es wahrscheinlich langsamer.
ZIL brauchst du auch nicht so viel (16 GB sind ausreichend), da nur die kleinen io Blöcke in das ZIL geschrieben werden.
Also wenn du z.B. Streamingdaten hast werden die Direct geschrieben.

Supermicro X11SSH-LN4F

Generell funktioniert das mit Supermicrobords gut.
Aber ausprobiert hab ich das noch nie.
Außerdem sehe ich nur einen M2 Slot.

 

[TapsTT]

Hallo Wolfgang,

vielen Dank.
Dann lasse ich den Cache weg.

Da kommt eine extra PCI-E M.2 Karte rein die dann 2 Laufwerke aufnehmen kann.
Eigentlich könnte das ZFS Log auf die beiden M.2 gelegt werden und Proxmox au die SSD?

Alternativ nehme ich 4 x SSD und davon 2 für Proxmox und 2 für ZFS Log.

Gruß
Tobias

 

[wolfgang]

Bitte nur Enterprise SSD fuer das ZIL, die einen hohen 4k io haben verwenden, sonst wird das System sehr langsam.

Ich würde an deiner Stelle auf die 4 SSD variante verwenden.
Die NVMe bringen dir eh keinen Vorteil wenn du sie nur als System verwendest.

 

[TapsTT]

OK, danke.

Ich wollte mit der M.2 SATA Variante Anschlüsse sparen, ich bekomme da 8 Platten rein.
Bei 4 x SSD + 4 x SATA bleibt keine Reserve mehr.

 

[LnxBil]

Budget gibt nicht her alles auf SSD zu legen und die Systemplatten zu sparen? Also z.B. 4x 1 TB im RAIDz1?

Ich würde heutzutage auch keine Serverm mit 3,5'' mehr kaufen, in 2 HE bekommst du locker 24x 2,5'' rein. Damit lässt sich besser erweitern.

 

[TapsTT]

Alles SSD gibt das Budget nicht her.
Wenn ich alles auf 2,5" mache bekomme ich 16 Platten rein.
Ich könnte:
5 x 1TB SATA RAIDZ1
2 x SSD -> ZFS Log

Dann würde Proxmox und VMs auf dem RAIDZ1 liegen.
Wie ist das von der Performance RAID10 <-> RAIDZ1?

Danke.
Gruß
Tobias

 

[LnxBil]

2 x SSD -> ZFS Log

Am besten an dieser Liste hier orientieren:
http://www.sebastien-han.fr/blog/20...-if-your-ssd-is-suitable-as-a-journal-device/

Ich hoffe, du hast auch VMs bzw. Anwendungen, die synchron schreiben, sonst ist der ZIL für die Katz. Sämtliche asynchrone Schreibvorgänge laufen am ZIL vorbei.

Alles SSD gibt das Budget nicht her.

Brauchst du denn 4 TB an Nutzdaten? Frage ist, ob du nicht auch mit z.B. 2 TB SSD auskommst, da du ja 5x 1TB SATA + 2 sehr schnelle SSD gegen z.B. 4 oder 5 "normal schnelle" Enterprise SSDs (z.B. mostly read mit 1-2 DWPD) gegenrechnen musst. Ob der Unterschied dann noch so groß ist weiß ich nicht.

Ist das Budget wieder so eine Manager-Entscheidung? IOPS ist der wichtigste Faktor bei Datenbanken und dort wird immer am meisten gespart (z.B. "Consumer" und "Prosumer" SATA Festplatten kaufen, anstelle von Enterprise-SAS).

 

[TapsTT]

Danke.
In den VMs laufen nur Windows Server + 1 Linux. 1 x MS SQL und der Rest ist File, Print ...

Ich werde das jetzt so machen:
6 x 480GB SSD Samsung (SM863a) im RAIDZ1 => 2,4TB

Ich kann das ja jederzeit erweitern.
Da wird dann Proxmox + VMs drauf gelegt.
Wenn nur mit SSDs gearbeitet wird benötige ich ja keine extra Disk fürs ZIL?

Vielen Dank für die Unterstützung.

 

[fireon]

Ich hoffe, du hast auch VMs bzw. Anwendungen, die synchron schreiben, sonst ist der ZIL für die Katz. Sämtliche asynchrone Schreibvorgänge laufen am ZIL vorbei.

Ok, also das musst mir jetzt mal erklären. Hatte ich noch nicht gehört. Hast du da ein Beispiel das ich mir da drunter was vorstellen kann?

Gilt das nur für VM's, oder auch für normale Datasets wo auch Programme drauf laufen?

Danke

 

[LnxBil]

Ok, also das musst mir jetzt mal erklären. Hatte ich noch nicht gehört.

Zur Vollständigkeit halber hier nochmal kurz der Unterschied zwischen SYNC und ASYNC I/O:
Ein synchroner Aufruf meldet den Erfolg beim Schreiben erst, wenn die Daten auf der Platte liegen und ist somit langsam, vor allem wenn das Storage langsam ist. Da das ZIL normalerweise schneller antwortet als das normale Storage ist diese Zeit verkürzt und der I/O erscheint schneller. Bei einem asynchronen Aufruf ist der Erfolg zweitrangig und für die Anwendung aktuell nicht interessant. Dadurch kann die Anwendung weitermachen, während sie von ihrer Sicht auf das unendlich langsam erscheinende Storage schreibt.

Beides hat Vor- und Nachteile und die Verwendung ist der Anwendung vorbehalten.

Hast du da ein Beispiel das ich mir da drunter was vorstellen kann?

Im Grund, sobald irgend ein Syscall ein open mit O_SYNC aufmacht, landen die Daten im ZIL, wenn du keinen O_SYNC machst laufen sie asynchron am ZIL vorbei. Eine Datenbank oder NFS verwenden standardmäßig O_SYNC, falls man es nicht anders angibt. Ein normaler Dateitransfer hingegen macht es nicht. Beim Dateitransfer mittels dd kannst du es z. B. explizit angeben (siehe manpage dazu).

Manpage von zpool erklärt im Abschnitt Intent Log, warum es diesen gibt und was er macht, gibt auch noch Zusammenfassungen wie diese hier:
https://constantin.glez.de/2010/07/20/solaris-zfs-synchronous-writes-and-zil-explained/

Gilt das nur für VM's, oder auch für normale Datasets wo auch Programme drauf laufen?

Das gilt für jeden schreibenden I/O auf dem Gerät, also egal ob unter PVE oder in einem Container. Bei KVM kommt es darauf an, wie der Cache-Mode eingestellt ist. Verwendet man z.B. cache=directsync, dann wird alles umgewandelt in einen SYNC-Write, der dann alles durch den ZIL jagt. Ob das unbedingt das ist was man will weiß ich nicht und müsste man ausprobieren.

 

[fireon]

Ok, da ist dann doch einiges zu beachten. Danke mal für die ausführliche Info.

 

[LnxBil]

Ok, da ist dann doch einiges zu beachten.

Leider ja. ZFS hat eine steile Lernkurve und man greift sich mehr als einmal an den Kopf. Es ist aber den Aufwand wert! Am Besten lernt man - wie immer - an Problemen die man damit hat. Mein jetziger Backup-Pool (12 disks) ist schon die 4. Inkarnation mit und ohne ZIL, mit und ohne L2ARC, auf Illuminos, FreeBSD, PVE und dann Debian+ZFS. Man lernt ... glücklicherweise :-D