[SOLVED] Proxmox VE mit ZFS RAM hungrig

[IT-MCSE]

Hallo erstmal,

vorab ich bin neu hier und habe die PVE 6.2-15 mit Erfolg und dank der vielen genialen Info´s in diesem Forum komplett aufgesetzt bekommen.

Meine Hardware:

XEON E3-1245v6 3,7Ghz 8 cores
32 GB DDR4 2133 ECC RAM Kingston
ASUS P10s-e/4l (4x ETHERNET 1GB Intel)
Mellanox 10GB SFP
NVME 512GB Crucial - Proxmox und Windows VM´s (Server2016 / WIN 10)
SSD 275GB Crucial - 1x Linux Ubuntu 20.04 LTS VM
SSD Samsung 860 Evo - noch frei
4x 4TB WD RED EFRX - ZFS Pool - in Windows Server 2016 eingebunden und als Datenlaufwerk genutzt (ca. 1,2TB benutz)

Ich habe vorher die physikalische Maschine als reinen Windows Server 2016 genutzt (damals noch mit VirtualBox). Das ist aber mehr als Frickelei. Deshalb habe den erfolgreichen Versuch gestartet Proxmox anzuwenden. Auf den Server greifen nur max. 5 Clients gleichzeitig zu.

Die VM Maschinen:

Windows Server 2016



Windows 10 Pro



Ubuntu 20.04



Wie man sieht habe ich ca. 13GB RAM für die VM Maschinen verwendet (Ubuntu lief gerade nicht).

Meine Große Frage ist, wie viel RAM will das ZFS ? Ich habe viel darüber gelesen das man pro 1TB ca. 1GB RAM benötigt, aber nur für belegten Speicherplatz (richtig?).

Selbst wenn alle VM´s heruntergefahren sind habe ich diesen RAM Bedarf:



Sieht für mich so aus, als bräuchte ZFS für die 4x 4TB (16TB) auch 16GB RAM und zwar immer obwohl es ein RAID-z2 ist (ca. 8TB verwendbar).

Mit free -s kommt das raus:


Leider ist damit nicht ersichtlich wer den RAM verbraucht.

Es kann mich bestimmt jemand aufklären

Die 2.te Frage die ich mir über das Forum nicht beantworten konnte ist, die im ZFS Pool enthaltenen Festplatten arbeiten ständig (hörbar) obwohl keine VM Maschine läuft. Ist irgendwie nicht logisch oder eine Wissenslücke (kenne es vom HW RAID anders).

Danke Euch vorab.

Für Kritik bin ich immer offen ;-)

 

[H4R0]

ZFS braucht RAM für metadaten deswegen ca. 1GB RAM je 1TB Speicher, auch wenn dieser nicht belegt ist.. Du kannst auch darunter gehen, kommt dann aber zu performance einbußen.

Du musst arc begrenzen ansonsten nimmt zfs standardmäßig 50% vom RAM.

Bei dir würde ich mit 3-4gb anfangen, da du nur 32GB RAM hast.

cat << 'EOF' > /etc/modprobe.d/zfs.conf
options zfs zfs_arc_min=3221225472
options zfs zfs_arc_max=4294967296
EOF

Anschließend

update-initramfs -u && reboot

Zu der letzten Frage, proxmox schreibt durchgehend rrd daten für die gui grafen, sicher das proxmox auf der nvme installiert ist ?

Poste mal "zfs list", "zpool status" und "df -h"

 

[IT-MCSE]

Hallo H4R0,

danke für die schnelle Antwort. Ich versuche das mit dem ARC umzusetzen und melde mich danach dazu wieder.

Bin mir "eigentlich" sicher das PVE auf der NVME installiert ist, aber zur Sicherheit die Posts:

zfs list:
root@pve:~# zfs list
NAME USED AVAIL REFER MOUNTPOINT
DATEN 5.80T 1.02T 140K /DATEN
DATEN/vm-100-disk-0 5.80T 5.20T 1.62T -

zpool status:
root@pve:~# zpool status
pool: DATEN
state: ONLINE
scan: scrub repaired 0B in 0 days 03:29:07 with 0 errors on Sun Nov 8 03:53:08 2020
config:

NAME STATE READ WRITE CKSUM
DATEN ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
sda ONLINE 0 0 0
sdb ONLINE 0 0 0
sdc ONLINE 0 0 0
sdd ONLINE 0 0 0

errors: No known data errors

df -h:
root@pve:~# df -h
Filesystem Size Used Avail Use% Mounted on
udev 16G 0 16G 0% /dev
tmpfs 3.2G 42M 3.1G 2% /run
/dev/mapper/pve-root 63G 23G 37G 38% /
tmpfs 16G 43M 16G 1% /dev/shm
tmpfs 5.0M 4.0K 5.0M 1% /run/lock
tmpfs 16G 0 16G 0% /sys/fs/cgroup
/dev/sdf1 234G 6.2G 216G 3% /mnt/pve/SHARE
/dev/nvme0n1p1 458G 76G 360G 18% /mnt/pve/OS_NVME
/dev/sde2 511M 312K 511M 1% /boot/efi
DATEN 1.1T 256K 1.1T 1% /DATEN
/dev/fuse 30M 20K 30M 1% /etc/pve
tmpfs 3.2G 0 3.2G 0% /run/user/0

Viele Grüße

 

[IT-MCSE]

Also das mit dem ARC für ZFS habe ich jetzt mal nachgelesen und verstanden. Es ist der CACHE für ZFS und üblicherweise benötigt man dafür ca. 1GB RAM pro 1TB Plattenspeicher. Man sollte hierfür ein min. max. angeben, ansonsten sind es wie DU schon sagtest 50% RAM die veranschlagt werden. Da dieser CACHE für Performance sorgen soll schaue ich mal nach was es effektiv ausmacht.

Ich habe noch eine SSD (muss noch verbaut werden) die ich als L2ARC mal ausprobieren werde und anschließend die Performance mal testen.

Und 64GB RAM gesamt werden jetzt nachgerüstet (max. für das Mainboard)

Vielen Dank für die Super Unterstützung.

 

[Dunuin]

L2ARC und SLOG ist in den meisten Fällen nicht sehr sinnvoll, besonders da es die SSDs in Null-Komma-Nichts killt, wenn man nicht gerade super teure SDDs nimmt. Ich würde das erst einmal ohne testen und wie du schon sagtest lieber erst einmal den RAM maximal ausbauen. Ich denke mit 8GB RAM für den ARC sollte das bei deinen Laufwerken schon schnell genug sein.
Musst du halt mal "cat /proc/spl/kstat/zfs/arcstats" im CLI ausführen und gucken, wie hoch da deine hit-ratio (Hit-Ratio in Prozent = 100-(100*hits/misses)) ist. Wenn die eh schon bei über 95% oder so ist, dann bringt da auch mehr RAM für den ARC oder ein L2ARC nicht wirklich viel.

 

[JohnD]

Super teuer müssen die SSDs nicht seien. Server SSDs reichen grundsätzlich.
SLOG macht Sinn, L2Arc meistens nicht.

 

[H4R0]

Lass das mit l2arc und slog sein, bringt dir bei deinem setup keine vorteile und verschlimmert es nur.

Slog muss weiterhin redundant sein, brauchst also 2 platten und macht kaum sinn.

L2arc bringt nur mit optane/nvme was.

 

[IT-MCSE]

Hallo hier die Ergebnisse der Performanceauswertung ZFS:



Mit der Konfig wie oben gepostet und empfohlen ohne L2ARC / SLOG / ZIL

Bis jetzt gibt es keine Leistungsprobleme.

Danke für die Anregungen.