[SOLVED] ZFS - 512n möglich (ashift)? - Swap/RAM Begrenzung - Cache/Log Größe

HBO

Member
Dec 15, 2014
257
14
18
Germany
Guten Morgen,

wir stellen aktuell unser neues System zusammen. Dabei habe ich noch ein paar Fragen:
- Müssen es 4kn Festplatten sein oder gehen auch 512n Festplatten wie die ST2000NX0433? Was wäre hier bei "ashift" zu beachten? Festplatten werden natürlich in einem Raid 10 Betrieben.
- Das System bekommt 384GB RAM wovon 256GB RAM von VMs verbraucht werden. Als Storage wird zur Verfügung gestellt ein Pool aus 6x 2TB Festplatten (Raid10 und damit 6TB Storage) sowie 4x 480GB SSDs (Raid 10 und damit 960GB Storage). Da Proxmox per default 50% RAM für ZFS nutzt müsste ich dies begrenzen, reichen die 128GB aus? Wieviel RAM sollte man hier für ZFS mindestens zur Verfügung stellen?
- Für das Logging und den Cache habe ich mir eine Intel SSD DC S3700 mit 400GB herraus gesucht, reicht dies? Wie groß sollte die Partition für das Logging und Caching sein?

Die Storage Größe ist eine Anfangskonfiguration, weitere Festplatten werden in Zukunft sicher hinzu gefügt werden. RAM ist natürlich nicht das Problem und wird bei Bedarf erweitert.
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
4,763
316
83
Hallo,

512n Festplatten sind ok ich würde aber trotzdem ashift=12 verwenden, da
erstens
du das nie mehr ändern kannst und beim festplatten austauschen das zu einen Problem führen kann
zweitens
dir bein deinem Setup das nichts bringt.

ZFS ohne Dedup braucht so ca 1GB pro 1TB Daten + 4GB core, also in deinem Fall 11GB Ram und ca 400byte pro block für den L2ARC.
Der Rest wird dann als ARC read cache verwendet.
Also sollte locker reichen.

Ich würde 5-10GB ZIL machen da dort eh nur kleine writes reinkommen. Große Seq writes werden eh direct geschrieben.
L2ARC muss man sich selber überlegen da es nicht immer sinnvoll ist ihn zu verwenden. Da er ja ARC Memory wegnimmt.

Die Intel DC S34700 ist sehr gut für ZFS geeignet. Wegen der groeße mach dir keine sorgen die kommt dir bei der Lebensdauer zugute.
 

HBO

Member
Dec 15, 2014
257
14
18
Germany
Wenn ich nur 5-10GB ZIL brauche, vielleicht mit Reserve mir eine 20GB Partition erstelle und der L2ARC ggfl nicht sinnvoll ist würde die 400GB SSD DC S3700 übertrieben groß sein oder würde es sich doch lohnen hier neben der 20GB Partition für ZIL den Rest einmal für L2ARC zu erstellen zwecks vorab Tests? Bringt es mehr Performance den reservierten RAM in meinem Fall statt zBsp auf 16GB auf 32GB zu begrenzen?
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
4,763
316
83
Die Sache ist du musst wissen wieviel Daten bei die nur RO Daten sind.
Der L2ARC rentiert sich nur wenn du viele Daten hat die immer wieder gelesen werden.

Wenn du zum beispiel ein DB hast die nur 64GB groß ist würde die bei dir im Ramm Platz haben.
Laut deiner angaben hast du 100GB platz für ARC.

EDIT Ramm ist immer schneller als eine SSD
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
4,763
316
83
PS ich hab mir grade mal die preise von den Intel SSD angeschaut ich würde dir die DC P3700 empfehlen die ist billiger und schneller und NVMe was in jeden Fall Geschwindigkeit bringt.
 

HBO

Member
Dec 15, 2014
257
14
18
Germany
Vielen Dank für die Tips, L2ARC werde ich wohl einsetzen müssen da hier über 50 VMs laufen mit den verschiedensten Diensten. Sind auch nicht so kritisch was den Leistungsabbruf an I/O angeht.

Etwas OffTopic:
Wir haben die VMs derzeit auf lokalem Storage entweder als QCOW oder RAW (in LVM) am laufen. Eine direkte offline Migration auf das neue ZFS System wird hier wohl nicht gehen? Klappt es mit Backup und Restore oder gibt es noch andere Wege?
 

wolfgang

Proxmox Staff Member
Staff member
Oct 1, 2014
4,763
316
83
Der einfachste und wahrscheinlich auch schnellste Weg ist backup und restore auf eine externe USB3 disk.
 

HBO

Member
Dec 15, 2014
257
14
18
Germany
Ok. USB3 hat das Altsystem leider nicht, daher bleibt dann das Backup auf das NAS (1GBit) das Restore arbeitet immerhin mit 10GBit.
 
Dec 7, 2016
34
2
8
28
Berlin
Alternativ kannst du auch mit einem Konstrukt a la

dd if=image.raw | gzip -1 - | ssh user@target-server dd of=/dev/zvol/my-pool/vm-123-disk-1

behelfen. Das setzt natürlich das Vorhandensein der VM-Konfiguration vorraus.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE and Proxmox Mail Gateway. We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get your own in 60 seconds.

Buy now!