zfs Verschlüsselung - Performanceprobleme?

DerTom246

Member
Feb 24, 2020
39
1
13
55
Hi,

ich möchte meine zfs-pools mit der native-encryption Funktion verschlüsseln. Jetzt habe ich Berichte gesehen, nach denen die Performance mit der zfs-Verschlüsselung deutlich in die Knie geht und zu einer sehr starken Auslastung der CPU führt. Dies ist wohl darauf zurückzuführen, dass eine Kernelfunktion entfernt worden sein soll...

Ist dies inzwischen behoben worden etc.?

Viele Grüße!
 
Wir haben hier seit ca. 4 Wochen ein Pilot Projekt laufen. Da gehen jeden Tag ein paar TB drüber. Der Zeit kein Anzeichen von Performance Problemen. AMD mit 16 Cores 64 GB Memory. Nur Backupserver, keine VM's.
 
  • Like
Reactions: DerTom246
Dies ist wohl darauf zurückzuführen, dass eine Kernelfunktion entfernt worden sein soll...

Ja, da ging es um die SIMD Sachen, davon waren aber viel mehr Funktionen als die Verschlüsselung betroffen und generell war alles langsam.

Jetzt habe ich Berichte gesehen, nach denen die Performance mit der zfs-Verschlüsselung deutlich in die Knie geht und zu einer sehr starken Auslastung der CPU führt.

Mit einer CPU, die die AES-NI Erweiterung hat passiert das nahezu transparent - wie bei LUKS auch.
 
Hallo zusammen,

wollte kurz über meine Erfahrungen mit der nativen Verschlüsselung unter zfs berichten.

Aufgesetzt habe ich ein raidz mit drei 8 TB WD red und dieses um zil und slog (beide auf SSD) ergänzt.

Die Performance ist deutlich schlechter, als ich es bei meinem alten System erlebt habe. Über mein 10G-Netzwerk kann ich anfangs mit ca. 200 Mb/s schreiben. Die Schreibrate bricht aber dann auf 'normale' 100 Mb/s zusammen, bleibt dann aber konstant. Die Leserate ist eine Katastrophe. Über das 10G-Netz schwankt die Übertragung zwischen ca. 20 und 70 Mb/s. Getestet habe ich mit einer ca. 12GB großen Datei.

Um zu schauen, ob das Problem vielleicht an der Netzwerkkonfiguration liegt, habe ich einen zweiten Pool (raidz, drei 8 TB Festplatten) erstellt und kopiere nun die ca 7 TB Daten auf den nicht verschlüsselten Pool. Beide Pools hängen an jeweils einem M1015-Controller (IT-mode) und werden direkt an die VM durchgereicht. Nach knapp 18 Stunden erreiche ich eine Transferrate von 46,78 MB/s. Der ganze Kopiervorgang dauert noch weitere 26 Stunden.

Die der VM zugewiesenen acht Kerne (E5-2660v3) werden mit ca. 60 % ausgelastet. An RAM wurden der VM 56 GB zugewiesen.

Im Ergebnis enttäuschend. AES-NI wird von der CPU unterstützt.

Ist da von mir noch etwas einzustellen / zu konfigurieren, um die erwartete - beinahe unbeeinträchtigte - Performance erhalten zu können?

Viele Grüße

Ergänzung:

Die CPU selbst unterstützt AES-NI lt. Intel-homepage.

In der VM selbst wird die Unterstützung aber nicht angezeigt:

Code:
# lscpu
Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
Address sizes:       40 bits physical, 48 bits virtual
CPU(s):              8
On-line CPU(s) list: 0-7
Thread(s) per core:  1
Core(s) per socket:  8
Socket(s):           1
NUMA node(s):        1
Vendor ID:           GenuineIntel
CPU family:          15
Model:               6
Model name:          Common KVM processor
Stepping:            1
CPU MHz:             2599.996
BogoMIPS:            5199.99
Hypervisor vendor:   KVM
Virtualization type: full
L1d cache:           32K
L1i cache:           32K
L2 cache:            4096K
L3 cache:            16384K
NUMA node0 CPU(s):   0-7
Flags:               fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx lm constant_tsc nopl xtopology cpuid tsc_known_freq pni cx16 x2apic hypervisor lahf_lm cpuid_fault pti
root@OMV:~# grep -o aes /proc/cpuinfo

Wie aktiviere ich AES-NI? Ist dies ein Problem der Debian-VM?

Ist es richtig, dass ich für die VM die CPU als Typ 'Haswell' benennen muss, damit AES-NI funktioniert?
 
Last edited:
Wie schnell ist es jetzt?
Lesend vom NAS bzw. ZFS-Pool über das 10G-Netz werden über 800MB/s erreicht. Schreibend geht meiner SSD die Puste aus - kurz 1GB/s, danach runter auf ca. 400MB/s.

Eine Beeinflussung durch die Verschlüsselung kann ich nicht bemerken. Habe jetzt aber auch keine großen Messungen mit/ohne Verschlüsselung gemacht.
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!