Probleme mit MTU

[Stone]

Hallo.

Wir haben aktuell Probleme mit der MTU Size.
Ich beschreibe hier kurz unsere Umgebung:

Wir haben eine NetApp stehen die per NFS an Cisco 3750 Switches hängt.
Die NFS Shares werden von einem PVE Cluster (Dell R720 Server) der aus fünf Nodes besteht gemountet.

Die NetApp und die Switches arbeiten mit einer MTU Size von 9000.
Die ersten drei Nodes im Cluster haben auf den Interfaces+Bond+VLAN+VMBridge auch eine MTU Size von 9000.
Die Nodes vier und fünf haben akutell zum Testen eine MTU Size von 1500.

Unser Problem aktuell ist das die zwei Nodes mit einer MTU von 1500 um vieles schneller mit der Storage sprechen (zb copy oder dd) als die Nodes mit einer MTU von 9000.

Hier ein Beispiel:
root@pvehost01:/mnt/pve/netapp01/images/1012# dd if=/mnt/pve/sas_pve_01/images/1012/vm-1012-disk-1.qcow2 of=/dev/null
^C^C989857+0 records in
989856+0 records out
506806272 bytes (507 MB) copied, 24.6489 s, 20.6 MB/s

root@pvehost04:/mnt/pve/netapp01/images/1012# dd if=vm-1012-disk-1.qcow2 of=/dev/zero
10496640+0 records in
10496640+0 records out
5374279680 bytes (5.4 GB) copied, 55.8555 s, 96.2 MB/s

Dies können wir uns nicht erklären.
Hat dazu jemand eine Idee?

Vielen Dank

 

[Alwin]

Das Beispiel ist nicht ganz klar, ist es bei beiden die selbe Disk auf dem selben Storage?

 

[Stone]

Ja gleicher Storage-Kopf gleicher Pfad gleiches File.

 

[Alwin]

Das Ergebnis kann von einigen Faktoren beeinflusst werden, NFS mount options, Systemlast, Netzwerklast, Caches. Was für ein Resultat liefern iperf und fio?

 

[Stone]

Das lustige ist das iperf auf einer LACP Strecke mit mehreren 1Gbit Ports mit 1Gbit läuft. Also genau das was ich erwartet hätte. Das passt.
Systemlast ich keine vorhanden da ich die Hosts zum testen extra freigeräumt habe.

Die Mountoptions kommen von PVE selbst und sind die typischen:
type nfs (rw,relatime,vers=3,rsize=65536,wsize=65536,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.27.8.12,mountvers=3,mountport=4046,mountproto=udp,local_lock=none,addr=10.27.8.12)

Systemlast auf der NetApp ist sehr überschaubar. Dort laufen zwar gerade ca. 100 VMs aber der ist langweilig.
Die PVE Hosts haben alle 256Gb Ram und das OS selbst liegt auf zwei SD Karten da diese ja über NFS auf die Storage angebunden sind.
Die Cisco Umgebung ist auch sehr entspannt.

Das interessante ist wenn ich auf diesen Hosts mit der MTU Size spiele (sprich die Size ändere zwischen 1500 und 9000) ist immer der Host der gerade die 1500 eingestellt hat der der normal schnell arbeitet. Der Host mit MTU 9000 hat einen Durchsatz von 20-30Mb/s.

Dies finde ich schon sehr komisch.

 

[Alwin]

iperf -m zeigt die MTU, ist die auch 9k? Treiber/Firmware aktuell? Zeigen die PVE Hosts beim kopieren untereinander das gleiche Verhalten?

 

[hec]

Bitte mal mit sio_ntap testen. Und auf jedenfalls mit Files die größer als der Cache oder Flashcache sind.

Welche ontap Version? Ist sicher der ganze Pfad MTU 9000? Was sagt pktt?

Welche ontap Version? Gibt es für alle Hosts reverse lookup?

Bei MTU 9000 brauchst du auf jeden Fall TCP tuning mit sysctl

Habt ihr ocpm installiert? Wenn ja was sagt der?

LG
Gregor