Massiv viele SSH sessions zwischen cluster nodes

[aibix]

Servus,

hat das schon mal jemand gehabt?:

│Jun 26 20:06:26 doodlemox sshd[2896681]: Accepted publickey for root from 10.40.1.108 port 48182 ssh2: RSA SHA256:4J/9XC1sXuUCIOHQ2YykG4mKoDKijnchdzPR/XvoW44                                                                         │
│Jun 26 20:06:26 doodlemox sshd[2896681]: pam_unix(sshd:session): session opened for user root(uid=0) by (uid=0)                                                                                                                       │
│Jun 26 20:06:26 doodlemox systemd-logind[1653]: New session 66585 of user root.                                                                                                                                                       │
│Jun 26 20:06:26 doodlemox systemd[1]: Started session-66585.scope - Session 66585 of User root.                                                                                                                                       │
│Jun 26 20:06:26 doodlemox sshd[2896681]: pam_env(sshd:session): deprecated reading of user environment enabled                                                                                                                        │
│Jun 26 20:06:27 doodlemox sshd[2896681]: Received disconnect from 10.40.1.108 port 48182:11: disconnected by user                                                                                                                     │
│Jun 26 20:06:27 doodlemox sshd[2896681]: Disconnected from user root 10.40.1.108 port 48182                                                                                                                                           │
│Jun 26 20:06:27 doodlemox sshd[2896681]: pam_unix(sshd:session): session closed for user root                                                                                                                                         │
│Jun 26 20:06:27 doodlemox systemd[1]: session-66585.scope: Deactivated successfully.                                                                                                                                                  │
│Jun 26 20:06:27 doodlemox systemd-logind[1653]: Session 66585 logged out. Waiting for processes to exit.                                                                                                                              │
│Jun 26 20:06:27 doodlemox systemd-logind[1653]: Removed session 66585.                                                                                                                                                                │
│Jun 26 20:06:27 doodlemox sshd[2896790]: Accepted publickey for root from 10.40.1.108 port 48192 ssh2: RSA SHA256:4J/9XC1sXuUCIOHQ2YykG4mKoDKijnchdzPR/XvoW44                                                                         │
│Jun 26 20:06:27 doodlemox sshd[2896790]: pam_unix(sshd:session): session opened for user root(uid=0) by (uid=0)                                                                                                                       │
│Jun 26 20:06:27 doodlemox systemd-logind[1653]: New session 66586 of user root.                                                                                                                                                       │
│Jun 26 20:06:27 doodlemox systemd[1]: Started session-66586.scope - Session 66586 of User root.                                                                                                                                       │
│Jun 26 20:06:27 doodlemox sshd[2896790]: pam_env(sshd:session): deprecated reading of user environment enabled                                                                                                                        │
│Jun 26 20:06:28 doodlemox sshd[2896790]: Received disconnect from 10.40.1.108 port 48192:11: disconnected by user                                                                                                                     │
│Jun 26 20:06:28 doodlemox sshd[2896790]: Disconnected from user root 10.40.1.108 port 48192                                                                                                                                           │
│Jun 26 20:06:28 doodlemox sshd[2896790]: pam_unix(sshd:session): session closed for user root                                                                                                                                         │
│Jun 26 20:06:28 doodlemox systemd-logind[1653]: Session 66586 logged out. Waiting for processes to exit.                                                                                                                              │
│Jun 26 20:06:28 doodlemox systemd[1]: session-66586.scope: Deactivated successfully.                                                                                                                                                  │
│Jun 26 20:06:28 doodlemox systemd[1]: session-66586.scope: Consumed 1.039s CPU time.                                                                                                                                                  │
│Jun 26 20:06:28 doodlemox systemd-logind[1653]: Removed session 66586.                                                                                                                                                                │

Beide nodes öffnen und schließen ssh-sessions zueinander im sub-second Takt. Wo fängt man an zu suchen?

 

[aibix]

Dazu gibt's dann haufenweise solchen Output von lsof:

COMMAND                                 PID     TID TASKCMD                USER   FD      TYPE             DEVICE  SIZE/OFF       NODE NAME
kvm                                    3348                                root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348    3349 call_rcu               root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348    3350 kvm                    root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348    3374 vhost-3348             root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348    3394 vhost-3348             root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348    3413 vhost-3348             root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348    3414 CPU\x200/KVM           root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348    3415 CPU\x201/KVM           root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348    3418 vnc_worker             root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348 3088575 iou-wrk-3350           root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1
kvm                                    3348 3156382 worker                 root  mem       REG               0,25    260552      25921 /usr/lib/x86_64-linux-gnu/libssh2.so.1.0.1

 

[Falk R.]

Wer spricht denn bei dir auf port 48182?
Eventuell ein Monitoring oder soetwas am laufen, was eventuell abfragen macht?

 

[aibix]

Das sind jeweils die Source-Ports der SSH-sessions, sind auch unterschiedlich (48182 und 48192 hier im Beispiel).

 

[fabian]

in PVE selbst verwenden nur ein paar Dinge SSH:
- migration
- replikation
- pvesh wenn du einen API request auf einen anderen node machst
- teilweise die shell/konsolen funktion, wenn du eine konsole auf einem anderen node aufmachst als auf dem, mit dem du verbunden bist