[gelöst] PVE 6 - VM Konsole auf anderem Node quitiert mit "Authentication failed"

[thz]

Ich habe einen Cluster aus 3 pve 6 nodes. Wenn ich versuche per Webinterface von node1 auf die Konsole einer VM auf node3 zuzugreifen, sehe ich folgende Meldung:

"Verbindung wurde aus folgendem Grund abgelehnt: Authentication failed"

root login per ssh unter den Nodes funktioniert über das corosync- und ceph-Netz.

Migration von VMs und alles andere funktioniert von jedem Node auf den anderen Nodes, nur eben die Konsole nicht. Anhand von Logmeldungen finde ich leider auch nichts brauchbares und habe aktuell keinen Ansatz zur Fehlersuche mehr. Was kann das sein? Welche Infos werden ggf. noch benötigt?

 

[thz]

Nachtrag:
Im Logfile "/var/log/pveproxy/access.log" habe ich folgende Meldung:

GET /api2/json/nodes/node03/qemu/608/vncwebsocket?port=5900&vncticket=

Es lauscht kein Dienst an Port 5900, zumindest nicht laut "netstat -tulpn", auf den Nodes.

root@host> netstat -tulpn | grep 5900
root@host> _

 

[thz]

Hm..., wie kann man vnc aktivieren? Früher funktionierte das einfach so mit.

 

[dcsapak]

funktioniert der ssh aufruf so:
nodename vom ziel: node2
ip vom ziel: ip-of-node2

ssh -e none -o BatchMode=yes -o HostKeyAlias=node2 root@ip-of-node2 /bin/true

?

 

[thz]

Ja, das funktioniert.

Wenn ich mich per Webinterface mit der Konsole eines Hosts auf einem anderen Node verbinden möchte, steht im auth-Log dieses anderen Nodes:

Sep 30 13:52:47 pve01 sshd[76980]: Accepted publickey for root from 192.168.100.200 port 42030 ssh2: RSA SHA256:.................
Sep 30 13:52:47 pve01 sshd[76980]: pam_unix(sshd:session): session opened for user root by (uid=0)
Sep 30 13:52:47 pve01 systemd-logind[1276]: New session 11 of user root.
Sep 30 13:52:47 pve01 systemd: pam_unix(systemd-user:session): session opened for user root by (uid=0)
Sep 30 13:52:48 pve01 sshd[76980]: Received disconnect from 192.168.100.200 port 42030:11: disconnected by user
Sep 30 13:52:48 pve01 sshd[76980]: Disconnected from 192.168.100.200 port 42030
Sep 30 13:52:48 pve01 sshd[76980]: pam_unix(sshd:session): session closed for user root
Sep 30 13:52:48 pve01 systemd-logind[1276]: Removed session 11.
Sep 30 13:52:48 pve01 systemd: pam_unix(systemd-user:session): session closed for user root

und im Webinterface steht die Meldung "Verbindung wurde aus folgendem Grund abgelehnt: Authentication failed".

 

[dcsapak]

und im Webinterface steht die Meldung "Verbindung wurde aus folgendem Grund abgelehnt: Authentication failed".

wo steht das genau (ein screenshot wäre super)

 

[thz]

Siehe Bild im Anhang. So sieht es aus, wenn ich von NodeA auf die Konsole einer VM auf NodeB klicke.

 

[dcsapak]

was für ein browser? gibt es in der javascript konsole einen fehler?

 

[thz]

In der Konsole steht:

Starting PVE Manager
pvemanagerlib.js:396:1
unreachable code after return statement[Weitere Informationen]
ext-all.js:22:344134
Failed when connecting: Security negotiation failed on security result (reason: Authentication failed�)
app.js:8763:21
_fail
https://10.10.100.200:8006/novnc/app.js:8763:21
_handle_security_failure
https://10.10.100.200:8006/novnc/app.js:9026:24
_handle_security_result
https://10.10.100.200:8006/novnc/app.js:9216:28
_init_msg
https://10.10.100.200:8006/novnc/app.js:9386:28
_handle_message
https://10.10.100.200:8006/novnc/app.js:8808:21
_recv_message
https://10.10.100.200:8006/novnc/app.js:5013:17

Ich habe auf den Hosts ein "internes" Netzwerk für Ceph (192.168.100.0/24) und eines für das Management (10.10.100.0/24).
Das Netzwerk 192.168.100.0/24 ist nicht von außen direkt zu erreichen (eigene Infrastruktur). Darüber läuft aber auch corosync bzw. die zwischen den Servern.

 

[dcsapak]

irgendwelche browser plugins? ein paar user hatten probleme mit eset endpoint security...

 

[thz]

NoScript und AdBlock Plus sind im Firefox installiert. Aber die PVE-Seiten sind alle erlaubt. Habe es auch mal in einem Browserprofil ohne diese Adons getestet, selber Fehler.

 

[dcsapak]

mhmm... so langsam gehen mir die ideen aus...
edit: schon mal einen anderen browser versucht?

 

[thz]

Ja, hab es mal mit Cromium (ohne zusätzliche Plugins) versucht. Selbes Ergebnis.

Hat es was mit den 2 Netzen zu tun? Das System verbindet sich laut auth.log mit der internen IP aus dem Netz 192.168.100.0/24. Das funktioniert auch per ssh.
Laut der Debug-Konsole (im Firefox) wird aber die IP des 10.10.100.0/24 Netz genutzt.
Im Browser rufe ich das Webinterface mit der IP aus dem Netz 10.10.100.0/24 auf.

 

[dcsapak]

Hat es was mit den 2 Netzen zu tun? Das System verbindet sich laut auth.log mit der internen IP aus dem Netz 192.168.100.0/24. Das funktioniert auch per ssh.

solange das funktioniert (mit der nodename als hostkeyalias) sollte das keine probleme machen, da der browser das gar nicht mitbekommt

 

[mlohr]

Gibt es zu dem Thema was Neues? Ich habe exakt das gleiche Problem.

Müssen die Webinterfaces von Proxmox dazu über ein gültiges, vom Browser akzeptiertes SSL-Zertifikat verfügen? Wer verbindet wie genau von wo nach wo? Verbindet sich VNC mit dem Node, auf der die VM liegt oder mit dem Node, auf dem das Webinterface liegt, und dieser leitet das dann weiter?

 

[dcsapak]

Müssen die Webinterfaces von Proxmox dazu über ein gültiges, vom Browser akzeptiertes SSL-Zertifikat verfügen?

grundsätzlich nicht, manche browser verhalten sich dann aber nicht unbedingt kooperativ (safari auf macos zb)

Wer verbindet wie genau von wo nach wo? Verbindet sich VNC mit dem Node, auf der die VM liegt oder mit dem Node, auf dem das Webinterface liegt, und dieser leitet das dann weiter?

der browser kommuniziert immer nur mit dem node (nodeA) zu dem die verbindung aufgebaut wurde,
im fall von novnc auf einen anderen node (nodeB) geht es: browser -> nodeA -> ssh -> nodeB -> vm

 

[mlohr]

Wir haben das mit sowohl Chrome als auch Firefox unter Linux und Windows getestet - selbiges Problem (wie oben beschrieben). Wie kann ich herausfinden, ob das Problem zwischen noVNC <-> nodeA oder nodeA <-> nodeB liegt? Vielleicht können wir es damit schrittweise eingrenzen bis hin zu einer Lösung.
(SSH mit dem oben beschriebenen Kommando von nodeA nach nodeB funktioniert - von root@nodeA an root@nodeB. Wird konsequent der root-Nutzer verwendet?)

 

[dcsapak]

Wird konsequent der root-Nutzer verwendet?

ja

SSH mit dem oben beschriebenen Kommando

welches kommando genau?

syslog vom zeitpunkt wo eine connection nicht funkioniert wäre interessant

 

[mlohr]

welches kommando genau?

ssh -e none -o BatchMode=yes -o HostKeyAlias=node2 root@ip-of-node2 /bin/true

syslog vom zeitpunkt wo eine connection nicht funkioniert wäre interessant

Node, auf dem ich eingelogged bin:

Oct 29 19:50:57 fe-2a pvedaemon[2539]: <root@pam> successful auth for user 'root@pam'
Oct 29 19:51:00 fe-2a systemd[1]: Starting Proxmox VE replication runner...
Oct 29 19:51:00 fe-2a systemd[1]: pvesr.service: Succeeded.
Oct 29 19:51:00 fe-2a systemd[1]: Started Proxmox VE replication runner.
Oct 29 19:51:05 fe-2a pveproxy[120849]: Clearing outdated entries from certificate cache
Oct 29 19:51:14 fe-2a pvedaemon[2537]: <root@pam> starting task UPID:fe-2a:0010D3DD:01A79E63:5DB88A22:vncproxy:103:root@pam:                                                                                      
Oct 29 19:51:14 fe-2a pvedaemon[1102813]: starting vnc proxy UPID:fe-2a:0010D3DD:01A79E63:5DB88A22:vncproxy:103:root@pam:                                                                                         
Oct 29 19:51:14 fe-2a pveproxy[120850]: Clearing outdated entries from certificate cache
Oct 29 19:51:15 fe-2a pvedaemon[2537]: <root@pam> end task UPID:fe-2a:0010D3DD:01A79E63:5DB88A22:vncproxy:103:root@pam: OK                                                                                        
Oct 29 19:52:00 fe-2a systemd[1]: Starting Proxmox VE replication runner...
Oct 29 19:52:00 fe-2a systemd[1]: pvesr.service: Succeeded.
Oct 29 19:52:00 fe-2a systemd[1]: Started Proxmox VE replication runner.

Node, auf dem die VM läuft:

Oct 29 19:50:00 fe-2b systemd[1]: Started Proxmox VE replication runner.
Oct 29 19:50:57 fe-2b pmxcfs[2027]: [status] notice: received log
Oct 29 19:51:00 fe-2b systemd[1]: Starting Proxmox VE replication runner...
Oct 29 19:51:00 fe-2b systemd[1]: pvesr.service: Succeeded.
Oct 29 19:51:00 fe-2b systemd[1]: Started Proxmox VE replication runner.
Oct 29 19:51:14 fe-2b pmxcfs[2027]: [status] notice: received log
Oct 29 19:51:15 fe-2b pmxcfs[2027]: [status] notice: received log
Oct 29 19:52:00 fe-2b systemd[1]: Starting Proxmox VE replication runner...
Oct 29 19:52:00 fe-2b systemd[1]: pvesr.service: Succeeded.
Oct 29 19:52:00 fe-2b systemd[1]: Started Proxmox VE replication runner.

 

[dcsapak]

ich meine wirklich den konkreten aufruf + ausgabe....
auch den output vom tasklog wäre interessant