pve rest API liefert zu viele HTTP 596 und 599 Status Codes

F

felix_Q

New Member
Sep 30, 2021
11
0
1
Ich habe ein Script für die Abfrage der API geschrieben. Es fragt Cluster, Nodes, Disks etc. ab. Bei 3 Nodes kommt es auch zu keiner alzu großen Belastung.
Diese timeout Status Codes kommen leider ab und zu sehr oft vor, wogegen auch teilweise 10-20 minuten lang keine Fehlercodes auftreten.
GIbt es eine Möglichkeit die Rest API zu konfigurieren, um diese Statuscodes zu verhindern?
 
gibt es irgendwelche logs zu den zeiten die vielleicht auf den fehler hindeuten?

grundsätzlich können immer fehler oder ausnahmen passieren (e.g. netzwerk/hardware probleme), dh würde ich versuchen den client so zu gestalten, dass er mit fehler umgehen kann (retries?)
 
Hallo Dominik,
danke für deine rasche Antwort.

Wenn die Fehler passieren ist die API für eine Zeit lang nichtmehr ansprechbar. Woran könnte dieser Ausfall liegen? Ich kann logs posten, wenn du mir sagst, welche am nützlichsten sind.
 
felix_Q said:
n? Ich kann logs posten, wenn du mir sagst, welche am nützlichsten sind.
Click to expand...
sorry für die späte antwort... journal/syslog/access log wären interessant...

felix_Q said:
Wenn die Fehler passieren ist die API für eine Zeit lang nichtmehr ansprechbar. Woran könnte dieser Ausfall liegen?
Click to expand...
das kann an vielen dingen liegen, aber oft ist der storage schuld (meistens die langsamste komponente)
 
Wie kann ich die logs abfragen?
Habe im Forum nachgeschaut und
Code: 
find /var/log/pve/tasks -exec stat -c %x {} \; | sort
gefunden.
Ich weiß nur nicht, ob das die logs sind, welche du brauchst.

Mit freundlichen Grüßen
Felix
 
journal/syslog kann man mittels 'journalctl' abfragen
access log ist unter /var/log/pveproxy
 
Hier ein Ausschnitt mit den erwähnten Error Codes
Code: 
::ffff:192.168.0.67 - root@pam!token [20/10/2021:02:24:00 +0200] "GET /api2/json/nodes/pve-node-1/config HTTP/1.1" 200 11
:: - root@pam!token [20/10/2021:02:24:00 +0200] "GET /api2/json/nodes/pve-node-1/services HTTP/1.1" 200 2643
::ffff: - root@pam!token [20/10/2021:02:24:01 +0200] "GET /api2/json/nodes/pve-node-1/disks/list HTTP/1.1" 200 656
::ffff: - root@pam!token [20/10/2021:02:24:01 +0200] "GET /api2/json/nodes/pve-node-1/network HTTP/1.1" 200 627
::ffff: - root@pam!token [20/10/2021:02:24:01 +0200] "GET /api2/json/nodes/pve/config HTTP/1.1" 200 134
::ffff: - root@pam!token [20/10/2021:02:24:01 +0200] "GET /api2/json/nodes/pve/services HTTP/1.1" 200 2643
::ffff: - root@pam!token [20/10/2021:02:24:02 +0200] "GET /api2/json/nodes/pve/disks/list HTTP/1.1" 200 640
::ffff: - root@pam!token [20/10/2021:02:24:02 +0200] "GET /api2/json/nodes/pve/network HTTP/1.1" 200 627
::ffff: - root@pam!token [20/10/2021:02:24:02 +0200] "GET /api2/json/nodes/pve-node-2/config HTTP/1.1" 200 11
::ffff: - root@pam!token [20/10/2021:02:24:02 +0200] "GET /api2/json/nodes/pve-node-2/services HTTP/1.1" 200 2643
::ffff: - root@pam!token [20/10/2021:02:24:02 +0200] "GET /api2/json/nodes/pve-node-2/disks/list HTTP/1.1" 200 649
::ffff: - root@pam!token [20/10/2021:02:24:02 +0200] "GET /api2/json/nodes/pve-node-2/network HTTP/1.1" 200 518
::ffff: - root@pam!token [20/10/2021:02:24:05 +0200] "GET /api2/json/nodes/pve/qemu HTTP/1.1" 200 3205
::ffff: - root@pam!token [20/10/2021:02:24:05 +0200] "GET /api2/json/nodes/pve-node-2/qemu HTTP/1.1" 200 776
::ffff: - root@pam!token [20/10/2021:02:24:05 +0200] "GET /api2/json/nodes/pve-node-1/qemu HTTP/1.1" 200 1035
::ffff: - root@pam!token [20/10/2021:02:24:05 +0200] "GET /api2/json/nodes/pve-node-1/qemu/114/config HTTP/1.1" 200 474
::ffff: - root@pam!token [20/10/2021:02:24:05 +0200] "GET /api2/json/nodes/pve-node-1/qemu/114/agent/get-osinfo HTTP/1.1" 500 13
::ffff: - root@pam!token [20/10/2021:02:24:05 +0200] "GET /api2/json/nodes/pve-node-1/qemu/110/config HTTP/1.1" 200 490
::ffff: - root@pam!token [20/10/2021:02:24:05 +0200] "GET /api2/json/nodes/pve-node-1/qemu/110/agent/get-osinfo HTTP/1.1" 200 263
::ffff: - root@pam!token [20/10/2021:02:24:06 +0200] "GET /api2/json/nodes/pve-node-1/qemu/108/config HTTP/1.1" 200 453
::ffff: - root@pam!token [20/10/2021:02:24:09 +0200] "GET /api2/json/nodes/pve-node-1/qemu/108/agent/get-osinfo HTTP/1.1" 500 13
::ffff: - root@pam!token [20/10/2021:02:24:09 +0200] "GET /api2/json/nodes/pve-node-1/qemu/111/config HTTP/1.1" 200 454
::ffff: - root@pam!token [20/10/2021:02:24:09 +0200] "GET /api2/json/nodes/pve-node-1/qemu/111/agent/get-osinfo HTTP/1.1" 200 252
 
Last edited:
Journalctl ergibt :


Code: 
-- Journal begins at Mon 2021-08-09 18:19:26 CEST, ends at Wed 2021-10-20 14:42:01 CEST. --

Aug 10 02:18:11 pve kernel: Linux version 5.11.22-1-pve (build@proxmox) (gcc (Debian 10.2.1-6) 10.2.1 20210110, GNU ld (GNU Binutils for Debian) 2.35.2) #1 SMP PVE 5.11.22>


Aug 10 02:18:11 pve kernel: Command line: BOOT_IMAGE=/boot/vmlinuz-5.11.22-1-pve root=/dev/mapper/pve-root ro quiet

Aug 10 02:18:11 pve kernel: KERNEL supported cpus:

Aug 10 02:18:11 pve kernel: Intel GenuineIntel

Aug 10 02:18:11 pve kernel: AMD AuthenticAMD

Aug 10 02:18:11 pve kernel: Hygon HygonGenuine

Aug 10 02:18:11 pve kernel: Centaur CentaurHauls

Aug 10 02:18:11 pve kernel: zhaoxin Shanghai

Aug 10 02:18:11 pve kernel: x86/fpu: Supporting XSAVE feature 0x001: 'x87 floating point registers'

Aug 10 02:18:11 pve kernel: x86/fpu: Supporting XSAVE feature 0x002: 'SSE registers'

Aug 10 02:18:11 pve kernel: x86/fpu: Supporting XSAVE feature 0x004: 'AVX registers'

Aug 10 02:18:11 pve kernel: x86/fpu: Supporting XSAVE feature 0x008: 'MPX bounds registers'

Aug 10 02:18:11 pve kernel: x86/fpu: Supporting XSAVE feature 0x010: 'MPX CSR'

Aug 10 02:18:11 pve kernel: x86/fpu: xstate_offset[2]: 576, xstate_sizes[2]: 256

Aug 10 02:18:11 pve kernel: x86/fpu: xstate_offset[3]: 832, xstate_sizes[3]: 64

Aug 10 02:18:11 pve kernel: x86/fpu: xstate_offset[4]: 896, xstate_sizes[4]: 64

Aug 10 02:18:11 pve kernel: x86/fpu: Enabled xstate features 0x1f, context size is 960 bytes, using 'compacted' format.

Aug 10 02:18:11 pve kernel: BIOS-provided physical RAM map:

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x0000000000000000-0x000000000009efff] usable

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x000000000009f000-0x00000000000fffff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x0000000000100000-0x000000006cf68fff] usable

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x000000006cf69000-0x000000006f06cfff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x000000006f06d000-0x000000006f0eefff] ACPI data

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x000000006f0ef000-0x000000006f1c8fff] ACPI NVS

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x000000006f1c9000-0x000000006fba2fff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x000000006fba3000-0x000000006fc4dfff] type 20

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x000000006fc4e000-0x000000006fc4efff] usable

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x000000006fc4f000-0x000000007cffffff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x00000000e0000000-0x00000000efffffff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x00000000fe000000-0x00000000fe010fff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x00000000fec00000-0x00000000fec00fff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x00000000fed00000-0x00000000fed03fff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x00000000fee00000-0x00000000fee00fff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x00000000ff000000-0x00000000ffffffff] reserved

Aug 10 02:18:11 pve kernel: BIOS-e820: [mem 0x0000000100000000-0x0000001080ffffff] usable

Aug 10 02:18:11 pve kernel: NX (Execute Disable) protection: active

Aug 10 02:18:11 pve kernel: efi: EFI v2.70 by American Megatrends

Aug 10 02:18:11 pve kernel: efi: ACPI=0x6f12e000 ACPI 2.0=0x6f12e014 TPMFinalLog=0x6f136000 SMBIOS=0x6f9df000 SMBIOS 3.0=0x6f9de000 MEMATTR=0x666d6298 ESRT=0x63a30e98

Aug 10 02:18:11 pve kernel: secureboot: Secure boot could not be determined (mode 0)

Aug 10 02:18:11 pve kernel: SMBIOS 3.3.0 present.

Aug 10 02:18:11 pve kernel: DMI: Intel(R) Client Systems NUC10i7FNH /NUC10i7FNB , BIOS FNCML357.0047.2020.1118.1629 11/18/2020

Aug 10 02:18:11 pve kernel: tsc: Detected 1600.000 MHz processor

Aug 10 02:18:11 pve kernel: tsc: Detected 1599.960 MHz TSC

Aug 10 02:18:11 pve kernel: e820: update [mem 0x00000000-0x00000fff] usable ==> reserved

Aug 10 02:18:11 pve kernel: e820: remove [mem 0x000a0000-0x000fffff] usable

Aug 10 02:18:11 pve kernel: last_pfn = 0x1081000 max_arch_pfn = 0x400000000

Aug 10 02:18:11 pve kernel: MTRR default type: write-back

Aug 10 02:18:11 pve kernel: MTRR fixed ranges enabled:

Aug 10 02:18:11 pve kernel: 00000-9FFFF write-back

Aug 10 02:18:11 pve kernel: A0000-BFFFF uncachable

Aug 10 02:18:11 pve kernel: C0000-FFFFF write-protect

Aug 10 02:18:11 pve kernel: MTRR variable ranges enabled:

Aug 10 02:18:11 pve kernel: 0 base 0080000000 mask 7F80000000 uncachable

Aug 10 02:18:11 pve kernel: 1 base 0078000000 mask 7FF8000000 uncachable

Aug 10 02:18:11 pve kernel: 2 base 2000000000 mask 6000000000 uncachable

Aug 10 02:18:11 pve kernel: 3 base 4000000000 mask 4000000000 uncachable

Aug 10 02:18:11 pve kernel: 4 disabled

Aug 10 02:18:11 pve kernel: 5 disabled

Aug 10 02:18:11 pve kernel: 6 disabled

Aug 10 02:18:11 pve kernel: 7 disabled

Aug 10 02:18:11 pve kernel: 8 disabled

Aug 10 02:18:11 pve kernel: 9 disabled

Aug 10 02:18:11 pve kernel: x86/PAT: Configuration [0-7]: WB WC UC- UC WB WP UC- WT

Aug 10 02:18:11 pve kernel: last_pfn = 0x6fc4f max_arch_pfn = 0x400000000

Aug 10 02:18:11 pve kernel: esrt: Reserving ESRT space from 0x0000000063a30e98 to 0x0000000063a30ed0.

Aug 10 02:18:11 pve kernel: e820: update [mem 0x63a30000-0x63a30fff] usable ==> reserved

Aug 10 02:18:11 pve kernel: check: Scanning 1 areas for low memory corruption

Aug 10 02:18:11 pve kernel: Using GB pages for direct mapping

Aug 10 02:18:11 pve kernel: secureboot: Secure boot could not be determined (mode 0)

Aug 10 02:18:11 pve kernel: RAMDISK: [mem 0x310f7000-0x34872fff]

Aug 10 02:18:11 pve kernel: ACPI: Early table checksum verification disabled

Aug 10 02:18:11 pve kernel: ACPI: RSDP 0x000000006F12E014 000024 (v02 INTEL )

Aug 10 02:18:11 pve kernel: ACPI: XSDT 0x000000006F12D728 0000D4 (v01 INTEL NUC9i5FN 0000002F AMI 01000013)

Aug 10 02:18:11 pve kernel: ACPI: FACP 0x000000006F0E9000 000114 (v06 INTEL NUC9i5FN 0000002F AMI 00010013)

Aug 10 02:18:11 pve kernel: ACPI: DSDT 0x000000006F0A5000 0439CD (v02 INTEL NUC9i5FN 0000002F INTL 20160527)

Aug 10 02:18:11 pve kernel: ACPI: FACS 0x000000006F1C8000 000040

Aug 10 02:18:11 pve kernel: ACPI: MCFG 0x000000006F0EC000 00003C (v01 INTEL NUC9i5FN 0000002F MSFT 00000097)

Aug 10 02:18:11 pve kernel: ACPI: SSDT 0x000000006F0EA000 001B4A (v02 INTEL NUC9i5FN 0000002F INTL 20160527)

Aug 10 02:18:11 pve kernel: ACPI: FIDT 0x000000006F0A4000 00009C (v01 INTEL NUC9i5FN 0000002F AMI 00010013)

Aug 10 02:18:11 pve kernel: ACPI: SSDT 0x000000006F0A0000 0031C6 (v02 INTEL NUC9i5FN 0000002F INTL 20160527)

Aug 10 02:18:11 pve kernel: ACPI: HPET 0x000000006F0EE000 000038 (v01 INTEL NUC9i5FN 0000002F AMI 01000013)

Aug 10 02:18:11 pve kernel: ACPI: SSDT 0x000000006F09C000 0033B4 (v02 INTEL NUC9i5FN 0000002F INTL 20160527)

Aug 10 02:18:11 pve kernel: ACPI: SSDT 0x000000006F09A000 00115C (v02 INTEL NUC9i5FN 0000002F INTL 20160527)

Aug 10 02:18:11 pve kernel: ACPI: SSDT 0x000000006F096000 0032BD (v02 INTEL NUC9i5FN 0000002F INTL 20160527)

Aug 10 02:18:11 pve kernel: ACPI: NHLT 0x000000006F0ED000 00002D (v00 INTEL NUC9i5FN 0000002F AMI 01000013)

Aug 10 02:18:11 pve kernel: ACPI: LPIT 0x000000006F095000 000094 (v01 INTEL NUC9i5FN 0000002F AMI 01000013)

Aug 10 02:18:11 pve kernel: ACPI: SSDT 0x000000006F091000 002720 (v02 INTEL NUC9i5FN 0000002F INTL 20160527)

Aug 10 02:18:11 pve kernel: ACPI: SSDT 0x000000006F090000 00087C (v02 INTEL NUC9i5FN 0000002F INTL 20160527)

Aug 10 02:18:11 pve kernel: ACPI: DBGP 0x000000006F08F000 000034 (v01 INTEL NUC9i5FN 0000002F AMI 01000013)

Aug 10 02:18:11 pve kernel: ACPI: DBG2 0x000000006F08E000 000054 (v00 INTEL NUC9i5FN 0000002F AMI 01000013)




und der syslog ist zu groß für den Anhang.



Mit freundlchen Grüßen

Felix
 
wenn das log zu groß ist, bitte entweder zippen, oder irgendwo hochladen, aber ohne die logs kann ich leider nicht viel sagen. der journalctl output ist offenbar abgeschnitten...
 
ok nachdem ich jetzt mal das log durchgeschaut haben sind mir folgende dinge aufgefallen:

* das cluster netzwerk scheint nicht in ordnung zu sein. ich sehe regelmäßige link downs, retransmits, etc. ich würde empfehlen fürs cluster netzwerk noch mindestens einen physisch seperaten link dazuzunehmen. wenn der cluster nicht quorat ist, können manche dinge nicht funktionieren was zu api fehlern führen kann.
*
e1000e 0000:00:1f.6 eno1: Detected Hardware Unit Hang:
Click to expand...
: ich würde mal die netzwerk hardware checken.
und zu guter letzt:
* one-importer-demo[1775607]: /bin/sh: 1: docker: not found
keine ahnung ob der letzte punkt relevant ist, taucht aber alle zwei minuten im log auf... (ist jedenfalls nichts von uns)
 
Meine Frage bezüglich des Cluster Netzwerkes ist: kann dieses auch nachträglich eingerichtet werden?
Wenn ja, gibt es eine Dokumentation die ich mir dazu anschauen kann?
Mit freundlichen Grüßen
Felix
 
Last edited:
Die nachträgliche Einrichtung eines Cluster Netzwerkes hat das Problem behoben.
Ich danke für die gute Unterstützung.
Felix
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom