[SOLVED] Nach heutigen Update gehen alle Docker LXC Container nicht mehr
- Thread starter harry1983
- Start date
meinst du die config aus dem /etc/pve/lxc Verzeichnis? Oder etwas anderes, dann poste ichs dir gerne hier
Code:
#Ubuntu 22.04 LTS
#Docker
#Portainer
arch: amd64
cores: 4
features: keyctl=1,nesting=1
hostname: Portainer
memory: 3072
net0: name=eth1,bridge=vmbr0,firewall=1,gw=192.168.0.1,hwaddr=F2:F7:D0:0B:77:02,ip=192.168.0.202/24,type=veth
onboot: 0
ostype: ubuntu
parent: vorRestart
rootfs: VMStorage:subvol-301-disk-1,size=70G
startup: order=3
swap: 2048
tags: docker
unprivileged: 1
[vorRestart]
arch: amd64
cores: 4
features: keyctl=1,nesting=1
hostname: Portainer
memory: 3072
net0: name=eth1,bridge=vmbr0,firewall=1,gw=192.168.0.1,hwaddr=F2:F7:D0:0B:77:02,ip=192.168.0.202/24,type=veth
onboot: 1
ostype: ubuntu
rootfs: VMStorage:subvol-301-disk-1,size=70G
snaptime: 1671734164
startup: order=3
swap: 2048
tags: docker
unprivileged: 1Habe jetzt nochmals das Update probiert, im Syslog steht folgendes:
Code:
Dec 23 13:21:16 host1 systemd[1]: Started PVE LXC Container: 303.
Dec 23 13:21:16 host1 audit[10855]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="nvidia_modprobe" pid=10855 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10855]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="nvidia_modprobe//kmod" pid=10855 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10859]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="/usr/bin/man" pid=10859 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10859]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="man_filter" pid=10859 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10859]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="man_groff" pid=10859 comm="apparmor_parser"
Dec 23 13:21:16 host1 kernel: audit: type=1400 audit(1671798076.851:23): apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="nvidia_modprobe" pid=10855 comm="apparmor_parser"
Dec 23 13:21:16 host1 kernel: audit: type=1400 audit(1671798076.851:24): apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="nvidia_modprobe//kmod" pid=10855 comm="apparmor_parser"
Dec 23 13:21:16 host1 kernel: audit: type=1400 audit(1671798076.851:25): apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="/usr/bin/man" pid=10859 comm="apparmor_parser"
Dec 23 13:21:16 host1 kernel: audit: type=1400 audit(1671798076.851:26): apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="man_filter" pid=10859 comm="apparmor_parser"
Dec 23 13:21:16 host1 kernel: audit: type=1400 audit(1671798076.851:27): apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="man_groff" pid=10859 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10897]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="tcpdump" pid=10897 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10851]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="lsb_release" pid=10851 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10856]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="/usr/lib/NetworkManager/nm-dhcp-client.action" pid=10856 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10856]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="/usr/lib/NetworkManager/nm-dhcp-helper" pid=10856 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10856]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="/usr/lib/connman/scripts/dhclient-script" pid=10856 comm="apparmor_parser"
Dec 23 13:21:16 host1 audit[10856]: AVC apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="/{,usr/}sbin/dhclient" pid=10856 comm="apparmor_parser"
Dec 23 13:21:16 host1 kernel: audit: type=1400 audit(1671798076.859:28): apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="tcpdump" pid=10897 comm="apparmor_parser"
Dec 23 13:21:16 host1 kernel: audit: type=1400 audit(1671798076.859:29): apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="lsb_release" pid=10851 comm="apparmor_parser"
Dec 23 13:21:16 host1 kernel: audit: type=1400 audit(1671798076.859:30): apparmor="STATUS" operation="profile_load" label="lxc-301_</var/lib/lxc>//&:lxc-301_<-var-lib-lxc>:unconfined" name="/usr/lib/NetworkManager/nm-dhcp-client.action" pid=10856 comm="apparmor_parser"Docker funktioniert wieder nicht, er kann Docker nicht initialisieren.
und docker ist woher installiert? docker.io paket von ubuntu 22.04?
das folgende funktioniert bei mir ohne probleme (aktuelles PVE, kernel 5.15.83-1):
- ubuntu 22.04 container anlegen, standard template von proxmox, rootfs auf zfs
- container starten
- docker.io paket installieren
- docker run hello-world
- docker run -it ubuntu bash
ausser der ZFS overlay meldung im journal keine warnings, nur normale apparmor meldungen. mit und ohne keyctl=1 im container. container reboot auch kein problem.
bitte nachstellen und stelle an ders hakt inklusive output & host journalctl vom zeitraum davor posten. ich vermute du/ihr habt irgendwelche anderen anpassungen vorgenommen die jetzt aus welchem grund auch immer nicht mehr funktionieren. wenn der letzte reboot schon laenger her ist, kann der fehler auch nicht in den aktuellen updates sondern schon davor zu suchen sein (welche kernel version war den vorher gebootet als es noch ging? journalctl --list-boots und dann "journalctl -b -X" sollte auskunft geben, /var/log/apt/history.log* sollte auskunft geben was im fraglichen zeitraum sonst noch aktualisiert worden ist..)
das folgende funktioniert bei mir ohne probleme (aktuelles PVE, kernel 5.15.83-1):
- ubuntu 22.04 container anlegen, standard template von proxmox, rootfs auf zfs
- container starten
- docker.io paket installieren
- docker run hello-world
- docker run -it ubuntu bash
ausser der ZFS overlay meldung im journal keine warnings, nur normale apparmor meldungen. mit und ohne keyctl=1 im container. container reboot auch kein problem.
bitte nachstellen und stelle an ders hakt inklusive output & host journalctl vom zeitraum davor posten. ich vermute du/ihr habt irgendwelche anderen anpassungen vorgenommen die jetzt aus welchem grund auch immer nicht mehr funktionieren. wenn der letzte reboot schon laenger her ist, kann der fehler auch nicht in den aktuellen updates sondern schon davor zu suchen sein (welche kernel version war den vorher gebootet als es noch ging? journalctl --list-boots und dann "journalctl -b -X" sollte auskunft geben, /var/log/apt/history.log* sollte auskunft geben was im fraglichen zeitraum sonst noch aktualisiert worden ist..)
sh. auch englisches forum: https://forum.proxmox.com/threads/t...really-messed-up-my-boxes.119933/#post-520896
arbeitshypothese: kombi aus ZFS+neuerdings teilweise overlay support ist die ursache
welchen storage driver verwendet ihr? overlay (default) scheint weder mit altem kernel gar nicht, mit neuem nur teilweise zu gehen. vfs scheint mit beidem problemlos zu gehen.
arbeitshypothese: kombi aus ZFS+neuerdings teilweise overlay support ist die ursache
welchen storage driver verwendet ihr? overlay (default) scheint weder mit altem kernel gar nicht, mit neuem nur teilweise zu gehen. vfs scheint mit beidem problemlos zu gehen.
Also bei mir würde ein Neuerstellen gehen, aber alle Container wo aktuell Docker installiert wäre, in denen geht nichts mehr was Docker betrifft. die Daten sind aber da. Anscheinend wird da etwas migriert im Zuge des Updates was nachher nicht mehr geht.
HIer mal der Auszug aus dem history.log:
Code:
Start-Date: 2022-12-02 10:43:48
Commandline: apt-get upgrade -y
Upgrade: login:amd64 (1:4.8.1-2ubuntu2, 1:4.8.1-2ubuntu2.1), passwd:amd64 (1:4.8.1-2ubuntu2, 1:4.8.1-2ubuntu2.1)
End-Date: 2022-12-02 10:43:48
Start-Date: 2022-12-07 07:14:27
Commandline: apt-get upgrade -y
Upgrade: containerd.io:amd64 (1.6.10-1, 1.6.11-1), libbpf0:amd64 (1:0.5.0-1, 1:0.5.0-1ubuntu22.04.1), libxml2:amd64 (2.9.13+dfsg-1ubuntu0.1, 2.9.13+dfsg-1ubuntu0.2), libglib2.0-data:amd64 (2.72.1-1, 2.72.4-0ubuntu1), ca-certificates:amd64 (20211016, 20211016ubuntu0.22.04.1), libglib2.0-0:amd64 (2.72.1-1, 2.72.4-0ubuntu1), ubuntu-advantage-tools:amd64 (27.11.3~22.04.1, 27.12~22.04.1)
End-Date: 2022-12-07 07:14:37
Start-Date: 2022-12-14 21:00:28
Commandline: apt-get upgrade -y
Upgrade: containerd.io:amd64 (1.6.11-1, 1.6.12-1), python3.10:amd64 (3.10.6-1~22.04.1, 3.10.6-1~22.04.2), python3-distupgrade:amd64 (1:22.04.14, 1:22.04.15), tzdata:amd64 (2022f-0ubuntu0.22.04.1, 2022g-0ubuntu0.22.04.1), libpython3.10-minimal:amd64 (3.10.6-1~22.04.1, 3.10.6-1~22.04.2), libpython3.10-stdlib:amd64 (3.10.6-1~22.04.1, 3.10.6-1~22.04.2), python3.10-minimal:amd64 (3.10.6-1~22.04.1, 3.10.6-1~22.04.2), ubuntu-release-upgrader-core:amd64 (1:22.04.14, 1:22.04.15)
End-Date: 2022-12-14 21:00:37
Start-Date: 2022-12-17 18:25:11
Commandline: apt-get upgrade -y
Upgrade: containerd.io:amd64 (1.6.12-1, 1.6.13-1), docker-ce-cli:amd64 (5:20.10.21~3-0~ubuntu-focal, 5:20.10.22~3-0~ubuntu-focal), docker-ce:amd64 (5:20.10.21~3-0~ubuntu-focal, 5:20.10.22~3-0~ubuntu-focal), docker-ce-rootless-extras:amd64 (5:20.10.21~3-0~ubuntu-focal, 5:20.10.22~3-0~ubuntu-focal), docker-scan-plugin:amd64 (0.21.0~ubuntu-focal, 0.23.0~ubuntu-focal)
End-Date: 2022-12-17 18:25:39
Start-Date: 2022-12-20 16:42:36
Commandline: apt-get upgrade -y
Upgrade: containerd.io:amd64 (1.6.13-1, 1.6.14-1)
End-Date: 2022-12-20 16:42:43
Start-Date: 2022-12-23 12:32:10
Commandline: apt install docker
Install: wmdocker:amd64 (1.5-2, automatic), docker:amd64 (1.5-2)
End-Date: 2022-12-23 12:32:10
Start-Date: 2022-12-23 12:32:46
Commandline: apt-get remove docker docker-engine docker.io containerd runc
Remove: docker:amd64 (1.5-2)
End-Date: 2022-12-23 12:32:46
Start-Date: 2022-12-23 12:33:43
Commandline: apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin
Install: docker-compose-plugin:amd64 (2.14.1~ubuntu-jammy)
Upgrade: containerd.io:amd64 (1.6.14-1, 1.6.14-1), docker-ce-cli:amd64 (5:20.10.22~3-0~ubuntu-focal, 5:20.10.22~3-0~ubuntu-jammy), docker-ce:amd64 (5:20.10.22~3-0~ubuntu-focal, 5:20.10.22~3-0~ubuntu-jammy)
End-Date: 2022-12-23 12:33:57Die Kernelversion vorher war die 5.15.74-1-pve gewesen
Ok spannend, also meine VMs liegen auf einem ZFS System (Redundant NVMEs), das stimmt, mein Host selbst ist eine Single Platte mit einer SSD und ext4.
Wie finde ich den Storage driver raus und welches Overlay verwendet wird? Bin da leider nicht so bewandert :/
Update: Ok, ich dürfte vfs verwenden, da ich nur diesen Ordner habe und kein Overlay Ordner
Last edited:
sollte mit docker-info angezeigt werden - sieh auch was @fabian im englischsprachigen Thread gepostet hat (sonst muss alles immer doppelt beantwortet werden und wir kommen nicht weiter)
Ja bin gerade am Durchlesen, Info gibt folgendes aus:
Code:
root@Portainer:~# docker info
Client:
Context: default
Debug Mode: false
Plugins:
app: Docker App (Docker Inc., v0.9.1-beta3)
buildx: Docker Buildx (Docker Inc., v0.9.1-docker)
scan: Docker Scan (Docker Inc., v0.23.0)
Server:
Containers: 20
Running: 20
Paused: 0
Stopped: 0
Images: 20
Server Version: 20.10.22
Storage Driver: vfs
Logging Driver: json-file
Cgroup Driver: systemd
Cgroup Version: 2
Plugins:
Volume: local
Network: bridge host ipvlan macvlan null overlay
Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog
Swarm: inactive
Runtimes: io.containerd.runc.v2 io.containerd.runtime.v1.linux runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 9ba4b250366a5ddde94bb7c9d1def331423aa323
runc version: v1.1.4-0-g5fd4c4d
init version: de40ad0
Security Options:
apparmor
seccomp
Profile: default
cgroupns
Kernel Version: 5.15.74-1-pve
Operating System: Ubuntu 22.04.1 LTS
OSType: linux
Architecture: x86_64
CPUs: 4
Total Memory: 3GiB
Name: Portainer
ID: AFDB:UU6R:LKZY:WPZA:3CX3:54UN:OUJU:3W4P:TTGG:4K45:TQPB:F5L3
Docker Root Dir: /var/lib/docker
Debug Mode: false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
127.0.0.0/8
Live Restore Enabled: falseBin aktuell wieder auf der vorhergehenden Kernel Version 5.15.74-1 , weil bei der neuen funktionierts leider nicht.
würde versuchen den storage driver manuell auf vfs zu stellen mit dem neuen kernel - da sollte es auch funktionieren (weil sonst nehme ich an, dass es auch mit allen neueren kernel nicht gehen wird).
Nur nochmal explizit - weil ich es jetzt in dem Thread nicht gelesen habe.
Docker innerhalb eines LXC containers zu installieren ist kein supportetes Setup - eben weil es in vielen Situationen zu solchen schwer zu findenden Problemen fuehrt.
Ich würde prinzipiell wirklich eher empfehlen, Docker innerhalb einer Qemu VM zu installieren, da es dort besser isoliert ist.
Docker innerhalb eines LXC containers zu installieren ist kein supportetes Setup - eben weil es in vielen Situationen zu solchen schwer zu findenden Problemen fuehrt.
Ich würde prinzipiell wirklich eher empfehlen, Docker innerhalb einer Qemu VM zu installieren, da es dort besser isoliert ist.
Ja das hat nun geholfen und nun funktionieren alle Docker LXCs wieder.
Folgendes braucht man nur eingeben:
Code:
sudo systemctl stop docker
Code:
nano /etc/docker/daemon.jsondort fügt man ein:
Code:
{
"storage-driver": "vfs"
}Danach
Code:
sudo systemctl start dockerund fertig.
Danke nochmal an eure Hilfe.
Und ja ich weiss man soll diese nicht in LXCs betreiben, werde wenn es meine Zeit mal zulässt alle in eine VM migrieren, das dürfte aber sehr viel Arbeit sein
die Ubuntu LXC habe ich mit Docker auch nicht mehr zum Laufen gebracht. Ich habe versuchsweise Docker neu im LXC installiert und konnte dann auch Portainer als Container installieren und starten, doch Docker hat die ganzen Images und Container in /var/lib/docker nicht gesehen, obwohl hier alles drin gelegen hat. Ich habe jetzt zwei VM erstellt und gebe das Thema LXC komplett auf. Verstehe ich nur nicht, warum offenbar niemand anders dieses Problem hat.
Vielen Dank für die Lösung - dachte auch erst, dass ich mal wieder etwas zerschossen hätte... Dann werde ich mal alles in meine Docker-VM´s packen. Guten Rutsch.Ja das hat nun geholfen und nun funktionieren alle Docker LXCs wieder.
Folgendes braucht man nur eingeben:
Code:sudo systemctl stop dockerCode:nano /etc/docker/daemon.json
dort fügt man ein:
Code:{ "storage-driver": "vfs" }
Danach
Code:sudo systemctl start docker
und fertig.
Danke nochmal an eure Hilfe.
Und ja ich weiss man soll diese nicht in LXCs betreiben, werde wenn es meine Zeit mal zulässt alle in eine VM migrieren, das dürfte aber sehr viel Arbeit sein
Liebe Kollegen, also so wie ich das sehe ist doch nun das eingetretenen was ich mir immer gewünscht hatte. LXC auf ZFS Dataset mit overlay2 Dateisystem Docker Instanz. Ich habe es auch schon soweit getestet und es funktioniert bisher sehr uneingeschränkt mit allen Applikationen.