[SOLVED] Migration von LVM-Thin auf ZFS verkrüppelt LXC Container

[Felix.]

Hi,

ich ziehe aktuell auf einen stärkeren Server um und ZFS (wenn es daran liegt?) macht es mir grade schwer.
Ich liste mal das bestehende System und das neue auf:

Altsystem:
2x 2TB SATA HDD (SoftRAID 1 durch mdadm)
32GB ECC RAM
LVM-Thin als Storage
Installation on-top auf Debian

Neues System:
2x 512GB NVMe SSD (ZFS mirror)
64GB ECC RAM
ZFS als Storage
Installation durch den Proxmox Installer

Ich habe auf dem Altsystem ein Backup durchlaufen lassen und diese auf dem neuen System wiederhergestellt, alles fast ohne Probleme.
Einer der LXC Container haute massenhaft "Permission denied" Fehler raus und brach den Import ab. Wenn ich den Container als priviligierten Container importiere, klappt es - allerdings war der Container vorher unpriviligiert und diesen Zustand hätte ich gerne beibehalten.

Die Container und VMs fahren alle brav hoch nach dem Import.
Innerhalb der VMs funktioniert fast alles. In einer VM wo Docker drin betrieben wird, mounted ein Dateisystem plötzlich nicht mehr - jedoch ist auf diese VM verzichtbar.

Die meisten LXC Container starten ihre Dienste nicht mehr richtig. Die starten zwar "scheinbar", binden sich allerdings an keinen Port mehr.
Es ist nirgends mehr möglich irgendein Dienst ans Netzwerk zu bekommen - ich meine damit nicht mal von außerhalb, sondern selbst innerhalb des Containers.

Was ist da los?
Gibt es irgendwelche speziellen Logs die ich bereitstellen könnte zur Problemsuche?

Vielleicht ist ja ZFS auch der falsche Verdächtige... ich bin mir nicht sicher.
Jedenfalls ist das ein ziemlich mieser Zustand - ich werde mal zum Vergleich testen, ob ein frisch erzeugter Container die gleichen Problematiken aufweist.

Ich bin für jede Hilfe dankbar!

LG
Felix

PS: @fireon Vielleicht fällt dir was dazu ein? Wie ich das mitbekommen habe, fährst du ja schon eine ganze Weile mit ZFS.

 

[Felix.]

Erstes Update dazu:

Ein frisch erzeugter LXC Container mit gleichem Software Setup läuft wie geschmiert - auch unpriviligiert.
Ich bin aber ehrlich gesagt nicht unbedingt scharf drauf, alle Container neu zu bauen und die Daten zu migrieren...

EDIT: Das Problem mit dem Backup/Restore Verfahren als unpriviligierter Container bleibt bestehen, jedoch starten alle Dienste wie gewohnt, wenn ich den Restore als priviligierten Container zulasse.

 

[Stoiko Ivanov]

bitte mal die container config vom alten system posten - und auch jene im neuen nach dem restore.
(`pct config <VMID>`)

 

[Felix.]

Altes System:

arch: amd64

cores: 4

hostname: Nextcloud

memory: 4096

mp0: bravo-data:vm-102-disk-3,mp=/nextcloud,backup=1,size=128G

nameserver: ***********

net0: name=eth0,bridge=vmbr1,hwaddr=***********,ip=dhcp,type=veth

ostype: debian

rootfs: bravo-data:vm-102-disk-0,size=8G

searchdomain: ***********

swap: 0

unprivileged: 1

Neues System:

arch: amd64

cores: 4

hostname: Nextcloud

memory: 4096

mp0: local-zfs:subvol-102-disk-1,mp=/nextcloud,backup=1,size=128G

nameserver: ***********

net0: name=eth0,bridge=vmbr1,hwaddr=***********,ip=dhcp,type=veth

ostype: debian

rootfs: local-zfs:subvol-102-disk-0,size=8G

searchdomain: ***********

swap: 0

unprivileged: 1

Die entfernten Werte sind ebenfalls identisch.

Dieser Container hat den Restore fehlerfrei bestanden, jedoch starten die Dienste nicht mehr ordentlich bzw. sind absolut nicht ansprechbar, nicht mal lokal.

 

[LnxBil]

Dieser Container hat den Restore fehlerfrei bestanden, jedoch starten die Dienste nicht mehr ordentlich bzw. sind absolut nicht ansprechbar, nicht mal lokal.

Was sagen denn die Logs im Gast dazu?

Hast du ein Versionupgrade von PVE durchgeführt (also Altsystem älter das neue System)?

 

[Felix.]

Das Altsystem lief auf PVE 6.0.3. Vor ca. 2 Wochen lief das Upgrade von 5.x auf 6 durch.
Im neuen System läuft PVE 6.0.4 direkt.

Die Logs reiche ich noch nach, wenn sich was "interessantes" findet. Hast du da einen speziellen Log im Sinn?
Webserver und co. äußern sich leider nicht nennenswert dazu, das ist das merkwürdige.

Ich habe allerdings einen neuen möglichen Zusammenhang gefunden.
Ein paar andere Container sind absolut unbeschadet, wie ich nun festgestellt habe. Am Ende sind lediglich 2 Container beschädigt: Die einzigen beiden, die zusätzliche Mountpoints zugewiesen bekamen.
Kann das zusammenhängen oder ist das einfach Zufall? Denn ansonsten unterscheiden sich die beiden Container recht stark. (Anderes OS, etc etc.)

 

[Stoiko Ivanov]

Hm - vl. mal die problematischen container im foreground mit debug logging starten und nach fehlern ausschau halten: https://pve.proxmox.com/pve-docs/chapter-pct.html#_obtaining_debugging_logs

ansonsten noch im `journalctl` auf dem host nach problemen um den Zeitpunkt des container-starts schauen (ebenso im `dmesg`)

 

[Felix.]

Ich konnte das Kernproblem grade auf einen absolut bescheuerten Fehler zurückverfolgen.
Die beiden Container waren zusätzlich die einzigen beiden die mit einer bestimmten Datenbank gesprochen haben.
Diese war von außen nur begrenzt ansprechbar, aufgrund leicht verpfuschter Netzwerkkonfiguration... ist immer so eine Spielerei bei Hetzner.
Gleich zwei Fliegen mit einer Klappe erwischt... ^^

Also die beiden Container verhalten sich nun wieder wie gewohnt.
Dann geht die Migration LVM -> ZFS wohl doch reibungslos, größtenteils.

Das Problem mit dem Import als unpriviligiertem Container bleibt jedoch bestehen - unter LVM ging das.
Jedoch beschränkt sich dieses Problem auf bestimmte Container - mit AlpineLinux und ggf. Derivate.
Debian Container importieren reibungslos und der Alpine Container läuft auch perfekt nach dem Import als priviliged Container.

 

[Stoiko Ivanov]

Die beiden Container waren zusätzlich die einzigen beiden die mit einer bestimmten Datenbank gesprochen haben.
Diese war von außen nur begrenzt ansprechbar, aufgrund leicht verpfuschter Netzwerkkonfiguration... ist immer so eine Spielerei bei Hetzner.
Gleich zwei Fliegen mit einer Klappe erwischt... ^^

Freut zu hören, dass das Problem identifiziert wurde!

Das Problem mit dem Import als unpriviligiertem Container bleibt jedoch bestehen - unter LVM ging das.
Jedoch beschränkt sich dieses Problem auf bestimmte Container - mit AlpineLinux und ggf. Derivate.
Debian Container importieren reibungslos und der Alpine Container läuft auch perfekt nach dem Import als priviliged Container.

Hier wären ebenfalls die container-configs und etwaige Fehlermeldungen im journal/dmesg (und im log des containers) interessant.