Gemeinsames Volume für LXC/VM

[Wikinger85]

Hallo zusammen,

ich zerbreche mir jetzt seit mehreren Monden bereits den Kopf und komme irgendwie nicht zu Potte.

Folgendes Szenario: Ich möchte gern ein DMS (Papermerge=PM/Paperless-NGX=PL) für meine Unterlagen (bereits 15 Papierordner eingescannt) nutzen und dies gern genau wie die Daten auf dem Fileserver auf der selben HDD ablegen und via Samba in Windows erreichbar machen. Für den Fileserver nutze ich eine VM mit OMV. Ich hatte früher den Turnkey Fileserver, aber zumindest von der Übersichtlichkeit finde ich OMV besser. Gerne lasse ich mich aber eines besseren belehren bzw. Alternativen vorschlagen. Auch funktioniert es mit Rsync so schön auf das Synologic im anderen Gebäude.



Problem: Man kann in der VM ja via Portainer z.b. PM/PL auch laufen lassen, eigenartigerweise habe ich massive Performanceunterschiede im Vergleich zu einem CT. Ich kann es mir nicht erklären, aber allein der OCR Prozess ist im Vergleich zum CT (1-2min) bei der VM (5-10min) falls er denn überhaupt funktioniert. Und wir reden hier nur von einer PDF. Verwendet habe ich jeweils das selbe docker image aber auch verschiedene Varianten davon. Im CT z.B. funktionieren gewisse autmatisierte Prozesse sehr gut und schnell, in der VM garnicht oder erst nach ewiger Zeit.

Meine Frage, kann man das eigentlich ohne weiteres machen? Ich habe es versucht mit einem NFS, aber entweder bin ich zu blöd dies im CT/Portainer korrekt zu hinterlegen oder es geht nicht. Ich habe eine NFS Freigabe in OMV erstellt, mit der entsprechenden IP vom Container. im Container habe ich dann als Adresse die IP vom OMV verwendet. Irgendwie wollte das aber nicht gelingen. Ich hatte gelesen, dass man ein in der VM gemountete HDD nicht in einen CT gemountet werden kann oder soll. Ich weiss aber nicht ob dies wirklich so ist, da man ja viel drüber lesen kann.

Ich wäre euch wirklich dankbar, wenn jemand einen "Hooby-Proxologen" auf die Beine helfen kann.

Cheers

 

[Dunuin]

Meine Frage, kann man das eigentlich ohne weiteres machen? Ich habe es versucht mit einem NFS, aber entweder bin ich zu blöd dies im CT/Portainer korrekt zu hinterlegen oder es geht nicht. Ich habe eine NFS Freigabe in OMV erstellt, mit der entsprechenden IP vom Container. im Container habe ich dann als Adresse die IP vom OMV verwendet. Irgendwie wollte das aber nicht gelingen. Ich hatte gelesen, dass man ein in der VM gemountete HDD nicht in einen CT gemountet werden kann oder soll. Ich weiss aber nicht ob dies wirklich so ist, da man ja viel drüber lesen kann.

NFS/SMB Shares kann man nur in privilegierten LXCs mounten und die sollte man zu mindestens nicht nehmen, wenn dein Paperless auch online erreichbar sein soll (weil unsicherer da der LXC dann als Root läuft und es kein User-Remapping gibt). Und bei privilegierten LXCs geht das auch nur, wenn man vorher das entsprechende CIFS/NFS Feature in den LXC Optionen aktiviert. Workaround für unprivilegierte LXCs wäre, dass man die NFS/SMB Shares auf dem PVE Host mountet und diesen Mountpoint dann per Bind-Mount in den LXC bringt. Dann erneut einen Bind-Mount um den Ordner vom LXC in den Docker-Container zu bekommen.

 

[Matthias.]

Im CT z.B. funktionieren gewisse autmatisierte Prozesse sehr gut und schnell, in der VM garnicht oder erst nach ewiger Zeit.

Falls die VM allgemein langsam wirkt, könnte das auch ein Indiz für eine suboptimale Konfiguration sein.
Wie schaut die VM config aus? (output von qm config VMID, zb qm config 100)

 

[Wikinger85]

Falls die VM allgemein langsam wirkt, könnte das auch ein Indiz für eine suboptimale Konfiguration sein.
Wie schaut die VM config aus? (output von qm config VMID, zb qm config 100)

Hallo zusammen.

Generell habe ich das Gefühl, dass es im allgemeinen keine Probleme gibt, was Kopiergeschwindkeit etc angeht. Wobei ich dazu sagen muss, ich versuche VMs und CT alles mehr oder weniger eigenständig laufen zu lassen, dies aber als Resultat, weil es in meinen Augen Sinn macht ohne dass es vlt wirklich so ist. Ich habe nur "WatchYourLan" und Heimdall in einem CT. PiHole und Nextcloud beide eigenständig und alle unpriviliert. Als VM jeweils eine für Plex und eine für den Fileserver.

Hier aber der output.

root@Proxmox:~# qm config 101 boot: order=scsi0;ide2;net0 cores: 4 ide2: none,media=cdrom kvm: 0 memory: 8192 meta: creation-qemu=6.2.0,ctime=1660645182 name: Fileserver net0: virtio=8A:20:00:F7:78:69,bridge=vmbr0,firewall=1 numa: 0 onboot: 1 ostype: l26 parent: Install protection: 1 scsi0: local-lvm:vm-101-disk-0,size=32G scsi1: /dev/disk/by-id/ata-ST4000VN008-2DR166_ZGY806HV,backup=0,size=3907018584K scsihw: virtio-scsi-pci smbios1: uuid=d4bf19ef-f9f0-4150-a2ab-5cc3cb2e1a90 sockets: 1 vmgenid: 2d24e650-305c-4ac3-ad9a-eb4b8bd43119

Vielen Dank für eure Hilfe.

 

[Neobin]

kvm: 0

Grund dafür?

kvm: <boolean> (default = 1)
Enable/disable KVM hardware virtualization.

https://pve.proxmox.com/pve-docs/chapter-qm.html

 

[Wikinger85]

Hallo Neobin,

wenn ich es aktiviere, wie ich es schon öfters gelesen habe, bekomme ich eben folgende Fehlermeldung:

TASK ERROR: KVM virtualisation configured, but not available. Either disable in VM configuration or enable in BIOS.

Ich hatte auch mal im Bios geschaut, aber konnte nix finden, oder nicht unter diesem Namen.

 

[Matthias.]

Du musst im BIOS die hardware virtualisierung einschaltet. Die Einstellung kann unterschiedlich heißen, im internet gibt es einige tutorials dazu wenn du nach BIOS hardware virtualization suchst.

 

[Wikinger85]

Sehe aber gerade, dass beim Systemstart von der VM folgende Meldung kommt... was auch nicht normal scheint.



Leider wird dann das gemountete NFS in Proxmox heute als nicht aktiv angezeigt und daher kommt wohl gerade auch die Fehlermeldung, dass der CT nicht gestartet werden kann...hachja...nerv.. Kann ja nicht normal sein, dass sobald ich die VM neustarte von der das NFS kommt, dass danach Proxmox dies nicht mehr erkennt.

Was wäre denn jetzt das beste was ich versuchen sollte?

- Schauen ob ich KVM im Bios anstellen kann - geht das in jedem Bios oder auch dort nur mit Einschränkungen?
- OMV neu aufsetzen und vlt. damit das Performance Problem beseitigen?

 

[Dunuin]

- OMV neu aufsetzen und vlt. damit das Performance Problem beseitigen?

Das Problem wird schon das "kvm: 0" sein. Schaltet man die Hardware Virtualisierung ab, oder nutzt man eine CPU/Mainboard die das nicht unterstützt, dann sind alle VMs halt einfach quasi unnutzbar langsam.

Was wäre denn jetzt das beste was ich versuchen sollte?

- Schauen ob ich KVM im Bios anstellen kann - geht das in jedem Bios oder auch dort nur mit Einschränkungen?

Ja, das wäre dein nächster Schritt. Garantieren kann dir das wohl keiner und 99% der Computer-Nutzer ist das auch völlig egal, da sie das Feature eh nicht nutzen. Aber eigentlich find ich früher oder später schon immer VT-d/VT-x/SVM/AMD-V/... irgendwo versteckt im BIOS/UEFI.

 

[Neobin]

Ansonsten einfach mal die exakte Modellbezeichnung des Mainboards und Prozessors hier posten.

Sehe aber gerade, dass beim Systemstart von der VM folgende Meldung kommt... was auch nicht normal scheint.

Ist das die von dir oben erwähnte "Fileserver"-VM? Und sdb ist vermutlich?:

scsi1: /dev/disk/by-id/ata-ST4000VN008-2DR166_ZGY806HV,backup=0,size=3907018584K

Ich hoffe, du hast diese Platte nicht noch anderweitig gemountet/durchgereicht/in Benutzung jeglicher Art!?!

 

[Wikinger85]

Hallo Neobin,

der Prozessor ist ein AMD Athlon 300G. Das Mainboard Asus Prime A320M-A.

Die Festplatte war zu diesem Zeitpunkt nur für die VM durchgereicht. Also im Storage in Proxmox als Verzeichnis hinzugefügt und dann mit

qm set 101 -scsi1 /dev/disk/by-id/ata-ST4000VN008-2DR166_ZGY806HV gemounted. Allerdings ist sie im Knoten Proxmox ersichtlich....





Im OMV ist die 4TB-HDD sda...



sdb ist

Hatte gestern dann nur versucht, entsprechend des Workarounds von Dunuin einen NFS Share in Proxmox zu mounten und dann diesen in den CT zubringen. Was teilweise auch geklappt hatte, nur nach dem OMV neustart, ist wie oben ersichtlich, NFSArchiv nicht mehr erreichbar. (Die 3 anderen inaktiven NFS sind NAS welche nur nach Zeitplan starten).

Ich hoffe ich konnte es irgendwie verständlich erklären. Sorry, für mein rudimentäres Wissen.

Ich bin wirklich dankbar für eure Zeit und Unterstützung zur Lösung meines Problems.

 

[Dunuin]

Die Festplatte war zu diesem Zeitpunkt nur für die VM durchgereicht. Also im Storage in Proxmox als Verzeichnis hinzugefügt und dann mit

qm set 101 -scsi1 /dev/disk/by-id/ata-ST4000VN008-2DR166_ZGY806HV gemounted. Allerdings ist sie im Knoten Proxmox ersichtlich....

Wenn die Platte gleichzeitig in PVE als Verzeichnis eingebunden ist und in die VM durchgereicht, dann ist die Platte in 2 Betriebssystemen gleichzeitig gemountet, was die Daten kaputt macht.

 

[Wikinger85]

Also muss ich es in dem Fall, als Verzeichnis entfernen und nur direkt mit dem obigen Befehl gemountet lassen? Könnte dies zu den Performance Problemen geführt haben oder ist das wieder eine andere Baustelle?

 

[Neobin]

der Prozessor ist ein AMD Athlon 300G. Das Mainboard Asus Prime A320M-A.

https://www.asus.com/support/FAQ/1038245

Die Festplatte war zu diesem Zeitpunkt nur für die VM durchgereicht. Also im Storage in Proxmox als Verzeichnis hinzugefügt und dann mit

qm set 101 -scsi1 /dev/disk/by-id/ata-ST4000VN008-2DR166_ZGY806HV gemounted. Allerdings ist sie im Knoten Proxmox ersichtlich....

Wenn du sie auf diese Weise an eine VM durchreichst, sollte sie nirgendwo anders in Benutzung sein; auch nicht im PVE selbst. Ansonsten korrumpierst du dir damit früher oder später dein Dateisystem.

Was teilweise auch geklappt hatte, nur nach dem OMV neustart, ist wie oben ersichtlich, NFSArchiv nicht mehr erreichbar.

Dazu müsste jemand anderes was zu sagen, da ich kein NFS benutze. Was ich wohl schon öfter gelesen habe, dass NFS beim Verlust der Verbindung zum Server und dem damit notwendigen Re-mounten bzw. Verbindung wiederherstellen des/zum Share(s) zickig sein kann?

 

[Dunuin]

Könnte dies zu den Performance Problemen geführt haben oder ist das wieder eine andere Baustelle?

Ja, du scheinst dir ja schon zum Teil Daten zerschossen zu haben (siehe die ext4 Fehler oben im Screenshot). Dateisystem-Fehler können auch alles langsam machen, wenn da die CPU dann z.B. dinge von der disk laden muss, das aber vergeblich versucht, weil die Daten beschädigt wird.
Die fehlende Hardware Virtualisierung wird aber auch einen Einfluss haben. Du hast da also schon zwei Baustellen.
Ich würde die Festplatte nochmal formatieren und mit einem frischen unbeschädigten Dateisystem anfangen. fsck könntest du auch mal drüberlaufen lassen.

 

[Wikinger85]

Also heisst das heute OMV/VM. Backups der Daten habe ich gemacht, dass ist alles kein Problem und wenn es nur das ist, werde ich es direkt mal machen. Wäre natürlich ein Traum, wenn ich dann Papermerge performant in der VM laufen lassen könnte. Ich danke euch soweit schon einmal. Sollte mir noch was einfallen, dann melde ich mich. Sollte euch noch etwas einfallen, was ich unbedingt berücksichtigen muss, immer her mit dem Input, bin ich nicht böse drum

 

[Dunuin]

Wie du Hardware Virtualization im UEFI aktivierst hat Neobin ja schon oben verlinkt:
https://www.asus.com/support/FAQ/1038245

Wäre also eine Sache von wenigen Minuten das im UEFI umzustellen sowie das wieder in den VM Optionen zu aktivieren.

 

[Wikinger85]

Hallo zusammen,

ich wollte nur mal ein vorsichtiges Update geben. Es scheint daran gelegen zu haben mit den beiden Systemen und das die HDD dadurch nicht mehr klar kam. Hatte auch noch eine Fehlermeldung in den Logs welche ich aber unter anderem mit formatieren und neu partionieren behoben habe. Muss ich mal beobachten ob diese wieder auftaucht. OMV selbst läuft jetzt aber schon extrem schneller und auch Paperless ist jetzt sehr schell und flüssig.

Ich lasse den Beitrag erstmal noch offen um ggf. auf den Fehler noch einmal zurück zukommen, aber soweit klappt das alles, auch dass ich per Samba auf das Volume von Paperless zurückgreifen kann. Ich bin begeistert.

Ich danke euch allen.

Top