[SOLVED] Mehr Storage wird belegt als genutzt wird?

[HansPeter12]

Hallo Community,

ich bin leider ein wenig irritiert. Alle meine VM´s und Container liegen auf einer SSD.(Ich benutze RAW für die Images, SSD ist als normales dir eingebunden)
Als beispiel verwende ich einmal meine nextcloud VM(134): Hier habe ich einen Speicherbedarf von 3.53GIB.

Alles schön und gut, aber wenn ich in die Shell gehe und mir das dort ansehe werden mir ganz andere Größen angezeigt.

mache ich nur einen dummen Fehler oder warum sind die Unterschiede so riesig.

 

[Stefan_R]

Ist für die Disk "Discard" aktiviert und wird Discard/TRIM vom Gastsystem unterstützt? Das sollte normal dafür sorgen, dass die Disk size wieder kleiner wird.

 

[HansPeter12]

Bei dem System handelt es sich um einen Container, leider kann ich die funktion "Discard" nur bei VM´s finden.

 

[Stefan_R]

Dann sollte es theoretisch genügen fstrim -v -a im container auszuführen, bin mir aber nicht 100% sicher ob das dann tatsächlich auf das image am host propagiert.

Im besten Fall am Host statt als directory storage als ZFS einbinden, dort werden thin-provisioned container nativ voll unterstützt.

 

[HansPeter12]

Beim Ausführen des Commands, kommt leider dieser Error "fstrim: /: FITRIM ioctl failed: Operation not permitted"

wenn ich nun zfs verwenden möchte,
macht es dann thin-provisioning voll automatisch? und
welche unterschiede habe ich dann zwischen Raw und qcow2

 

[Stefan_R]

Beim Ausführen des Commands, kommt leider dieser Error "fstrim: /: FITRIM ioctl failed: Operation not permitted"

Hm, wird dann nur in privilegierten containern funktionieren, wenn überhaupt.

wenn ich nun zfs verwenden möchte,
macht es dann thin-provisioning voll automatisch?

Wenn man es in den storage-einstellungen aktiviert, dann ja.

welche unterschiede habe ich dann zwischen Raw und qcow2

Bei container gar keinen, weil qcow2 nur bei VMs unterstützt wird Bei VMs ermöglicht es snapshots.

 

[HansPeter12]

Okay, was ist dann empfehlenswert?
Bei VM´s cqow2
und bei Containern RAW ? oder acuh qcow2

In einem privilegierten Container hat dein Command etwas gebracht, danke!
Jetzt habe ich mich an ZFS gewagt und schonwieder ein neues Problem gefunden.
wenn ich shared ZFS mache kann ich nur disk images darauf machen, leider keine container. Gehts das einfach nicht oder muss ich etwas beachten?(Habe ZFS over ISCSI genutzt, gibt es noch andere möglichkeiten?)

 

[Stefan_R]

ZFS over iSCSI kann nur VMs, das ist richtig. iSCSI kann ja nur block devices übertragen, keine ZFS filesystem volumes. Container gehen nur bei ZFS direkt auf angeschlossenen disks.

Okay, was ist dann empfehlenswert?
Bei VM´s cqow2
und bei Containern RAW ? oder acuh qcow2

Wie gesagt, qcow2 ist nur für VMs verfügbar. Container entweder raw (auf allerhand backing stores) oder eben lokale ZFS volumes.

 

[LnxBil]

ZFS over iSCSI kann nur VMs, das ist richtig.

Da bräuchten wir endlich ZFS-over-NFS, was ich mir seit Jahren wünsche, aber bisher noch keiner verstanden hat was ich damit will :-/

 

[HansPeter12]

Tja also was mach ich jetzt?
ZFS ist ja schön und gut, shared , thin-provisioning, snapshots.
Aber wenn es keine Container unterstützt, bringt es mir dann leider auch nichts?

Hat jemand eine Idee was ich sonst noch machen kann ?
Vielleicht kann ich ein lokales ZFS Verzeichnis über beispielsweise Samba sharen und dann benutzen. Oder verliere ich dann irgendwelche Funktionen?

 

[LnxBil]

ZFS ist ja schön und gut, shared , thin-provisioning, snapshots.

Es ist nicht shared, Rest stimmt aber.

Aber wenn es keine Container unterstützt, bringt es mir dann leider auch nichts?

Kann es, man muss es halt richtig benutzen. Was hast du denn alles gemacht, damit es eben nicht richtig benutzt?

Ich benutze RAW für die Images, SSD ist als normales dir eingebunden

Das ist schonmal nicht richtig, falls auf der SSD ein ZFS läuft.

 

[HansPeter12]

Es ist nicht shared, Rest stimmt aber.

ZFS over ISCSI meine ich natürlich

Kann es, man muss es halt richtig benutzen. Was hast du denn alles gemacht, damit es eben nicht richtig benutzt?

Ob local ZFS Container unterstützt weiß ich leider nicht, aber ZFS over ISCSI kann das meines Wissens nicht.

Das ist schonmal nicht richtig, falls auf der SSD ein ZFS läuft.

Nein auf der SSD läuft kein ZFS, sie ist einfach als Directory eingebunden.

 

[LnxBil]

ZFS over ISCSI meine ich natürlich

Okay, hatte die Info beim drüberlesen nicht mehr gefunden, sorry.

Ja, bei Containern hast du leider Pech mit ZFS-over-iSCSI. Im Clusterumfeld habe ich Container auch immer gemieden, denn ohne Live-Migration und Dateisupport macht das alles keinen Spaß. Um aber dennoch Container zu haben, ist ein Knoten im Cluster mit vielen lokalen SSDs ausgestattet für ZFS, sodass ich lokal auf dem Knoten Container laufen lassen kann.

Alternativ dazu kannst du natürlich eine CaaS-Platform innerhalb von VMs aufbauen, die die IaaS von PVE nur als Basis verwenden.

 

[HansPeter12]

Danke für deine Hilfe!

Eine Frage hätte ich immer noch, kann ich ein lokales ZFS Verzeichnis über beispielsweise Samba sharen und dann benutzen? Oder verliere ich dann irgendwelche Funktionen?

 

[LnxBil]

Eine Frage hätte ich immer noch, kann ich ein lokales ZFS Verzeichnis über beispielsweise Samba sharen und dann benutzen? Oder verliere ich dann irgendwelche Funktionen?

Man muss jetzt unterscheiden wohin zu exportierst/teilst:
- Wenn du solch ein geteiltes Verzeichnis auf einem PVE einbindest hast du keine Vorteile von ZFS, denn PVE weiß ja nichts davon, dass sich hinter der Freigabe ein ZFS verbirgt.
- Wenn du das Verzeichnis von PVE oder einem LX(C) Container aus an Windows Clients teilst hast du alle Vorteile von ZFS und sogar noch einige mehr, denn dann kannst du shadow-Copy unter Windows verwenden um eine Dateihistorie über Snapshots zu realisieren.

 

[HansPeter12]

Kurz zum Verständnis:
local ZFS -> samba (bzw. irgend eine kompatible share methode) -> pve nodes -> vm und container images
Also wenn ich sozusagen ein local ZFS über samba share an alle pve nodes anbinde um auf diesen shares dann alle vm´s und container laufen zu lassen, wird das nicht mit den gewünschten Funktionen funktionieren, da die nodes nicht wissen dass es sich hinter dem samba um ein local ZFS handelt?

Das mit Windows verstehe ich leider nicht so ganz.
local ZFS -> Windows -> pve nodes -> Vm und container images
soll das bedeuten, wenn ich mein local ZFS über Windows share, dass ich dann meine Vorteile wie Thin Provisioning benutzen könnte?

 

[LnxBil]

local ZFS -> samba (bzw. irgend eine kompatible share methode) -> pve nodes -> vm und container images
Also wenn ich sozusagen ein local ZFS über samba share an alle pve nodes anbinde um auf diesen shares dann alle vm´s und container laufen zu lassen, wird das nicht mit den gewünschten Funktionen funktionieren, da die nodes nicht wissen dass es sich hinter dem samba um ein local ZFS handelt?

Korrekt, da wir eine 1:1-Abbildung benötigen. Für ZFS gibt es nur zwei Modi: lokales ZFS (KVM+Container) und ZFS-over-iSCSI (KVM) - nur diese beiden unterstützen die Features, die ZFS bereitstellt. Man kann natürlich immer QCOW2 verwenden, wenn man ein entferntes ZFS hat, dass nicht in die e.g. Kategorien passt. Das ZFS auf der Storage-Seite ist dann aber überflüssig und kostet wahrscheinlich performance, da man ein COW auf einem COW betreibt.

Das mit Windows verstehe ich leider nicht so ganz.
local ZFS -> Windows -> pve nodes -> Vm und container images
soll das bedeuten, wenn ich mein local ZFS über Windows share, dass ich dann meine Vorteile wie Thin Provisioning benutzen könnte?

Nene, ich hab' nur aufgezeigt, dass man ZFS auch indirekt in Windows als Client nutzen kann, hat nix mit PVE zu tun.

 

[HansPeter12]

Also Fazit;
Ich bekomme kein shared storage mit thin-provisioning und snapshots hin, welches container und VM´s unterstützt.
richtig?

 

[LnxBil]

Ich bekomme kein shared storage mit thin-provisioning und snapshots hin, welches container und VM´s unterstützt.
richtig?

Wie du es vor hattest nicht, nein. Wenn du aber z.B. CEPH verwenden würdest, dort klappt das.