Speicherort meiner VM's feststellen

[marsmännchen]

Hallo zusammen.
Ich benutze Proxmox Privat mit
einer VM mit Nextcloud
einer VM mit InfluxDB und
einer VM mit Windows (USV Software)
Das erstellen der VM's hat mich schon einiges an Mühe gekostet, vor allem Nextcloud.
Jetzt habe ich es schon seit ca. 4 Monaten stabil am laufen

Ich habe das ganze auf einem IntelNuc mit einer SSD und dazu noch eine 7TB HDD.
Mein Vorhaben war eigentlich die Daten von Nextcloud und Influx auf die HDD zu speichern da es ja laut meines Halbwissens nicht so gut ist, ständig auf SSD zu schreiben/lesen.

Meine Bitte an euch wäre ob mir vielleicht jemand die passenden Befehle sagen könnte UND das dann nur kurz erläutern könnte wo jetzt wirklich hin gespeichert wird.
Ich sehe mich da echt nicht raus mit diesen LVM,....
Vielleicht findet jemand den Nerv mir da zu helfen. Ich bräuchte auch keine detaillierte Erklärung, sondern nur: "Nextcloud speichert in data01" "Influx in Backup" oder so auf die Art.

Das einzige was ich wirklich weiß ist das meine Backups von Proxmox wirklich in "Backup01" gespeichert werden.

Danke
Gruß Patrick

 

[Dunuin]

einer VM mit Windows (USV Software)

Das klingt nach massig Ressourcenverschwendung, wenn die Win-VM echt nur wegen der USV-Überwachungssoftware läuft. Da würde ich an deiner Stelle gucken, ob es nicht auch eine Linux-Alternative wie z.B. NUT gibt, sofern dein UPS-Hersteller kein Linux-Tool anbietet. Das würde dann leicht 10 mal weniger RAM/CPU/Disk brauchen.

Meine Bitte an euch wäre ob mir vielleicht jemand die passenden Befehle sagen könnte UND das dann nur kurz erläutern könnte wo jetzt wirklich hin gespeichert wird.

Da solltest du uns schon zeigen was cat /etc/pve/storage.cfg, lvs, vgs, lsblk, pvesm status, cat /etc/pve/qemu-server/100.conf, cat /etc/pve/qemu-server/101.conf und cat /etc/pve/qemu-server/102.conf ausgeben.

Sieht für mich anhandder Screenshots erst einmal recht suboptimal aus. Keinerlei Redundanz, das meiste ist ext4 also z.B. kein Support für Thin-Provisioning oder Snapshots auf Storage-Ebene und zusätzlicher Overhead durch das Dateisystem. Mehrere Partitionen/LVMs auf der selben Platte etc.
Sieht für mich so aus, dass du den Storage klassisch angelegt hast, wie du vom normalen Windows PC her kennst, was man bei einem Server aber nicht unbedingt machen würde, weil das sehr ineffizient ist.

 

[marsmännchen]

Hallo,
vielen Dank!!
Ja das mit Windows leuchtet mir ein. Ich habe vielleicht schon eine andere Lösung im Kopf, aber das ist im Moment noch nebensache.
Mir ist auch klar das du vermutlich bei den unten angegebenen Daten auch gleich den Kopf schütteln wirst über meine Konfiguration.
Aber es funktioniert gerade so schön...

root@triftcloud:~# cat /etc/pve/storage.cfg
dir: local
        path /var/lib/vz
        content vztmpl,iso,backup

lvmthin: local-lvm
        thinpool data
        vgname pve
        content rootdir,images

dir: influx
        path /mnt/influx
        content backup,iso,vztmpl,rootdir,images
        prune-backups keep-all=1
        shared 0

dir: backup01
        path /mnt/pve/backup01
        content iso,backup,vztmpl,rootdir,snippets,images
        is_mountpoint 1
        nodes triftcloud

dir: data01
        path /mnt/pve/data01
        content snippets,images,iso,backup,vztmpl,rootdir
        is_mountpoint 1
        nodes triftcloud

-------------------------------------------------------------------------------------------------

root@triftcloud:~# lvs
  LV            VG  Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  data          pve twi-aotz-- 196.73g             19.45  1.48                 
  root          pve -wi-ao----  74.75g                                         
  swap          pve -wi-ao----   8.00g                                         
  vm-102-disk-0 pve Vwi-aotz-- 100.00g data        38.27

--------------------------------------------------------------------------------------------------------

root@triftcloud:~# vgs
  VG  #PV #LV #SN Attr   VSize    VFree
  pve   1   4   0 wz--n- <299.50g 16.00g

------------------------------------------------------------------------------------------------------------

root@triftcloud:~# lsblk
NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                            8:0    0 931.5G  0 disk
└─sda1                         8:1    0 931.5G  0 part
sdb                            8:16   0   5.5T  0 disk
├─sdb1                         8:17   0     3T  0 part /mnt/pve/backup01
└─sdb2                         8:18   0   2.5T  0 part /mnt/pve/data01
nvme0n1                      259:0    0   1.8T  0 disk
├─nvme0n1p1                  259:1    0  1007K  0 part
├─nvme0n1p2                  259:2    0   512M  0 part /boot/efi
├─nvme0n1p3                  259:3    0 299.5G  0 part
│ ├─pve-swap                 253:0    0     8G  0 lvm  [SWAP]
│ ├─pve-root                 253:1    0  74.8G  0 lvm  /
│ ├─pve-data_tmeta           253:2    0     2G  0 lvm
│ │ └─pve-data-tpool         253:4    0 196.7G  0 lvm
│ │   ├─pve-data             253:5    0 196.7G  1 lvm
│ │   └─pve-vm--102--disk--0 253:6    0   100G  0 lvm
│ └─pve-data_tdata           253:3    0 196.7G  0 lvm
│   └─pve-data-tpool         253:4    0 196.7G  0 lvm
│     ├─pve-data             253:5    0 196.7G  1 lvm
│     └─pve-vm--102--disk--0 253:6    0   100G  0 lvm
└─nvme0n1p4                  259:4    0     1T  0 part /mnt/influx

------------------------------------------------------------------------------------------------------------------

root@triftcloud:~# pvesm status
Name             Type     Status           Total            Used       Available        %
backup01          dir     active      3169524648        95761760      2912685232    3.02%
data01            dir     active      2596727900              56      2464746660    0.00%
influx            dir     active      1055762868         6639924       995419472    0.63%
local             dir     active        76573460        16563140        56074884   21.63%
local-lvm     lvmthin     active       206286848        40122791       166164056   19.45%

-------------------------------------------------------------------------------------------------------------------------------------

root@triftcloud:~# cat /etc/pve/qemu-server/100.conf
boot: order=scsi0;ide2;net0
cores: 1
cpu: host
ide2: influx:iso/debian-11.2.0-amd64-netinst.iso,media=cdrom,size=378M
memory: 5056
meta: creation-qemu=6.2.0,ctime=1654358176
name: Influx
net0: virtio=BE:A9:A4:E2:1D:CD,bridge=vmbr0,firewall=1
numa: 0
ostype: l26
scsi0: influx:100/vm-100-disk-0.qcow2,cache=unsafe,size=1000G
scsihw: virtio-scsi-pci
smbios1: uuid=c269d54a-58ef-42b0-a712-552da21331a7
sockets: 4
vmgenid: 3eb2728c-79b3-40a1-bdf1-e42bedd8c519

------------------------------------------------------------------------------------------------------------------------------------------

root@triftcloud:~# cat /etc/pve/qemu-server/101.conf
agent: 1
boot: order=scsi0;ide2;net0
cores: 4
ide2: local:iso/ubuntu-22.04.1-live-server-amd64.iso,media=cdrom,size=1440306K
memory: 8000
meta: creation-qemu=7.0.0,ctime=1662765216
name: nextcloud
net0: virtio=22:7A:35:0B:A0:B3,bridge=vmbr0,firewall=1
numa: 0
ostype: l26
scsi0: backup01:101/vm-101-disk-0.raw,cache=writeback,discard=on,size=2470G
scsihw: virtio-scsi-pci
smbios1: uuid=fea2e870-2a2f-49a2-bfc9-427a5be0a21e
sockets: 1
vmgenid: 218c1b15-7829-4a65-8988-4cfedfa0adbf

---------------------------------------------------------------------------------------------------------------------------------------------------

root@triftcloud:~# cat /etc/pve/qemu-server/102.conf
agent: 1
boot: order=scsi0;ide2;net0;ide0
cores: 4
ide0: local:iso/virtio-win-0.1.217.iso,media=cdrom,size=519172K
ide2: local:iso/Win10_21H2_German_x64.iso,media=cdrom,size=5760336K
machine: pc-i440fx-6.2
memory: 8160
meta: creation-qemu=6.2.0,ctime=1655080357
name: win10
net0: virtio=BA:DE:97:1C:4E:E3,bridge=vmbr0,firewall=1
numa: 1
ostype: win10
scsi0: local-lvm:vm-102-disk-0,cache=writeback,discard=on,size=100G
scsihw: virtio-scsi-pci
smbios1: uuid=e8e77228-1a46-40ff-ba59-6e862ebf7fb4
sockets: 1
usb0: host=1cb0:0038
vmgenid: 97f85572-2328-4e3e-ae28-9d7ec3b166fe

 

[Dunuin]

Die Influx VM speichert die Daten auf Partition 4 der NVMe SSD (Gast OS -> virtio SCSI -> Qcow2 -> ext4 -> Partition -> NVMe SSD).
Mit dem "Cache=Unsafe" musst du übrigens echt aufpassen. Das macht dass da keine Sync Write benutzt werden. Auch wenn du eine UPS hast, kann da immer noch ein Hardware-Fehler oder Kernelcrash dir den kompletten Gast zerschießen. Außerdem hast du kein "is_mountpoint" für den "Influx" Storage gesetzt. Wenn da mal der Mount fehlschlägt, schreibst du dir "local" voll, dass da dann dein Server nicht mehr läuft. Außerdem ist kein Discard gesetzt, TRIM funktioniert also nicht, was auch dazu führen kann, dass dir irgendwann der Platz ausgeht.

Die Nextcloud VM speichert die Daten auf Partition 1 der HDD (Gast OS -> virtio SCSI -> Qcow2 -> ext4 -> Partition -> HDD).
Das ist die gleiche Partition, wo auch deine Backups liegen. Geht da deine HDD kaputt (und das wird sie früher oder später) dann verlierst du gleichzeitig deine Nextcloud VM wie auch all deine Backups. Deine Nextcloud-VM zu sichern macht so also überhaupt keinen Sinn. Für Backups sollte man eine komplette eigene phyische Disk nutzen auf der keinerlei Gäste liegen. Außerdem nicht vergessen, dass du auch den "/etc" Ordner regelmäßig sichern musst, weil Backups der Gäste alleine nicht reichen. Dinge wie Security Groups, IP sets, Aliases der Gäste etc gehen dann trotzdem verloren wenn dir mal die PVE-System-Disk wegstirbt.

Die Win VM liegt auf dem LVM-Thin Pool, welcher Teil von Partition 3 der NVMe SSD ist (Gast OS -> vmtl. NTFS -> virtio SCSI -> Thin volume -> LVM-Thin Pool -> VG -> PV -> Partition 3 -> NVMe SSD).

 

[marsmännchen]

OK, das ist nicht das was ich mir erhofft habe. Das einzige das mir scheinbar gelungen ist, das Nextcloud auf HDD gespeichert wird.
Die Backups auf die SSD Speichern könnt ich schaffen.
Die Influx auf HDD? Geht das jetzt noch nachträglich zu ändern?

 

[Dunuin]

Auf welcher Version ist denn dein PVE? Seit PVE 7 kannst du über das GUI virtuelle Disks zwischen Storages verschieben. Wäre also ziemlich einfach da eine VM woanders hin zu verschieben:

 

[marsmännchen]

Ich habe Virtual Environment 7.3-4
Super! Das schaff sogar ich!

Ich will mich GANZ HERZLICH bei dir bedanken!
Das lag mir schon lange im Magen.
Und der Tipp mit NUT, meine 2 USV sind lt. Doku auch kompatibel. Werde ich mal in Angriff nehmen.
Danke nochmal
Gruß Patrick

 

[Dunuin]

Auch das mit dem "Discard" und "is_mountpoint" nicht vergessen. Das kann dir sonst später ernste Probleme bereiten.
Discard kannst du über das webUI setzen, wenn du die virtuelle Disk der VM editierst und dann die "Discard" Checkbox anklickst.
Das mit dem "is_mountpoint" geht nur über die CLI: pvesm set influx --is_mountpoint yes