LVM Thin umwandeln in RAID1

[Miraculix_de]

Hallo,
ich habe meine defekte 16 TB Platte eingeschickt und habe dann eine 20T refurbished Platte zurück bekommen. So viel Speicher braucht kein Mensch als Heimnutzer

Nun habe ich überlegt, ob ich meine 8 TB Datenplatte mit dem LVM Thin drauf nicht einfach spiegeln könnte um mehr Redundanz zu haben.

Ich weiß natürlich, dass man Backups immer auf einer getrennten Platte haben sollte, aber was soll ich mit 20TB?

SDB1 ist die vorhandene 8 TB Platte mit LVM Thin drauf, SDC1 ist die Spiegelpartition und SDC2 dient für Backups. SDA1 wird entfernt sobald gesynct.

pvcreate /dev/sdc1
vgextend pve /dev/sdc1
lvconvert --alloc anywhere --type raid1 --mirrors 1 pve/data_tmeta /dev/sdc1
Are you sure you want to convert linear LV pve/data_tmeta to raid1 with 2 images enhancing resilience? [y/n]: y
  Insufficient free space: 1 extents needed, but only 0 available
 
  $ vgs
  VG     #PV #LV #SN Attr   VSize   VFree
  backup   2   1   0 wz--n- <12.01t 8.37t
  pve      3  21   0 wz--n-  15.73t 8.07t
$ pvs
  PV             VG     Fmt  Attr PSize    PFree
  /dev/nvme0n1p3 pve    lvm2 a--  <464.76g 74.12g
  /dev/sda1      backup lvm2 a--    <1.82t     0
  /dev/sdb1      pve    lvm2 a--    <7.28t     0
  /dev/sdc1      pve    lvm2 a--    <8.00t <8.00t
  /dev/sdc2      backup lvm2 a--    10.19t  8.37t

Habt ihr eine Idee, warum das lvonvert nicht funktioniert, ich habe alles dreimal gecheckt, es scheint alles zu stimmen.

 

[Impact]

Warum hast du data_tmeta anstatt data gewählt? Wenn du RAID möchtest würde ich dir ZFS empfehlen.

 

[Miraculix_de]

Mit data kam der gleiche Fehler. ZFS ist schön, wenn man das System neu aufsetzen will. Ich will aber ein vorhandenes, produktives system besser absichern.

 

[Miraculix_de]

Kann mir jemand sagen, ob das so stimmt: Die Ausgabe ist leider sehr kryptisch gehalten.

gemacht habe ich

lvcreate --type raid1 -m1 -L 7.28T -n data pve
lvconvert --type thin-pool -c 128K -Zn pve/data

jetzt habe ich

$ lvs -a -o +devices
  LV                    VG     Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert Devices
  storage_large         backup -wi-ao----    9.68t                                                     /dev/sdc2(0)
  base-100-disk-0       pve    Vri---t--k   36.00g data
  data                  pve    twi-aot---    7.28t             43.77  12.26                            data_tdata(0)
  [data_tdata]          pve    rwi-aor---    7.28t                                    100.00           data_tdata_rimage_0(0),data_tdata_rimage_1(0)
  [data_tdata_rimage_0] pve    iwi-aor---    7.28t                                                     /dev/sdc1(1)
  [data_tdata_rimage_0] pve    iwi-aor---    7.28t                                                     /dev/nvme0n1p3(37376)
  [data_tdata_rimage_1] pve    iwi-aor---    7.28t                                                     /dev/sdb1(1)
  [data_tdata_rimage_1] pve    iwi-aor---    7.28t                                                     /dev/sdc1(1907720)
  [data_tdata_rmeta_0]  pve    ewi-aor---    4.00m                                                     /dev/sdc1(0)
  [data_tdata_rmeta_1]  pve    ewi-aor---    4.00m                                                     /dev/sdb1(0)
  [data_tmeta]          pve    ewi-ao----    3.64g                                                     /dev/nvme0n1p3(38066)
  [lvol0_pmspare]       pve    ewi-------    3.64g                                                     /dev/nvme0n1p3(38998)
  root                  pve    -wi-ao----  130.00g                                                     /dev/nvme0n1p3(4096)
  swap                  pve    -wi-ao----   16.00g                                                     /dev/nvme0n1p3(0)

 vgs
  VG     #PV #LV #SN Attr   VSize  VFree
  backup   1   1   0 wz--n- 10.19t 521.75g
  pve      3  20   0 wz--n- 15.73t   1.02t

 pvs
  PV             VG     Fmt  Attr PSize    PFree
  /dev/nvme0n1p3 pve    lvm2 a--  <464.76g  308.78g
  /dev/sdb1      pve    lvm2 a--    <7.28t       0
  /dev/sdc1      pve    lvm2 a--    <8.00t <737.27g
  /dev/sdc2      backup lvm2 a--    10.19t  521.75g

Für mich sieht es ein bisschen so aus als sei auch die SSD mit einbezogen worden?

 

[Miraculix_de]

Also das LVM Mirroring kann ich absolut nicht empfehlen. DAs erzeugt furchtbar hohe I/O Delays. Ich habe jetzt alles nochmal umgebauit (online, mit weiterer Platte). Dieses Mal habe ich ein mit mdadm RAID1 über zwei Partitionen gespannt und darauf dann den Thin Pool gelegt. Man kann miut mdadm auch Partitionen, nicht nur ganze Platten verwenden. Dann ist man wesentlich flexibler.

 

[news]

Die Raid-Hardwarehersteller machen es i.a. etwas anders.
Man nehme das Software Raid MDADM und legt dann das Dateisystem drüber.
ext4, XFS oder Btrfs.
Gesehen habe ich als Zwischenschicht auch schon MDADM - LVM - ext4, XFS oder Btrfs.

Da ist mir eine Setup mit ZFS und unterschiedlichen VDEVs lieber.

 

[Miraculix_de]

ZFS kenne ich wie gesagt zu wenig und müsste da sehr viele Befehle lernen. LVM bin ich ziemlich trittsicher.

Für den Heimanwender reicht es so. Die eine Platte läuft halt schon 5 Jahre 24/7, sodass ich in Bälde mit Ausfällen rechne. Daher das RAID1. Früher war mir das immer zu stromhungrig.

 

[news]

Also ZFS ist unbekannt und deshalb ist der lernaufwand unbekannt, und somit auch seine Funktionalität.

Für den Heimanwender reicht es so.

Das Vorgehen für Dich kann ich akzeptieren.
Aus eigener Erfahrung kann ich sagen, stehenbleiben auf der "Stelle", hat mich nicht weiter gebracht. Sonst würde ich auch nicht Proxmox als Ökosystem nutzen. Das war auch ein Lernprozess.

 

[Miraculix_de]

Logisch. Kann mir das mit ZFS schon mal ánschauen, aber bei diesem Server ist mir jetzt Konsistenz wichtiger als neuste Features. Wichtig ist für mich vorallem die Erkenntnis, dass LVM Mirroring nichts taugt.

 

[Falk R.]

Logisch. Kann mir das mit ZFS schon mal ánschauen, aber bei diesem Server ist mir jetzt Konsistenz wichtiger als neuste Features. Wichtig ist für mich vorallem die Erkenntnis, dass LVM Mirroring nichts taugt.

Wenn dir Datenkonsistenz wichtig ist, dann ist ZFS die richtige Wahl und ganz sicher kannst du dann nur gehen mit ECC RAM. Denn wenn Fehler im RAM passieren sollten, kann ZFS auch nicht helfen.