Homeserver: CT/VM + Datapool (ZFS) - Brauche hilfe

puscheln · Mar 20, 2020

Hallo zusammen,

brauche Hilfe zum im Titel beschriebenen Thema. Folgende Ct´s und VM´s sollen installiert werden:
Unifi-Controller (CT)
Nextcloud (CT)
InfluxDB+Grafana (CT)
PlexMediaServer (CT)
Windows Server (VM) - Der Server soll unter anderem als Fileserver dienen.

Folgende Hardware habe ich zur verfügung:
Supermicro-Server, Xeon E3-1230, 32 GB ECC Ram, 256 GB Samsung Evo SSD, 3x4 TB WD red

Würde gerne die WD-red´s als RAID-Z1 konfigurieren und an die Win Server (VM) durchreichen. Wie kann ich dieses bestenfalls umsetzen?
Wie sieht es eigentlich mit ZIL und L2ARC aus? Sollte ich diese Daten irgendwo auslagern? Hätte noch diverse 2,5" Festplatten (non SSD) und derzeitig kein Budget für Enterprise SSD´s.

Hoffe Ihr könnt mir weiterhelfen.

aaron · Mar 20, 2020

Fragen zu L2ARC und ZIL hab ich hier erläutert: https://forum.proxmox.com/threads/planungen-für-meinen-heimserver.66254/#post-298199

Wenn du die nicht auf flotte SSDs bekommst lass es sein.

puscheln said:
Würde gerne die WD-red´s als RAID-Z1 konfigurieren und an die Win Server (VM) durchreichen.

Eine große Disk für die Windows VM auf diesem Storage anlegen.

puscheln · Mar 22, 2020

Super! Auf die Idee bin ich nicht gekommen. Welche ZFS-compression sollte hierbei gewählt werden (lz4)? Würde für L2ARC und ZIL auch eine normale SSD reichen (keine Enterprise)? Habe gelesen das diese aufgrund der vielen Schreibvorgänge schnell kaputt gehen.

LnxBil · Mar 22, 2020

puscheln said:
Würde für L2ARC und ZIL auch eine normale SSD reichen (keine Enterprise)?

Du hast @aarons verlinkten Artikel gelesen und verstanden? L2ARC bei nur 32 GB ergibt keinen Sinn.

puscheln said:
Habe gelesen das diese aufgrund der vielen Schreibvorgänge schnell kaputt gehen.

Da hast du richtig gelesen :-D
Non-Enterprise SSD und ZFS ist auf jeden Fall zu meiden PUNKT
(Prosumer ist ebenfalls zu meiden)

puscheln said:
derzeitig kein Budget für Enterprise SSD´s.

Also bei eBay bekommst du die für ein paar Euro nachgeschmissen (meine haben pro Stück 30 Euro gekostet und haben 128 GB), denn für ZIL brauchst du nicht mehr als 5 GB.

puscheln · Mar 22, 2020

Das es bei 32GB keinen Sinn ergibt habe ich nicht gelesen. Nur das ich es weglassen sollte, wenn ich keine schnellen SSDs habe.
Der Rest ist in Ordnung!

puscheln · Mar 22, 2020

Habe gerade versucht das in Proxmox erstellte raidz der vm hinzuzufügen. In Proxmox steht die richtige Kapazität allerdings kann die vm nur 80% davon abrufen. Wieso? Habe das raidz einfach beim erstellen der vm als zusätiches Laufwerk angegeben.

aaron · Mar 23, 2020

du solltest bei ZFS nicht mehr als 80% der kapazität verwenden da dann die performance in den keller geht. ZFS ist ein copy on write Dateisystem dass immer freien Platz braucht um zu funktionieren.

Wie schaut die Config der VM aus? qm config <VMID>

puscheln · Mar 23, 2020

Zum testen habe ich erstmal 2TB Platten (3Stck.) genutzt. Die "qm config" sieht wie folgt aus. Ebenso habe ich noch ein Foto des Dashboards gemacht. Danke schon mal.

aaron · Mar 23, 2020

puscheln said:
In Proxmox steht die richtige Kapazität allerdings kann die vm nur 80% davon abrufen.

Wie zeigt sich das? Die ~2.6TB die im Moment konfiguriert sind, sind doch weniger als 80% von 5.4TB.

puscheln · Mar 23, 2020

Also die Summe aller verbauten Festplatten entspricht den 5,45TB (3x2TB). Da ich es als Raid Z1 (RAID 5) erstellt habe, sollten ja ca. 3,6TB zur Verfügung stehen. Habe allerdings Netto 2,6TB, was ca. 70% beträgt. Sorry die vorherige Prozentangabe ist somit nicht ganz richtig.

aaron · Mar 24, 2020

Hmm, irgendwie passt da was nicht ganz zusammen. Kannst du bitte mal die folgenden Kommandos auf der Konsole ausführen und das Ergebnis markieren -> Rechtsklick -> Kopieren und dann hier im Forum in [ CODE ] Tags (ohne leerzeichen) einfügen?

Code:

zpool status
zfs list
lsblk

puscheln · Mar 24, 2020

Code:

root@pve01:~# zpool status
  pool: tank
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            sda     ONLINE       0     0     0
            sdb     ONLINE       0     0     0
            sdc     ONLINE       0     0     0

errors: No known data errors

puscheln · Mar 24, 2020

Code:

root@pve01:~# zfs list
NAME                 USED  AVAIL     REFER  MOUNTPOINT
tank                3.52T   233M      128K  /tank
tank/vm-201-disk-0  3.52T  3.52T      144K  -

puscheln · Mar 24, 2020

Code:

root@pve01:~# lsblk
NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                            8:0    0   1.8T  0 disk
├─sda1                         8:1    0   1.8T  0 part
└─sda9                         8:9    0     8M  0 part
sdb                            8:16   0   1.8T  0 disk
├─sdb1                         8:17   0   1.8T  0 part
└─sdb9                         8:25   0     8M  0 part
sdc                            8:32   0   1.8T  0 disk
├─sdc1                         8:33   0   1.8T  0 part
└─sdc9                         8:41   0     8M  0 part
sdd                            8:48   0 119.2G  0 disk
├─sdd1                         8:49   0  1007K  0 part
├─sdd2                         8:50   0   512M  0 part /boot/efi
└─sdd3                         8:51   0 118.8G  0 part
  ├─pve-swap                 253:0    0    16G  0 lvm  [SWAP]
  ├─pve-root                 253:1    0    15G  0 lvm  /
  ├─pve-data_tmeta           253:2    0     1G  0 lvm
  │ └─pve-data-tpool         253:4    0  25.8G  0 lvm
  │   ├─pve-data             253:5    0  25.8G  0 lvm
  │   └─pve-vm--201--disk--0 253:6    0    50G  0 lvm
  └─pve-data_tdata           253:3    0  25.8G  0 lvm
    └─pve-data-tpool         253:4    0  25.8G  0 lvm
      ├─pve-data             253:5    0  25.8G  0 lvm
      └─pve-vm--201--disk--0 253:6    0    50G  0 lvm
zd0                          230:0    0   2.6T  0 disk
└─zd0p1                      230:1    0    16M  0 part

aaron · Mar 25, 2020

Hmm, schaut so aus als wenn das das die gleiche Situation wie hier https://forum.proxmox.com/threads/why-my-zfs-dataset-is-consuming-much-more-disk-space.67435/ ist.

puscheln · Mar 25, 2020

Habe mir den verlinkten Beitrag angeschaut. Leidglich ist dort die Aussage das er 25,3TB von 18TB nutzt. Bei mir sollten ja 3,52TB (zfs lsit) an die vm übergeben werden können. Es funktionieren allerdings nur 2,6TB! Hier sind noch keine Daten oder ähnliches geschrieben worden. Finde es sehr seltsam das 1/3 der Kapazität für nichts zu gebrauchen ist (verhältnismäßig). Mir fehl gerade das verständis

LnxBil · Mar 26, 2020

puscheln said:
Es funktionieren allerdings nur 2,6TB! Hier sind noch keine Daten oder ähnliches geschrieben worden.

Ich weiß nicht ob ich es überlesen habe oder die Info fehlt, aber wo erscheint dass es nicht klappt?

aaron · Mar 26, 2020

Kannst du bitte noch schauen was zfs get all tank/vm-201-disk-0 liefert?

puscheln · Mar 26, 2020

Also es sieht erstmal alles gut aus, bis zum hinzufügen zu einer VM. Hier kann ich Bus/Device, Storage, Disk Size etc. angeben. PVE akzeptiert hier allerdings max. 2640GiB (Disk Size).

puscheln · Mar 26, 2020

Code:

root@pve01:~# zfs get all tank/vm-201-disk-0
NAME                PROPERTY              VALUE                  SOURCE
tank/vm-201-disk-0  type                  volume                 -
tank/vm-201-disk-0  creation              Mon Mar 23 14:11 2020  -
tank/vm-201-disk-0  used                  3.52T                  -
tank/vm-201-disk-0  available             3.52T                  -
tank/vm-201-disk-0  referenced            144K                   -
tank/vm-201-disk-0  compressratio         1.20x                  -
tank/vm-201-disk-0  reservation           none                   default
tank/vm-201-disk-0  volsize               2.58T                  local
tank/vm-201-disk-0  volblocksize          8K                     default
tank/vm-201-disk-0  checksum              on                     default
tank/vm-201-disk-0  compression           lz4                    inherited from                                                                                 tank
tank/vm-201-disk-0  readonly              off                    default
tank/vm-201-disk-0  createtxg             451                    -
tank/vm-201-disk-0  copies                1                      default
tank/vm-201-disk-0  refreservation        3.52T                  local
tank/vm-201-disk-0  guid                  14901585807944686456   -
tank/vm-201-disk-0  primarycache          all                    default
tank/vm-201-disk-0  secondarycache        all                    default
tank/vm-201-disk-0  usedbysnapshots       0B                     -
tank/vm-201-disk-0  usedbydataset         144K                   -
tank/vm-201-disk-0  usedbychildren        0B                     -
tank/vm-201-disk-0  usedbyrefreservation  3.52T                  -
tank/vm-201-disk-0  logbias               latency                default
tank/vm-201-disk-0  objsetid              269                    -
tank/vm-201-disk-0  dedup                 off                    default
tank/vm-201-disk-0  mlslabel              none                   default
tank/vm-201-disk-0  sync                  standard               default
tank/vm-201-disk-0  refcompressratio      1.20x                  -
tank/vm-201-disk-0  written               144K                   -
tank/vm-201-disk-0  logicalused           72K                    -
tank/vm-201-disk-0  logicalreferenced     72K                    -
tank/vm-201-disk-0  volmode               default                default
tank/vm-201-disk-0  snapshot_limit        none                   default
tank/vm-201-disk-0  snapshot_count        none                   default
tank/vm-201-disk-0  snapdev               hidden                 default
tank/vm-201-disk-0  context               none                   default
tank/vm-201-disk-0  fscontext             none                   default
tank/vm-201-disk-0  defcontext            none                   default
tank/vm-201-disk-0  rootcontext           none                   default
tank/vm-201-disk-0  redundant_metadata    all                    default
tank/vm-201-disk-0  encryption            off                    default
tank/vm-201-disk-0  keylocation           none                   default
tank/vm-201-disk-0  keyformat             none                   default
tank/vm-201-disk-0  pbkdf2iters           0                      default

Homeserver: CT/VM + Datapool (ZFS) - Brauche hilfe

Member

Proxmox Staff Member

Member

Distinguished Member

Member

Member

Proxmox Staff Member

Member

Proxmox Staff Member

Member

Proxmox Staff Member

Member

Member

Member

Proxmox Staff Member

Member

Distinguished Member

Proxmox Staff Member

Member

Member