Proxmox RaidZ

[tkey]

Hallo,


ich hoffe ich poste hier mein Problem in den richtigen Bereich.
Ich habe auf einem frisch installierten Proxmox einen zfs raid pool aus RAIDZ bzw. RAIDZ1 erstellt. Soweit so gut...
Wenn ich nun aber auf dem Komplett leeren Speicher eine VM erstellen will mit 7200,00 Gib bzw. 7,03 Tib schmeist er mir immer direkt diesen Fehler:

AusgabeStatus
Stopp
TASK ERROR: unable to create VM 600 - zfs error: cannot create 'Hauptspeicher/vm-600-disk-0': out of space

Aber über zfs list und auch in der Proxmox Gui steht, dass ich 7.68Tib frei habe....

NAME USED AVAIL REFER MOUNTPOINT
Hauptspeicher 942K 7.68T 140K /Hauptspeicher

Wenn ich zpool status -v eingebe bekomme ich folgendes:

root@server:~# zpool status -v
pool: Hauptspeicher
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
Hauptspeicher ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
sda ONLINE 0 0 0
sdb ONLINE 0 0 0
sdc ONLINE 0 0 0
sde ONLINE 0 0 0

Das sieht für mich auf den ersten Blick alles ganz gut aus aber ich weiß nicht mehr weiter... vermutlich habe ich irgendetwas beim einrichten der zpools falsch gemacht auch wenn das eigentlich unmöglich ist, weil man diese ja einfach über die Proxmox Gui einrichtet und Promox dann den Rest für einen macht.
Ich habe schon viel gegooglet aber nix gefunden was mein Problem löst... zuletzt bin ich über einen Post gestolpert, wo es hieß, dass man die Thin provisioning aktivieren muss über irgend eine Harken in der Gui der bei mir nicht aufzufinden ist...
Link zum Post: https://forum.proxmox.com/threads/zfs-error-cannot-create-vm-out-of-space.37267/
Das war es direkt der erste Beitrag... Ich habe das Gefühl das mein Problem damit etwas zu tun hat aber ich habe leider nicht rausfinden können, wie ich das nachträglich aktiviere.

Ich hoffe Ihr könnt mir weiter helfen und schon einmal danke an jeden der es versucht.

System:
hp proliant microserver gen8
4x 3TB (2.7 Tib) Festplatten in RAIDZ
Proxmox an sich läuft auf einem 64GB USB-Stick

Ich hoffe das reicht an relevanten Daten um mir zu helfen.

 

[fireon]

Ja, TP sollest du aktivieren. Da, wenn du eine VM anlegst, sonst der Speicherplatz sofort belegt wird. Trotzdem sollte sich diese VM erstellen lassen. So zum Test, kannst du ne VM mit 6TB im jetzigen Zustand erstellen?

TP wird bei der Storageconfiguration aufgedreht. Google weis doch eh alles.

 

[fireon]

Geh auf auf "Rechenzentrum" dann auf "Storage" wähle einen ZFSpool aus und aktiviere die Option.

 

[tkey]

Ja, TP sollest du aktivieren. Da, wenn du eine VM anlegst, sonst der Speicherplatz sofort belegt wird. Trotzdem sollte sich diese VM erstellen lassen. So zum Test, kannst du ne VM mit 6TB im jetzigen Zustand erstellen?

TP wird bei der Storageconfiguration aufgedreht. Google weis doch eh alles.

Wenn diese Option nur dafür da ist, dann würde ich die sogar garnicht aktivieren... Aber auch mit nur 6TB konnte die VM nicht erstellt werden. Könnte es sein, dass ich etwas einstellen muss, dass ich mehr als nur 2 TB durchreichen kann? Weil alles bis 2 TB geht. Ich meine mich erinnern zu können, dass ich so ein Problem unter Windows mit externen Festplatten schonmal hatte und die Partition ändern musste aber zfs partitoniert die Festplatten doch selber sobalt es ein raid erstellt oder?

 

[fireon]

Sehr komisch... Poste doch bitte mal deine storage.cfg und deine VMconfig.

 

[fabian]

probier mal noch kleiner als 6TB zu gehen - meine vermutung ist, dass die logische volume größe + der raidz overhead zu viel ist. dazu gibts hier im forum einige threads, inkl. möglicher lösungsansätze.

 

[tkey]

Sehr komisch... Poste doch bitte mal deine storage.cfg und deine VMconfig.

Meine storage.cfg
root@server:/etc/pve# cat storage.cfg
dir: local
path /var/lib/vz
content vztmpl,iso,backup

lvmthin: local-lvm
thinpool data
vgname pve
content rootdir,images

zfspool: Hauptspeicher
pool Hauptspeicher
content rootdir,images
mountpoint /Hauptspeicher
nodes server

VMconfig... meinst du damit die Config die zur VM in /etc/pve/qemu-server steht? Falls ja hab ich ja keine weil er die 6 TB VM nicht erstellen konnte... ich könnte eine 2 TB VM erstellen um config zu erhalten aber ich weiß nicht ob das dann weiter helfen würde.

 

[tkey]

probier mal noch kleiner als 6TB zu gehen - meine vermutung ist, dass die logische volume größe + der raidz overhead zu viel ist. dazu gibts hier im forum einige threads, inkl. möglicher lösungsansätze.

Ja davon hab ich in den englischen Threads gelesen aber keine für mich funktionierende Lösung gefunden...
Aber ich habe gerade noch einmal alles getestet und gestern konnte ich VM's mit maximal 2 TB erstellen... Heute geht alles bis 5 TB... Was echt komisch ist weil bis auf ein Neustart hat sich am Server nix geändert... Naja jedenfalls kann ich eine VM mit maximal 5 TB bzw. 4656 gib erstellen aber 4658 sagt er schon das es nicht mehr geht. Ich vermute also das es genau das Problem ist... Ich hab gelesen das man ein Raidz nicht press voll füllen soll, was auch sinn macht aber kann ich den wert irgendwie verstellen? Weil 5 TB ist mir zu wenig von insgesamt 12 TB Physisch.
Nur für mich nochmal als Besätigung... ein Raidz / Raidz-1 entspricht ja ungefähr einem Raid 5 oder?

 

[fabian]

Ja davon hab ich in den englischen Threads gelesen aber keine für mich funktionierende Lösung gefunden...
Aber ich habe gerade noch einmal alles getestet und gestern konnte ich VM's mit maximal 2 TB erstellen... Heute geht alles bis 5 TB... Was echt komisch ist weil bis auf ein Neustart hat sich am Server nix geändert... Naja jedenfalls kann ich eine VM mit maximal 5 TB bzw. 4656 gib erstellen aber 4658 sagt er schon das es nicht mehr geht. Ich vermute also das es genau das Problem ist... Ich hab gelesen das man ein Raidz nicht press voll füllen soll, was auch sinn macht aber kann ich den wert irgendwie verstellen? Weil 5 TB ist mir zu wenig von insgesamt 12 TB Physisch.
Nur für mich nochmal als Besätigung... ein Raidz / Raidz-1 entspricht ja ungefähr einem Raid 5 oder?

detaillierte hintergrundinfos finden sich hier:
https://www.delphix.com/blog/delphi...or-how-i-learned-stop-worrying-and-love-raidz

das war damals allerdings noch für 512byte platten / ashift 9, heutzutage mit ashift 12 ist das ganze etwas schlimmer, da die default blockgröße von zvols 8k ist, die kleinste einheit in der ZFS schreiben kann 4k ist, ist der overhead hier bis zu 100% - sh. die verlinkte tabelle im artikel. abhilfe schafft hierbei, den volblocksize höher zu setzen (damit das verhältnis datenarity besser wird).

das hat allerdings auch nachteile:
- kleine writes aus gast sicht machen damit unnötig viel I/O (großen block lesen, kleinen teil verändern, großen block wieder rausschreiben) -> schlechtere performance, lässt sich unter umständen durch tuning etwas verbessern (z.b. in dem auf filesystem/applikationsebene ebenfalls ein entsprechender bocksize gewählt wird)
- volblocksize lässt sich nicht nachträglich ändern, sondern nur beim anlegen des volumes

 

[fireon]

Alter... na gut das wir hier immer Raid10 machen. Oder wenns hart auf hart kommt RaidZ10. (Raid50) immer in 3er Gruppen.