Proxmox Ersteinrichtung / Beginner

[psandro]

Guten Tag liebe Community Mitglieder,

habe mir einige Hypervisor angeschaut und bin nun mit meiner finalen Entscheidung bei Proxmox gelandet. Proxmox macht auf mich einfach den besten Eindruck. Ich möchte Proxmox eher als Homelab aber auch teils Produktiv mit einigen VMs verwenden, daher und weil ich das Projekt unterstützen möchte, habe ich mir auch eine Subscription gekauft. In der Proxmox VE Welt bin ich tatsächlich neu und habe aktuell kaum Erfahrungen mit Hypervisoren. Schade das es keine Online Kurse auf Deutsch zu Proxmox gibt, dass was es gibt scheint alles nur auf Präsenz ausgerichtet zu sein. Bücher gibt es leider nur in Englisch. Ich bin genau aus diesem Grund nun hier. Nun zu meinem Problem oder meinen Fragen:

Mein System (Das System wurde ursprünglich für FreeNAS geplant, jedoch habe ich mich entschieden Proxmox darauf zu verwenden):

Board: ASUS P11C-I
Prozessor: Intel® Xeon® E-2246G
Arbeitsspeicher: 2 x 16 GB DDR4-2666 ECC
Backplane Einschübe (4 Stück): noch unbestückt
Speicher (SSD): 2 x SSD 1 TB, 2 x SSD 480 GB, 1 x M.2 SSD 120 GB, 1 x USB 128 GB

Mein Ziel:
VMs: 3 bis 4 (davon zwei Windows und zwei Ubuntu oder Debian)
Container: 3

Aktuell habe ich Proxmox 6.2 (aktuelles Release) auf einer M.2 SSD 120 GB und einen USB Stick 128 GB als ZFS (RAID 1) installiert. Dabei habe ich bei der Installation die Komprimierung lz4 gewählt.

Zunächst ist hier meine Frage, ob diese Art der Installation so in Ordnung ist oder Ihr eher eine andere Vorgehensweise bei der Installation empfehlen würdet? Es ist ja auch möglich mit lvm und Swap Speicher zu installieren, so ist wohl der Standard ohne das man bei der Installationsroutine Änderungen vornimmt.

weitere Fragen:

1. Ein Swap Speicher wurde von der Installationsroutine nicht mit angelegt, benötigt man ggf. unter bestimmten Umständen dennoch einen Swap Speicher?

2. kann verbleibender Speicher des Systempools (M.2 SSD und USB ZFS RAID 1) ohne Bedenken für ISO Dateien oder VMs verwendet werden, oder sollte dieser Pool ausschließlich für das System verwendet werden?

3. Wenn ich nun meine 2 x SSD 1 TB und 2 x SSD 480 GB als VM und Container Speicher nutzen möchte, wie werden diese in Proxmox verwendet bzw. wie gehe ich vor den Speicher dafür bereitzustellen? Win würdet Ihr die SSDs verwenden bzw. zur Nutzung in Proxmox einbinden?

4. Mir ist leider noch nicht ganz klar, worin der genaue Unterschied von LVM, LVM-Thin, Directory und ZFS besteht und worauf hier bei der Verwendung in Proxmox zu achten ist.

5. ZFS benötigt sehr viel Arbeitsspeicher, jedoch möchte ich von meinen VMs und Containern Snapshots machen können. Ist LVM da ressourcenschonender?

Ich möchte euch um euer Verständnis bitten, dass ich hier nicht wirklich viel Erfahrung mitbringe.

Ich bedanke mich bereits im Vorfeld für eure Zeit die Ihr euch zum lesen nehmt. Freue mich sehr über eure Antworten und verbleibe bis dahin mit

Besten Grüßen

psandro

 

[H4R0]

Guten Tag liebe Community Mitglieder,

habe mir einige Hypervisor angeschaut und bin nun mit meiner finalen Entscheidung bei Proxmox gelandet. Proxmox macht auf mich einfach den besten Eindruck. Ich möchte Proxmox eher als Homelab aber auch teils Produktiv mit einigen VMs verwenden, daher und weil ich das Projekt unterstützen möchte, habe ich mir auch eine Subscription gekauft. In der Proxmox VE Welt bin ich tatsächlich neu und habe aktuell kaum Erfahrungen mit Hypervisoren. Schade das es keine Online Kurse auf Deutsch zu Proxmox gibt, dass was es gibt scheint alles nur auf Präsenz ausgerichtet zu sein. Bücher gibt es leider nur in Englisch. Ich bin genau aus diesem Grund nun hier. Nun zu meinem Problem oder meinen Fragen:

Mein System (Das System wurde ursprünglich für FreeNAS geplant, jedoch habe ich mich entschieden Proxmox darauf zu verwenden):

Board: ASUS P11C-I
Prozessor: Intel® Xeon® E-2246G
Arbeitsspeicher: 2 x 16 GB DDR4-2666 ECC
Backplane Einschübe (4 Stück): noch unbestückt
Speicher (SSD): 2 x SSD 1 TB, 2 x SSD 480 GB, 1 x M.2 SSD 120 GB, 1 x USB 128 GB

Mein Ziel:
VMs: 3 bis 4 (davon zwei Windows und zwei Ubuntu oder Debian)
Container: 3

Aktuell habe ich Proxmox 6.2 (aktuelles Release) auf einer M.2 SSD 120 GB und einen USB Stick 128 GB als ZFS (RAID 1) installiert. Dabei habe ich bei der Installation die Komprimierung lz4 gewählt.

Zunächst ist hier meine Frage, ob diese Art der Installation so in Ordnung ist oder Ihr eher eine andere Vorgehensweise bei der Installation empfehlen würdet? Es ist ja auch möglich mit lvm und Swap Speicher zu installieren, so ist wohl der Standard ohne das man bei der Installationsroutine Änderungen vornimmt.

weitere Fragen:

1. Ein Swap Speicher wurde von der Installationsroutine nicht mit angelegt, benötigt man ggf. unter bestimmten Umständen dennoch einen Swap Speicher?

2. kann verbleibender Speicher des Systempools (M.2 SSD und USB ZFS RAID 1) ohne Bedenken für ISO Dateien oder VMs verwendet werden, oder sollte dieser Pool ausschließlich für das System verwendet werden?

3. Wenn ich nun meine 2 x SSD 1 TB und 2 x SSD 480 GB als VM und Container Speicher nutzen möchte, wie werden diese in Proxmox verwendet bzw. wie gehe ich vor den Speicher dafür bereitzustellen? Win würdet Ihr die SSDs verwenden bzw. zur Nutzung in Proxmox einbinden?

4. Mir ist leider noch nicht ganz klar, worin der genaue Unterschied von LVM, LVM-Thin, Directory und ZFS besteht und worauf hier bei der Verwendung in Proxmox zu achten ist.

5. ZFS benötigt sehr viel Arbeitsspeicher, jedoch möchte ich von meinen VMs und Containern Snapshots machen können. Ist LVM da ressourcenschonender?

Ich möchte euch um euer Verständnis bitten, dass ich hier nicht wirklich viel Erfahrung mitbringe.

Ich bedanke mich bereits im Vorfeld für eure Zeit die Ihr euch zum lesen nehmt. Freue mich sehr über eure Antworten und verbleibe bis dahin mit

Besten Grüßen

psandro

Willkommen, bin auch seit Mai neu hier. Sorry für Grammatik im Vorfeld, hab es auf die schnelle getippt.

Ich würde abraten von system auf nvme + usb stick, lieber auf die 2x 480gb ssd im mirror. Lass das mit dem usb lieber ganz, die rauchen dir schneller ab als man denkt, vor allem beim logging was bei pve anfällt.

Die nvme bringt dir als pve root nichts, nehm sie lieber als l2arc oder slog für zfs dann boostet sie das ganze system.


1. Ein Swap Speicher wurde von der Installationsroutine nicht mit angelegt, benötigt man ggf. unter bestimmten Umständen dennoch einen Swap Speicher?

Nicht wirklich pve swapped kaum, denn es laufen ja keine wirklichen Prozesse. Swappen tut der Kernel und wirkt bei VM's entsprechend nicht. Bei VM's swap innerhalb des Guest anlegen. Für Container ist es sinnvoll. Swappen kann schnell zu Performance Problemen führen, besonders bei ZFS (hierbei besondere Einstellungen nötig https://github.com/zfsonlinux/pkg-zfs/wiki/HOWTO-use-a-zvol-as-a-swap-device).

2. kann verbleibender Speicher des Systempools (M.2 SSD und USB ZFS RAID 1) ohne Bedenken für ISO Dateien oder VMs verwendet werden, oder sollte dieser Pool ausschließlich für das System verwendet werden?

Klar kannst du machen.

3. Wenn ich nun meine 2 x SSD 1 TB und 2 x SSD 480 GB als VM und Container Speicher nutzen möchte, wie werden diese in Proxmox verwendet bzw. wie gehe ich vor den Speicher dafür bereitzustellen? Win würdet Ihr die SSDs verwenden bzw. zur Nutzung in Proxmox einbinden?

Ich würde alle mit ZFS verwenden, 2x 480gb ssd (raid1) für pve root system, 2x 1TB ssd (raid1) für vm / container, nvme als l2arc für alle zfs vdevs.

4. Mir ist leider noch nicht ganz klar, worin der genaue Unterschied von LVM, LVM-Thin, Directory und ZFS besteht und worauf hier bei der Verwendung in Proxmox zu achten ist.

Proxmox bietet viele Storage Möglichkeiten und sie unterscheiden sich alle stark voneinander. Wenn du keinen Cluster aufsetzt, würde ich zu ZFS raten, vor allem wenn dir deine Daten wichtig sind. Lies dir am besten die doku durch https://pve.proxmox.com/wiki/Storage

5. ZFS benötigt sehr viel Arbeitsspeicher, jedoch möchte ich von meinen VMs und Containern Snapshots machen können. Ist LVM da ressourcenschonender?

ZFS bietet dir sehr viele Features und kann nicht mit lvm verglichen werden. ZFS verbraucht auch nicht viel Arbeitsspeicher solange du es richtig konfigurierst. Wenn du die nvme nicht als l2arc verwendest braucht du 2-4gb ram als arc. ZFS ist ein cow (copy on write) Dateisystem.

 

[LnxBil]

5. ZFS benötigt sehr viel Arbeitsspeicher, jedoch möchte ich von meinen VMs und Containern Snapshots machen können. Ist LVM da ressourcenschonender?

Der Unterschied besteht aktuell in der Verwendung von Cache (OS und ARC von ZFS), beide cachen so viel sie können, nur ist der OS-Speicher leichter (aktuell der einzige) zu leeren, wenn man den Speicher anderweitig benötigt. Wenn der ARC mal bis zur maximal definierten Größe (Standardmäßig 50% des Arbeitsspeichers) gefüllt ist bekommst du ihn nicht mehr so leicht leer und hast Probleme dann weiter VMs zu Starten.

3. Wenn ich nun meine 2 x SSD 1 TB und 2 x SSD 480 GB als VM und Container Speicher nutzen möchte, wie werden diese in Proxmox verwendet bzw. wie gehe ich vor den Speicher dafür bereitzustellen? Win würdet Ihr die SSDs verwenden bzw. zur Nutzung in Proxmox einbinden?

Wenn sie ähnlich schnell sind dann gleich in einen gestrippten, gespiegelten Pool (sowas wir RAID10), damit hast du einen Pool und immer die maximal mögliche Geschwindigkeit. Ich würde darauf auch das System installieren wollen. Einen L2ARC würde ich bei nur 32 GB überhaupt nicht verwenden wollen, das ist nicht Zielführung und macht dein System nur langsamer, da du eh nicht viel ARC hast.

 

[psandro]

Willkommen, bin auch seit Mai neu hier. Sorry für Grammatik im Vorfeld, hab es auf die schnelle getippt.

Ich würde abraten von system auf nvme + usb stick, lieber auf die 2x 480gb ssd im mirror. Lass das mit dem usb lieber ganz, die rauchen dir schneller ab als man denkt, vor allem beim logging was bei pve anfällt.

Die nvme bringt dir als pve root nichts, nehm sie lieber als l2arc oder slog für zfs dann boostet sie das ganze system.


1. Ein Swap Speicher wurde von der Installationsroutine nicht mit angelegt, benötigt man ggf. unter bestimmten Umständen dennoch einen Swap Speicher?

Nicht wirklich pve swapped kaum, denn es laufen ja keine wirklichen Prozesse. Swappen tut der Kernel und wirkt bei VM's entsprechend nicht. Bei VM's swap innerhalb des Guest anlegen. Für Container ist es sinnvoll. Swappen kann schnell zu Performance Problemen führen, besonders bei ZFS (hierbei besondere Einstellungen nötig https://github.com/zfsonlinux/pkg-zfs/wiki/HOWTO-use-a-zvol-as-a-swap-device).

2. kann verbleibender Speicher des Systempools (M.2 SSD und USB ZFS RAID 1) ohne Bedenken für ISO Dateien oder VMs verwendet werden, oder sollte dieser Pool ausschließlich für das System verwendet werden?

Klar kannst du machen.

3. Wenn ich nun meine 2 x SSD 1 TB und 2 x SSD 480 GB als VM und Container Speicher nutzen möchte, wie werden diese in Proxmox verwendet bzw. wie gehe ich vor den Speicher dafür bereitzustellen? Win würdet Ihr die SSDs verwenden bzw. zur Nutzung in Proxmox einbinden?

Ich würde alle mit ZFS verwenden, 2x 480gb ssd (raid1) für pve root system, 2x 1TB ssd (raid1) für vm / container, nvme als l2arc für alle zfs vdevs.

4. Mir ist leider noch nicht ganz klar, worin der genaue Unterschied von LVM, LVM-Thin, Directory und ZFS besteht und worauf hier bei der Verwendung in Proxmox zu achten ist.

Proxmox bietet viele Storage Möglichkeiten und sie unterscheiden sich alle stark voneinander. Wenn du keinen Cluster aufsetzt, würde ich zu ZFS raten, vor allem wenn dir deine Daten wichtig sind. Lies dir am besten die doku durch https://pve.proxmox.com/wiki/Storage

5. ZFS benötigt sehr viel Arbeitsspeicher, jedoch möchte ich von meinen VMs und Containern Snapshots machen können. Ist LVM da ressourcenschonender?

ZFS bietet dir sehr viele Features und kann nicht mit lvm verglichen werden. ZFS verbraucht auch nicht viel Arbeitsspeicher solange du es richtig konfigurierst. Wenn du die nvme nicht als l2arc verwendest braucht du 2-4gb ram als arc. ZFS ist ein cow (copy on write) Dateisystem.

Hallo H4RO,

vielen Dank für deine schnelle und ausführliche Antwort. Soweit habe ich alles verstanden, einiges Bedarf aber meiner erneuten Rückfrage:

Es handelt sich bei der von mir verwendeten M.2 SSD tatsächlich nur um eine SSD, keine nvme. Gegebenenfalls, könnte diese Information ja Einfluss auf deine Empfehlung zur Verwendung haben.

Gehe ich richtig in der Annahme, dass die Einrichtung dann wie folgt aussehen würde (kurze Wiederholung deiner Emfehlung um sicher zu gehen, dass ich es verstanden habe):

Ich installiere Proxmox neu, muss hierfür wohl zunächst die Subscription irgendwie aus der aktuellen Installation entfernen um diese nach der Neuinstallation in meiner finalen Proxmox Installation verwenden zu können.

Bei der Installation gehe ich dann folgendermaßen vor:

1. Ich installiere Proxmox auf die 2x 480gb ssd (raid1) für das pve root system.

2. Nach der Installation lege ich unter Disks dann einen zweiten ZFS Raid1 Verbund mit den 2x 1TB SSDs an.

3. Nun müsste noch die M.2 SSD als l2arc für alle zfs vdevs eingerichtet werden. Kann ich das einfach über das Webinterface von Proxmox erledigen oder muss das über die Konsole / SSH erledigt werden?

4. Den USB Stick könnte ich doch ggf. noch für ISO Files verwenden, oder?

Über Antwort und Hilfe zu meinen Fragen würde ich mich freuen.

Vielen lieben Dank

psandro

 

[psandro]

Der Unterschied besteht aktuell in der Verwendung von Cache (OS und ARC von ZFS), beide cachen so viel sie können, nur ist der OS-Speicher leichter (aktuell der einzige) zu leeren, wenn man den Speicher anderweitig benötigt. Wenn der ARC mal bis zur maximal definierten Größe (Standardmäßig 50% des Arbeitsspeichers) gefüllt ist bekommst du ihn nicht mehr so leicht leer und hast Probleme dann weiter VMs zu Starten.



Wenn sie ähnlich schnell sind dann gleich in einen gestrippten, gespiegelten Pool (sowas wir RAID10), damit hast du einen Pool und immer die maximal mögliche Geschwindigkeit. Ich würde darauf auch das System installieren wollen. Einen L2ARC würde ich bei nur 32 GB überhaupt nicht verwenden wollen, das ist nicht Zielführung und macht dein System nur langsamer, da du eh nicht viel ARC hast.

Hallo LnxBil,

vielen lieben Dank auch für deine Informationen, habe deine Antwort gerade erst gelesen.

Da es ja tatsächlich verschiedene Herangehensweisen gibt, möchte ich dich zu deinem Vorschlag gern auch noch das ein oder andere Fragen:

1. Kann ich aus deinem ersten Absatz entnehmen, dass du mir dir ZFS Installation nicht rätst und ich eher die Variante mit LVM nehmen sollte, da hier der Swap bei Notwendigkeit einfacher zu leeren ist?

2. In deinem zweiten Absatz hast du darauf hingewiesen, dass ich gleich einen gestrippten, gespiegelten Pool (RAID 10) verwenden sollte. Meinst du damit einen Pool aus allen 4 SSDs oder jeweil die Paare (2 x 480 GB und 2 x 1 TB)?

3. Ich gehe auch davon aus, dass du mir wie H4RO auch, keine Installation von pve auf der M.2 SSD und USB Stick empfiehlst.
Wofür würdest du dann die M.2 SSD und Stick verwenden, wenn bei deinem Vorschlag Proxmox VE mit auf dem Pool der größeren SSDs liegt.

Freue mich ebenfalls sehr auf deine Rückmeldung und bedanke mich schon im Voraus für deine Hilfe.

Beste Grüße

psandro

 

[H4R0]

Hallo H4RO,

vielen Dank für deine schnelle und ausführliche Antwort. Soweit habe ich alles verstanden, einiges Bedarf aber meiner erneuten Rückfrage:

Es handelt sich bei der von mir verwendeten M.2 SSD tatsächlich nur um eine SSD, keine nvme. Gegebenenfalls, könnte diese Information ja Einfluss auf deine Empfehlung zur Verwendung haben.

Gehe ich richtig in der Annahme, dass die Einrichtung dann wie folgt aussehen würde (kurze Wiederholung deiner Emfehlung um sicher zu gehen, dass ich es verstanden habe):

Ich installiere Proxmox neu, muss hierfür wohl zunächst die Subscription irgendwie aus der aktuellen Installation entfernen um diese nach der Neuinstallation in meiner finalen Proxmox Installation verwenden zu können.

Bei der Installation gehe ich dann folgendermaßen vor:

1. Ich installiere Proxmox auf die 2x 480gb ssd (raid1) für das pve root system.

2. Nach der Installation lege ich unter Disks dann einen zweiten ZFS Raid1 Verbund mit den 2x 1TB SSDs an.

3. Nun müsste noch die M.2 SSD als l2arc für alle zfs vdevs eingerichtet werden. Kann ich das einfach über das Webinterface von Proxmox erledigen oder muss das über die Konsole / SSH erledigt werden?

4. Den USB Stick könnte ich doch ggf. noch für ISO Files verwenden, oder?

Über Antwort und Hilfe zu meinen Fragen würde ich mich freuen.

Vielen lieben Dank

psandro

1. Ich installiere Proxmox auf die 2x 480gb ssd (raid1) für das pve root system.

zfs (raid1)

2. Nach der Installation lege ich unter Disks dann einen zweiten ZFS Raid1 Verbund mit den 2x 1TB SSDs an.

Genau, kannst du in der gui oder per cli machen

3. Nun müsste noch die M.2 SSD als l2arc für alle zfs vdevs eingerichtet werden. Kann ich das einfach über das Webinterface von Proxmox erledigen oder muss das über die Konsole / SSH erledigt werden?

Kann man nur in der cli anlegen. l2arc oder slog nur auf schnellen festplatten (2.5gb+/sec) = pcie nvme

4. Den USB Stick könnte ich doch ggf. noch für ISO Files verwenden, oder?

Kannst du machen, ich sehe persoehnlich aber nicht den sinn. Die iso lieber auf pve root, die 1,5TB muessten dir doch reichen oder ? 120gb sind ja nichts.. Aber wenn du moechtest mach es.


Wichtig ist im anschluss den arc von zfs zu begrenzen auf 2-4gb wie erwaehnt.

Zusaetzlich setzt dich mit thin provisioning auseinander und teste es, aktiviere immer discard und ssd emulation (bei linux guest zusaetzlich"discard" option in /etc/fstab setzen)

 

[psandro]

@lxnbil raid10 funktioniert nur bei gleich grossen festplatten.


1. Ich installiere Proxmox auf die 2x 480gb ssd (raid1) für das pve root system.

zfs (raid1)

2. Nach der Installation lege ich unter Disks dann einen zweiten ZFS Raid1 Verbund mit den 2x 1TB SSDs an.

Genau, kannst du in der gui oder per cli machen

3. Nun müsste noch die M.2 SSD als l2arc für alle zfs vdevs eingerichtet werden. Kann ich das einfach über das Webinterface von Proxmox erledigen oder muss das über die Konsole / SSH erledigt werden?

Kann man nur in der cli anlegen. l2arc oder slog nur auf schnellen festplatten (2.5gb+/sec) = pcie nvme

4. Den USB Stick könnte ich doch ggf. noch für ISO Files verwenden, oder?

Kannst du machen, ich sehe persoehnlich aber nicht den sinn. Die iso lieber auf pve root, die 1,5TB muessten dir doch reichen oder ? 120gb sind ja nichts.. Aber wenn du moechtest mach es.


Wichtig ist im anschluss den arc von zfs zu begrenzen auf 2-4gb wie erwaehnt.

Zusaetzlich setzt dich mit thin provisioning auseinander und teste es, aktiviere immer discard und ssd emulation (bei linux guest zusaetzlich"discard" option in /etc/fstab setzen)

Hallo H4RO,

danke für die schnelle Antwort. Sorry, aber da hat sich nun doch noch die ein oder andere Frage aufgetan:

Meine M.2 SSD kann Lesen 560 MB/s und Schreiben 500 MB/s, somit scheint diese dann wohl gemäß deiner Information nicht Sinnvoll für l2arc oder Slog nutzbar zu sein. Hättest du eine Idee wofür man diese dann Sinnvoll im System verwenden könnte?

Gibt es ggf. eine dir bekannte Anleitung um den arc von zfs auf 2-4gb zu begrenzen?

Ich kenne die thin provisioning von meiner QNAP und dort im Zusammenhang mit dem Erstellen von Thick-, Thin- und statischen Volumes. Ist das bei Proxmox ähnlich?

Ich sage nochmal Danke vorab für die Rückmeldung.

Beste Grüße

psandro

 

[H4R0]

Hallo H4RO,

danke für die schnelle Antwort. Sorry, aber da hat sich nun doch noch die ein oder andere Frage aufgetan:

Meine M.2 SSD kann Lesen 560 MB/s und Schreiben 500 MB/s, somit scheint diese dann wohl gemäß deiner Information nicht Sinnvoll für l2arc oder Slog nutzbar zu sein. Hättest du eine Idee wofür man diese dann Sinnvoll im System verwenden könnte?

Gibt es ggf. eine dir bekannte Anleitung um den arc von zfs auf 2-4gb zu begrenzen?

Ich kenne die thin provisioning von meiner QNAP und dort im Zusammenhang mit dem Erstellen von Thick-, Thin- und statischen Volumes. Ist das bei Proxmox ähnlich?

Ich sage nochmal Danke vorab für die Rückmeldung.

Beste Grüße

psandro

Fuer l2arc oder slog ist deine m.2 dann zu langsam. Wie schnell sind denn die anderen SSD's ?
Eventuell macht es sinn die M.2 fuer 1-2 dedizierte vm's zu nutzen damit sie schneller laufen (Falls du was hast was mehr I/O benoetigt). Hierbei sind dann aber Backups wichtig, die m.2 laeuft halt nicht im raid. Anonsten fuer iso, backups etc. Kommt aber schnell an die grenze. Persoehnlich wurde ich die m.2 und den usb fuer andere systeme verwenden. Du kannst sie auch einfach drin lassen und eventuell faellt dir spaeter noch was ein.

zfs kernel optionen stellst du in /etc/modprobe.d/zfs.conf ein, z. B. :

# min 1GB, max 2GB
options zfs zfs_arc_min=1073741824
options zfs zfs_arc_max=2147483648

Sollte bei 32gb ram ausreichen mit 1-2gb, kannst aber auch 2-4gb nehmen. Du begrenzt hier den cache, zfs laedt erst daten in ram und dann auf die disk, je mehr arc desto besser. Somit kannst du z. B 10gb uebers netzwerk auszreizen obwohl dein storage nur 1gb kann. Wenn du es nicht begrenzt nimmt zfs ansonsten 50% deines ram als max arc. Zusaetzlich werden haeufig angeforderte dateien zwischengespeichert im ram etc. pp.

Bei thin provisioning geht es darum dass du ueber commiten kannst. Sprich du legst ein volume von 240gb an, dein quest verbaucht aber real z.B nur 4gb. Wichtig ist hierbei das viele discard vergessen, discard leitet loesch anfragen der daten an den hypervisor weiter. Fehlt dies, weiss der hypervisor nicht das daten geloescht wurden und dein guest volume waechst immer weiter bis kein speicher mehr frei ist. Du musst beim anlegen der vm bei proxmox den hacken bei "discard" und "ssd emulatuion" setzen. Windows erkennt discard dann automatisch unter linux musst du aber noch die discard option in /etc/fstab setzen. Geh sicher das daten auf dem hypervisor geloescht werden. Du kannst den Speicherverbrauch mit "zfs list" pruefen. Lad eine grosse iso runter im guest, guck das der speichert auf dem hypervisor verbraucht ist, loesch anschliessen die iso und pruef das der speicher wieder frei ist. Machst du das nicht ist dein storage schnell voll.

 

[psandro]

Fuer l2arc oder slog ist deine m.2 dann zu langsam. Wie schnell sind denn die anderen SSD's ?
Eventuell macht es sinn die M.2 fuer 1-2 dedizierte vm's zu nutzen damit sie schneller laufen (Falls du was hast was mehr I/O benoetigt). Hierbei sind dann aber Backups wichtig, die m.2 laeuft halt nicht im raid. Anonsten fuer iso, backups etc. Kommt aber schnell an die grenze. Persoehnlich wurde ich die m.2 und den usb fuer andere systeme verwenden. Du kannst sie auch einfach drin lassen und eventuell faellt dir spaeter noch was ein.

zfs kernel optionen stellst du in /etc/modprobe.d/zfs.conf ein, z. B. :

# min 1GB, max 2GB
options zfs zfs_arc_min=1073741824
options zfs zfs_arc_max=2147483648

Sollte bei 32gb ram ausreichen mit 1-2gb, kannst aber auch 2-4gb nehmen. Du begrenzt hier den cache, zfs laedt erst daten in ram und dann auf die disk, je mehr arc desto besser. Somit kannst du z. B 10gb uebers netzwerk auszreizen obwohl dein storage nur 1gb kann. Wenn du es nicht begrenzt nimmt zfs ansonsten 50% deines ram als max arc. Zusaetzlich werden haeufig angeforderte dateien zwischengespeichert im ram etc. pp.

Bei thin provisioning geht es darum dass du ueber commiten kannst. Sprich du legst ein volume von 240gb an, dein quest verbaucht aber real z.B nur 4gb. Wichtig ist hierbei das viele discard vergessen, discard leitet loesch anfragen der daten an den hypervisor weiter. Fehlt dies, weiss der hypervisor nicht das daten geloescht wurden und dein guest volume waechst immer weiter bis kein speicher mehr frei ist. Du musst beim anlegen der vm bei proxmox den hacken bei "discard" und "ssd emulatuion" setzen. Windows erkennt discard dann automatisch unter linux musst du aber noch die discard option in /etc/fstab setzen. Geh sicher das daten auf dem hypervisor geloescht werden. Du kannst den Speicherverbrauch mit "zfs list" pruefen. Lad eine grosse iso runter im guest, guck das der speichert auf dem hypervisor verbraucht ist, loesch anschliessen die iso und pruef das der speicher wieder frei ist. Machst du das nicht ist dein storage schnell voll.

Guten Abend,

die anderen SSDs sind mit lesen 540 MB/s und schreiben 500 MB/s auch nicht so schnell. Hatte noch vergessen nachzufragen, ob ich bei der Neuinstallation deiner Meinung nach auch weiterhin die Komprimierung lz4 verwenden sollte?

Ursprünglich hatte ich die M.2 SSD angeschafft, da ich davon ausgegangen bin, dass das System (also Proxmox selbst) auf einem eigenen Speichermedium betrieben wird und somit unabhängig von VMs und Containern. Hatte da noch nicht daran gedacht, dass ggf. auch das System selbst im Raid Verbund laufen sollte. Nur mal so am Rande gefragt, gibt es denn bei Proxmox eine Möglichkeit die Proxmox-Konfiguration ähnlich wie bei der Fritz!Box zu sichern und wenn das System mal abschmiert z.B. wegen Defekt der SSD, diese wieder einzuspielen? Die VMs selbst liegen ja dann an anderer Stelle und ggf. auch im Raid.

Ich hoffe nur das meine Fragerei hier nicht zu nervig ist. Freue mich auf Antwort und bedanke mich sehr für die tolle Unterstützung die ich bisher hier erfahren durfte.

Besten Dank

psandro

 

[H4R0]

Guten Abend,

die anderen SSDs sind mit lesen 540 MB/s und schreiben 500 MB/s auch nicht so schnell. Hatte noch vergessen nachzufragen, ob ich bei der Neuinstallation deiner Meinung nach auch weiterhin die Komprimierung lz4 verwenden sollte?

Ursprünglich hatte ich die M.2 SSD angeschafft, da ich davon ausgegangen bin, dass das System (also Proxmox selbst) auf einem eigenen Speichermedium betrieben wird und somit unabhängig von VMs und Containern. Hatte da noch nicht daran gedacht, dass ggf. auch das System selbst im Raid Verbund laufen sollte. Nur mal so am Rande gefragt, gibt es denn bei Proxmox eine Möglichkeit die Proxmox-Konfiguration ähnlich wie bei der Fritz!Box zu sichern und wenn das System mal abschmiert z.B. wegen Defekt der SSD, diese wieder einzuspielen? Die VMs selbst liegen ja dann an anderer Stelle und ggf. auch im Raid.

Ich hoffe nur das meine Fragerei hier nicht zu nervig ist. Freue mich auf Antwort und bedanke mich sehr für die tolle Unterstützung die ich bisher hier erfahren durfte.

Besten Dank

psandro

LZ4 solltest du immer verwenden, es gibt keinen overhead.

Du musst proxmox nicht unbedingt im raid betreiben, ist dann aber ein Spof. Proxmox bietet auch keine backup funktion selbst.

Du kannst die Dateien unter /etc/pve sichern, was noch gebraucht wird kann ich dir nicht sagen.

Ich habe noch keinen proxmox neu aufsetzen muessen. Ich sichere aber alle Dateien unter /etc und hab zusaetzlich ein voll backup.

Zudem schau dir mal zfs-autosnapshot an, damit kannst du automatisch alle 5 minuten ein snapshot anlegen und somit ein rollback durchfuehren,

Sollte mal ein pve update probleme machen (was bei mir bereits 4 wochen nach installation war, hat alle vm's lamgelegt.. problem seitens proxmox https://forum.proxmox.com/threads/vms-wont-boot-after-upgrade.69440/) kannst du einfach zurueck gehen.

 

[LnxBil]

1. Kann ich aus deinem ersten Absatz entnehmen, dass du mir dir ZFS Installation nicht rätst und ich eher die Variante mit LVM nehmen sollte, da hier der Swap bei Notwendigkeit einfacher zu leeren ist?

Ich würde immer ZFS nehmen.

2. In deinem zweiten Absatz hast du darauf hingewiesen, dass ich gleich einen gestrippten, gespiegelten Pool (RAID 10) verwenden sollte. Meinst du damit einen Pool aus allen 4 SSDs oder jeweil die Paare (2 x 480 GB und 2 x 1 TB)?

Ja.

3. Ich gehe auch davon aus, dass du mir wie H4RO auch, keine Installation von pve auf der M.2 SSD und USB Stick empfiehlst.
Wofür würdest du dann die M.2 SSD und Stick verwenden, wenn bei deinem Vorschlag Proxmox VE mit auf dem Pool der größeren SSDs liegt.

Richtig, Wenn es kein industrial USB-Stick mit hoher Write Endurance ist, auf keinen Fall. Wenn man ihn unbedingt verwenden will vielleicht für Swap.

@lxnbil raid10 funktioniert nur bei gleich grossen festplatten.

Bei den meisten Hardware RAID10 geht das vielleicht nicht, wir haben aber einen gestrippten ZFS Mirror, dem ist das egal. Man kann in ZFS sehr wohl verschieden große Disks strippen. Wichtig ist, dass man die gleich großen spiegelt und das dann strippt. Er verteilt die Daten dann automatisch.

Meine M.2 SSD kann Lesen 560 MB/s und Schreiben 500 MB/s, somit scheint diese dann wohl gemäß deiner Information nicht Sinnvoll für l2arc oder Slog nutzbar zu sein. Hättest du eine Idee wofür man diese dann Sinnvoll im System verwenden könnte?

Für ZIL/SLOG kommt es nicht auf den Durchsatz an, sondern auf die Latenz und die damit verbundenen maximalen IOPS. Wenn das ZIL/SLOG nicht schneller ist, als das Geräte von dem Arbeit wegschaffen soll, dann macht es keinen Sinn. Sinnvoll ist es wenn man NVME/Optane hat für ein SSD-Pool oder eben eine SSD für einen Festplattenpool.


Sonst stimme ich noch allem was H4R0 sagt zu.

 

[fre4ki]

Bin auch relativ neu mit Proxmox. Ich habe 3 Intel NUCs (NUC10i7), boote das System jeweils von SATA und Daten hab ich auf NVME (Evo Pro).

Hatte mit ZFS angefangen weil ich nur gutes darüber gelesen hatte. Hab dann schnell zu XFS gewechselt weil ZFS unglaublich viel Arbeitsspeicher verwendet hat. Ob XFS die richtige Wahl ist, da bin ich mir auch nicht sicher (evtl. ext4 oder BTFRS?).

Die RAM Geschichte kann man hier nachlesen:

https://forum.proxmox.com/threads/ram-usage-massive-over-vms-ram-size.70347/

PS: auf USB Stick installieren? Würde ich nicht empfehlen. Hab da schon mit VMware keine guten Erfahrungen gemacht..