[SOLVED] Proxmox VE Fragen an die Community

[Marijutscho]

Hallo liebe Community.

Als neu Einsteiger und demnächst als führender Verantwortlicher eines Proxmox Clusters habe ich diesbezüglich einige Fragen, vielleicht könnt Ihr mir weiter helfen.

Mein Testsystem sieht folgendermaßen aus:

2 x MS01 Minisforum (Als Testumgebung) später im Echtbetrieb sollen die Arbeit 3 x DL380 G9 und 3 x DL380 G10 von HP übernehmen)

Ausstattung:
Prozessor: Intel(R) Core(TM) i9-12900H
RAM: 62 GB
Netzwerk: 2 x 2,5 GBit / 2 x 10 GBit / 2 x ThunderBolt (Nicht im Betrieb)

Festplatten Konfiguration:


1 x Synology NAS (DS1621+) Iscsi Speicher als VM und ISO Speicher)

Ausstattung:
Festplatten: 6 x SSD
1 x NVME als Cache
Netzwerkkarten: 4 x 1GBit / 2 x 10 GBit
Ram: 32 GB

Da dies ein 2-Node Cluster ist, läuft ein QDevice auf dem Synology NAS

Proxmox Version: 8.4.5

Was ich bisher getan habe:

Ich habe die Nodes mit Proxmox VE Installiert, die Netzwerke definiert und den Ceph Cluster zum laufen gebracht.
Anschließend habe ich eine LUN vom Synology eingebunden (ohne Multipath) und im Cluster hochverfügbar gemacht. (Erster Fehler: Ich habe auf die LUN (LVM) eingesetzt.

Im Nachgang sind mir ein paar Dinge aufgefallen die ich noch nicht lösen konnte, deshalb die Frage an euch.

1. Ich habe auf dem Iscsi Laufwerk ein paar Virtuelle PC´s Installiert (Windows, Linux) und müsste jetzt aber die LVM auf dem Iscsi gegen eine ZFS over Iscsi tauschen, ist das möglich ohne Datenverlust? (Grund: Auf LVM sind keine Snapshoots möglich)
Meine Vermutung ist, das dies nicht möglich sein wird, Vorteil Veeam Backup ist vorhanden und alle VM´s sind gesichert.

2. Wenn ich versuche ISO Images auf den Lokalen Storage eines Nodes zu laden, bleibt der Fortschritt bei 0% stehen, der Upload hat aber nach der Installation schon mal funktioniert.

3. Ich habe nach der Installation der Systeme festgestellt, dass das Iscsi Laufwerk mit 2 TB etwas zu klein geraten ist und habe die LUN auf dem Synology NAS auf 4 TB erweitert,
das ist aber bisher nicht am Proxmox Cluster angekommen, kann man das Volume am Cluster nachträglich vergrößern?


Ich bin wohl als Anfänger einigen Irrtümern zum Opfer gefallen, aber vielleicht lässt sich Dank eurer Hilfe noch was Retten


PS: Ich habe mir mittlerweile einen 4 Tages Kurs für Proxmox VE gebucht, dauert aber noch bis dieser stattfindet.

Ich bedanke mich vorab

Gruß
Marijutscho

 

[sterzy]

1. Ich habe auf dem Iscsi Laufwerk ein paar Virtuelle PC´s Installiert (Windows, Linux) und müsste jetzt aber die LVM auf dem Iscsi gegen eine ZFS over Iscsi tauschen, ist das möglich ohne Datenverlust? (Grund: Auf LVM sind keine Snapshoots möglich)
Meine Vermutung ist, das dies nicht möglich sein wird, Vorteil Veeam Backup ist vorhanden und alle VM´s sind gesichert.

ZFS over iSCSI hilft leider in dem Fall nicht viel, wenn Synology selbst nicht das ZFS anbietet. Leider ist die Benennung hier etwas verwirrend, aber ZFS over iSCSI bedeutet, dass auf einem Host ZFS Volumen via iSCSI an ein PVE Cluster zur Verfügung gestellt werden. Nicht, dass auf einer iSCSI LUN ZFS statt LVM zur Anwendung kommt.

Mit PVE 9 ist hier allerdings ein neues Feature geplant, dass dieses Problem (keine Snapshots auf shared LVM) löst: "snapshots as volume chains", allerdings handelt es sich hier noch um eine Technologievorschau.

Weitere Möglichkeiten wie damit umgegangen werden kann, sind auch in der Wiki aufgelistet [1].

[1]: https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Storage_boxes_(SAN/NAS)

2. Wenn ich versuche ISO Images auf den Lokalen Storage eines Nodes zu laden, bleibt der Fortschritt bei 0% stehen, der Upload hat aber nach der Installation schon mal funktioniert.

Gibt es in der Konsole der Entwicklungstools des Browser irgendwelche Meldungen (F12 drücken um diese zu öffnen)? Oder irgendwelche Meldungen in den Logs der Node?

3. Ich habe nach der Installation der Systeme festgestellt, dass das Iscsi Laufwerk mit 2 TB etwas zu klein geraten ist und habe die LUN auf dem Synology NAS auf 4 TB erweitert,

Dafür muss vermutlich zuerst das LUN ge-rescant werden (iscsiadm --mode session --rescan), danach muss mit pvresize das LVM geresized werden.

 

[Marijutscho]

Hallo @sterzy

Zu Punkt 1: Iscsi LUN, habe ich verstanden, das heißt ich warte dann damit auf die nächste Version, Backups laufen später und jetzt sowieso über Veeam Enterprise.

Zu Punkt 2: (Kein Upload der Isos möglich)
Ich habe deinen Rat befolgt, wenn ich mit F12 die Dev Tools öffne erscheinen keine Meldungen nach dem Klick auf Upload.
Gibt es Befehle in der Shell auf dem Proxmox Host die ich ausprobieren könnte? Im übrigen der Upload per SCP in das Verzeichnis /var/lib/vz/template/iso funktioniert einwandfrei, die Images erscheinen dann auch auf der Web UI.

Zu Punkt 3: Iscsi Rescan werde ich testen, vielleicht habe ich Glück



Danke für deine Hilfe
Gruß
Marijutscho

 

[Marijutscho]

Hallo @sterzy

Kurzes Update: Zu Punkt 3. Iscsi LUN Erweiterung.

Ich habe folgendes durchgeführt:

iscsiadm --mode session --rescan
pvs -a -o +devices (Laufwerk identifizieren)
pvresize /dev/sda

Hat einwandfrei Funktioniert.
Danke

 

[sterzy]

Zu Punkt 1: Iscsi LUN, habe ich verstanden, das heißt ich warte dann damit auf die nächste Version, Backups laufen später und jetzt sowieso über Veeam Enterprise.

Wenn warten eine Option in dem Fall ist, dann ja.

Zu Punkt 2: (Kein Upload der Isos möglich)
Ich habe deinen Rat befolgt, wenn ich mit F12 die Dev Tools öffne erscheinen keine Meldungen nach dem Klick auf Upload.
Gibt es Befehle in der Shell auf dem Proxmox Host die ich ausprobieren könnte? Im übrigen der Upload per SCP in das Verzeichnis /var/lib/vz/template/iso funktioniert einwandfrei, die Images erscheinen dann auch auf der Web UI.

Am besten auf der Node mal journalctl -f ausführen während der Upload läuft und dann den Output hier posten.

iscsiadm --mode session --rescan
pvs -a -o +devices (Laufwerk identifizieren)
pvresize /dev/sda

Hat einwandfrei Funktioniert.
Danke

Bitte gerne!

 

[Marijutscho]

Hallo noch einmal.

Zum Thema ISO Upload kann ich folgendes sagen.

Ich benutze den Brave Browser, ich werde gleich noch einmal einen anderen benutzen, aber bisher habe
ich folgendes Ergebnis:

Screenshot 1: Auswahl des Images.

Log Nachrichten nach dem Klicken auf Upload

Jul 28 11:37:29 prox01 systemd-logind[801]: Removed session 3150.
Jul 28 11:38:29 prox01 sshd[616283]: Accepted password for root from 172.16.10.50 port 59378 ssh2
Jul 28 11:38:29 prox01 sshd[616283]: pam_unix(sshd:session): session opened for user root(uid=0) by (uid=0)
Jul 28 11:38:29 prox01 systemd-logind[801]: New session 3151 of user root.
Jul 28 11:38:29 prox01 systemd[1]: Started session-3151.scope - Session 3151 of User root.
Jul 28 11:38:29 prox01 sshd[616283]: pam_env(sshd:session): deprecated reading of user environment enabled
Jul 28 11:38:29 prox01 sshd[616283]: Received disconnect from 172.16.10.50 port 59378:11: Connection terminated by the client.
Jul 28 11:38:29 prox01 sshd[616283]: Disconnected from user root 172.16.10.50 port 59378
Jul 28 11:38:29 prox01 sshd[616283]: pam_unix(sshd:session): session closed for user root
Jul 28 11:38:29 prox01 systemd[1]: session-3151.scope: Deactivated successfully.
Jul 28 11:38:29 prox01 systemd-logind[801]: Session 3151 logged out. Waiting for processes to exit.
Jul 28 11:38:29 prox01 systemd-logind[801]: Removed session 3151.
Jul 28 11:38:42 prox01 pvedaemon[584192]: <root@pam> successful auth for user 'root@pam'
Jul 28 11:39:30 prox01 sshd[616607]: Accepted password for root from 172.16.10.50 port 59441 ssh2
Jul 28 11:39:30 prox01 sshd[616607]: pam_unix(sshd:session): session opened for user root(uid=0) by (uid=0)
Jul 28 11:39:30 prox01 systemd-logind[801]: New session 3152 of user root.
Jul 28 11:39:30 prox01 systemd[1]: Started session-3152.scope - Session 3152 of User root.
Jul 28 11:39:30 prox01 sshd[616607]: pam_env(sshd:session): deprecated reading of user environment enabled
Jul 28 11:39:30 prox01 sshd[616607]: Received disconnect from 172.16.10.50 port 59441:11: Connection terminated by the client.
Jul 28 11:39:30 prox01 sshd[616607]: Disconnected from user root 172.16.10.50 port 59441
Jul 28 11:39:30 prox01 sshd[616607]: pam_unix(sshd:session): session closed for user root
Jul 28 11:39:30 prox01 systemd[1]: session-3152.scope: Deactivated successfully.
Jul 28 11:39:30 prox01 systemd-logind[801]: Session 3152 logged out. Waiting for processes to exit.
Jul 28 11:39:30 prox01 systemd-logind[801]: Removed session 3152.
Jul 28 11:40:30 prox01 sshd[616901]: Accepted password for root from 172.16.10.50 port 59487 ssh2
Jul 28 11:40:30 prox01 sshd[616901]: pam_unix(sshd:session): session opened for user root(uid=0) by (uid=0)
Jul 28 11:40:30 prox01 systemd-logind[801]: New session 3153 of user root.
Jul 28 11:40:30 prox01 systemd[1]: Started session-3153.scope - Session 3153 of User root.
Jul 28 11:40:30 prox01 sshd[616901]: pam_env(sshd:session): deprecated reading of user environment enabled
Jul 28 11:40:30 prox01 sshd[616901]: Received disconnect from 172.16.10.50 port 59487:11: Connection terminated by the client.
Jul 28 11:40:30 prox01 sshd[616901]: Disconnected from user root 172.16.10.50 port 59487
Jul 28 11:40:30 prox01 sshd[616901]: pam_unix(sshd:session): session closed for user root
Jul 28 11:40:30 prox01 systemd[1]: session-3153.scope: Deactivated successfully.
Jul 28 11:40:30 prox01 systemd-logind[801]: Session 3153 logged out. Waiting for processes to exit.
Jul 28 11:40:30 prox01 systemd-logind[801]: Removed session 3153.

Screenshot 2: Status des Uploads: Der Status auf der UI bleibt unverändert.


Vielen Dank noch mal für die schnelle Hilfe.
Marijutscho

 

[Falk R.]

Du brauchst auch nicht auf PVE9 warten.
Veeam kann genauso wie der PBS auch Snapshot Backups machen, auch wenn LVM keine Snapshots unterstützt.
Nicht vom alten VMware Wissen verwirren lassen.
Die Backup Snapshots werden im qemu Layer gemacht und sind keine klassischen Dateibasierten Snapshots.

 

[Marijutscho]

Du brauchst auch nicht auf PVE9 warten.
Veeam kann genauso wie der PBS auch Snapshot Backups machen, auch wenn LVM keine Snapshots unterstützt.
Nicht vom alten VMware Wissen verwirren lassen.
Die Backup Snapshots werden im qemu Layer gemacht und sind keine klassischen Dateibasierten Snapshots.

Hallo @Falk R.

Danke für deine Infos, ich habe das Veeam Backup eingerichtet und es funktioniert einwandfrei.

Hast du evtl. noch eine Idee warum ich keine ISO Images Uploaden kann?

Versucht habe ich es mit dem Brave und Edge Browser, leider haben beide nicht funktioniert.

Danke vorab
Marijutscho

 

[ThoSo]

Ist unter var/tmp genug speicher frei?
Evtl. Mal prüfen was dort so lagert.

 

[Falk R.]

Hallo @Falk R.

Danke für deine Infos, ich habe das Veeam Backup eingerichtet und es funktioniert einwandfrei.

Hast du evtl. noch eine Idee warum ich keine ISO Images Uploaden kann?

Versucht habe ich es mit dem Brave und Edge Browser, leider haben beide nicht funktioniert.

Danke vorab
Marijutscho

Da habe ich spontan keine Idee, aber bei vSphere gab es mal ähnliche Probleme und da habe ich einen Chrome mit der Option

--ignore-certificate-errors

gestartet. Eventuell hilft dir das hier. Aber immer zuerst checken ob auf dem root Mountpoint genug Platz ist.

 

[sterzy]

Hallo noch einmal.

Zum Thema ISO Upload kann ich folgendes sagen.

Ich benutze den Brave Browser, ich werde gleich noch einmal einen anderen benutzen, aber bisher habe
ich folgendes Ergebnis:

Danke für die Infos, was sagt denn der Befehl df -h /var/tmp?

 

[Marijutscho]

Hallo @sterzy @Falk R.

Ich habe jetzt mit meinem Arbeitskollegen noch einmal Intensiv gesucht und wir haben folgendes heraus gefunden.

Ich hatte es versäumt zu erwähnen, das ich einen Nginx Proxy Manager einsetzte für die Zertifikate und dem Reverse Lookup,
das Problem mit dem Upload war, das der Nginx scheinbar ein größen Limit für Uploads eingestellt hat.

Ich konnte das Problem folgendermaßen lösen:

Auf dem Nginx Proxy Host muss unter Advanced noch ein Eintrag eingefügt werden : client_max_body_size 15G;
Ich weiß nicht ob 15GB nicht ein wenig hoch sind aber damit funktioniert es

Hier noch einmal die Komplette Konfig des Proxy Hosts unter Nginx.



Danke
Gruß
Marijutscho