Server stoppen plötzlich!

[fpausp]

Hab zwei HP Microserver Gen10 mit PVE7 laufen wo es seit kurzem zu plötzlichen shutdowns kommt...

Hab die syslog durchforstet und folgendes gefunden:

root@pvestor21:~# cat /var/log/syslog | grep pve-ha-crm
Jan 30 01:31:35 pvestor21 pve-ha-crm[1526]: received signal TERM
Jan 30 01:31:35 pvestor21 pve-ha-crm[1526]: server received shutdown request
Jan 30 01:31:35 pvestor21 pve-ha-crm[1526]: server stopped
Jan 30 15:32:52 pvestor21 pve-ha-crm[1481]: starting server
Jan 30 15:32:52 pvestor21 pve-ha-crm[1481]: status change startup => wait_for_quorum
Jan 30 16:47:04 pvestor21 pve-ha-crm[1481]: received signal TERM
Jan 30 16:47:04 pvestor21 pve-ha-crm[1481]: server received shutdown request
Jan 30 16:47:04 pvestor21 pve-ha-crm[1481]: server stopped
Jan 30 16:47:05 pvestor21 systemd[1]: pve-ha-crm.service: Succeeded.
Jan 30 16:47:05 pvestor21 systemd[1]: pve-ha-crm.service: Consumed 3.098s CPU time.
Jan 30 16:47:07 pvestor21 pve-ha-crm[34674]: starting server
Jan 30 16:47:07 pvestor21 pve-ha-crm[34674]: status change startup => wait_for_quorum

Was kann der Auslöser sein?

 

[Lixe]

systemctl status pve-ha-crm pve-ha-lrm ?

 

[UdoB]

Hab zwei HP Microserver Gen10 mit PVE7 laufen

(Nur?) zwei in einem Cluster? Mit QDevice oder ohne? Mit hoher Last/Latenz im Netzwerk? Mit sparatem Corosync-Ring?

Fragen
über
Fragen ;-)

 

[fpausp]

systemctl status pve-ha-crm pve-ha-lrm

 

[fpausp]

(Nur?) zwei in einem Cluster? Mit QDevice oder ohne? Mit hoher Last/Latenz im Netzwerk? Mit sparatem Corosync-Ring?

Sorry, hab ich ungünstig formuliert, ich meinte zwei Server mit dem Problem des plötzlichen stoppens.

Der eine in einem Cluster:



der ander als Standalone:



Hab da so eine Vermutung das denen das RAM ausgeht, kann man das vielleicht über die LOGs herausfinden, zu welchem Zeitpunkt wieviel RAM verfügbar war?

 

[UdoB]

Hab da so eine Vermutung das denen das RAM ausgeht, kann man das vielleicht über die LOGs herausfinden, zu welchem Zeitpunkt wieviel RAM verfügbar war?

Wie groß ist denn die Summe des zugeteilten Rams an alle laufenden Gäste?

Falls ZFS verwendet wird: der Cache (ARC) "nimmt" sich bis zu 50% des Ram. Man kann manuell auch weniger konfigurieren.

Worst case mit ZFS: 7.5GB aus den Screenshots - 1GB für den Host - 3.75GB für ZFS = maximal 3 GB für ALLE VMs. (Faustformel als grober Richtwert.)

Auch ohne ZFS würde ich nur bis maximal 6GB für akzeptabel halten. Bei 7GB an Gäste zugewiesenen Rams beginnt das System vermutlich bereits mit Swappen. Wie lange das gutgeht kann ich nicht sagen - das vermeide ich unter allen Umständen.

In den Logdateien kann man den Ram-Verbrauch ohne Weiteres nicht verfolgen, dazu müsste man ein Monitoring-System aufsetzen.
Aber die Graphen auf der "Summary" Seite des Nodes zeigt doch den Speicherverbrauch an. Man kann oben rechts den Zeitbereich Hour/Day/Week auswählen. Und in einem Terminalfenster kann man per top (besser htop) die aktuellen Werte sehr genau anschauen.

Zuwenig Speicher kann man nur sehr, sehr, sehr begrenzt durch Swapspace kompensieren - das funktioniert einfach nicht so gut, wie man sich das wünscht.

Nochmal zum Logfile: in /var/log/kern (oder den Nachbarn, ich habe so etwas nicht) sollte sich "oom" = Out-Of-Memory finden lassen, falls das der Grund ist.

Viele Grüße

 

[fpausp]

Wie groß ist denn die Summe des zugeteilten Rams an alle laufenden Gäste?

Auf diesen kleinen Kisten läuft eine einzelne VM mit 1GB Ram für den Site2Site-VPN-Tunnel... Zusätzlich zum pve ist pbs installiert und dient als RemoteBackupServer...

Habs mal mit einem (quick and dirty) Schuss ins blaue versucht:

echo "$[4 * 1024*1024*1024]" >/sys/module/zfs/parameters/zfs_arc_max

nano /etc/modprobe.d/zfs.conf

options zfs zfs_arc_max=4294967296

update-initramfs -u -k all

reboot

 

[UdoB]

options zfs zfs_arc_max=4294967296

Wenn sich Speichermangel tatsächlich als problematische Ursache herausstellt (ich sehe noch keinen Beweis wie OOM-Meldungen), kannst du das bis auf 2GiB reduzieren. Damit reduziert sich die Effizienz und das System wird langsamer, aber es sollte dennoch stabil funktionieren.