Proxmox USB Bootstick mit log2ram oder folder2ram

C

crmspezi

Renowned Member
Sep 5, 2019
397
29
68
44
Germany/Thueringen
Hallo,
viele Schreibzugriffe finden bei Proxmox in /var/log statt. Dies kann man mit log2ram gut abfangen, so das auch die Installation auf zwei USB Sticks per zfs mirror wenig die Sticks schrottet. Das läuft bei mir seit Monaten. Ohne log2ram waren die Probleme schon nach 4 Wochen da. Allerdings finden auch viele Schreibzugriffe in /var/lib/pve-cluster statt. Dies würde ich gern auch optimieren.

Ich frage mich, was passieren würde, wenn dieser Ordner auch umgeleitet werden würde. Welches Risiko geht man hier ein. Gibt es hier Erfahrungen von euch oder den Proxmox Jungs dazu?

VG crmspezi
 
Das interessiert mich, ist das ein standart setup oder hast du irgenwas angepasst bei log2ram ?

Würde das gerne für die rrd graphen nutzen um write amplification bei ssd's zu reduzieren.

Bezüglich /var/lib/pve-cluster in dem Verzeichnis befindet sich die Datenbank für den cluster welche als fuse system nach /etc/pve auf allen nodes gemountet und synchronisiert wird. Das Verzeichnis solltest du ausnehmen, kommt sonst zu Wechselwirkungen.
 
Hallo,
nur die Größen und das Logrotate.

###log2ram.conf
SIZE=512M
USE_RSYNC=false
MAIL=true
ZL2R=false
COMP_ALG=lz4
LOG_DISK_SIZE=512M
#

dann noch:
/etc/logrotate.d/pve

/var/log/pveproxy/access.log {
###ORG### rotate 7
###ORG### daily
###
###
# rotate only once
rotate 1
# rotate only if syslog > 100 Mb
size 100M
###
###
missingok
compress
delaycompress
notifempty
create 640 www-data www-data
sharedscripts
postrotate
/bin/systemctl try-reload-or-restart pveproxy.service
/bin/systemctl try-reload-or-restart spiceproxy.service
endscript
}


und:
/etc/logrotate.d/rsyslog

/var/log/syslog
{
###ORG### rotate 7
###ORG### daily
###
###
# rotate only once
rotate 1
# rotate only if syslog > 100 Mb
size 100M
###
###
missingok
notifempty
delaycompress
compress
postrotate
/usr/lib/rsyslog/rsyslog-rotate
endscript
}

/var/log/mail.info
/var/log/mail.warn
/var/log/mail.err
/var/log/mail.log
/var/log/daemon.log
/var/log/kern.log
/var/log/auth.log
/var/log/user.log
/var/log/lpr.log
/var/log/cron.log
/var/log/debug
/var/log/messages
{
###ORG### rotate 4
###ORG### weekly
###
###
# rotate only once
rotate 1
# rotate only if syslog > 50 Mb
size 50M
###
###
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
/usr/lib/rsyslog/rsyslog-rotate
endscript
}



Läuft auf ZFS Mirror USB 32GB Sticks mit 25GB ZFS wegen Reservesectoren seit Monaten
VG crmspezi
 
  • Like
Reactions: minni
crmspezi said:
Wegen /var/lib/pve-cluster und dem MountPoint /etc/pve.

Im Cluster mit mind. 3 Nodes sollte das egal sein. Die Mehrheit gewinnt hier. Oder siehst Du weitere Komplikationen?
Click to expand...

Würde das erstmal im lab testen, problem sehe ich nur bei power loss, kernel panic etc. und wie das dann synchronisiert wird, da log2ram nur einmal am tag auf die disk schreibt. Wahrscheinlich wird es ohne probleme laufen, aber ich würde da trotzdem vorsichtig sein, dass fuse system ist mir schon suspekt genug.

In dem Zuge würde auch noch /var/lib/rrdcached mit aufnehmen in die Liste.

Hattest du vor und nach dem log2ram setup mal per iostat protokoliert wie viel auf die disk geschrieben wird ?

Proxmox schreibt viel zu viel, ich weiß aber immer noch nicht genau woran das liegt, kann rrd, logs, das fuse system oder sonst was sein. Hab mir das bisher noch nicht angeschaut, aber werde wohl mal mit log2ram rum spielen und mir das genauer anschauen. iotop zeigt nichts auffälliges bis auf die zfs syncs.
 
Das Intervall kannst Du ja beeinflussen, siehe Dir die Projektseite an und die install.sh. /var/lib/pve-cluster hatte ich auch schon bei OpenMediaVault dabei, geht auch problemlos. Da ist aber folder2Ram echt besser, weil einfach zu konfigurieren (nur bei OMV und Debian). Ich habe das bei pve noch nicht getestet.

Mit zpool iostat hatte ich nicht probiert. rpool ist bei mir sync=enabled und die Sticks halten schon länger unter 6.1 > 6.2
 
crmspezi said:
Das Intervall kannst Du ja beeinflussen, siehe Dir die Projektseite an und die install.sh. /var/lib/pve-cluster hatte ich auch schon bei OpenMediaVault dabei, geht auch problemlos. Da ist aber folder2Ram echt besser, weil einfach zu konfigurieren (nur bei OMV und Debian). Ich habe das bei pve noch nicht getestet.

Mit zpool iostat hatte ich nicht probiert. rpool ist bei mir sync=enabled und die Sticks halten schon länger unter 6.1 > 6.2
Click to expand...

Meine iostat von systats, das beinhaltet dann auch die normalen disks sowie luks, zfs etc.

Wieso sync enabled ? Macht für mich kein sinn sync zu erzwingen, dürfte das problem eher verschlimmern.

Zfs synct standardmäßig alle 5 sekunden sowieso.
 
iostat von systats hatte ich nie probiert.

Sync enabled ist sicher nur eine gute Idee mit gespiegelten USB Sticks (Vorsichtsmaßnahme), bei SSD's würde ich das auch nicht machen. Das mit den 5s habe ich nicht gewusst.
 
Euch allen und dem Proxmox Team wünsche ich ein gesundes neues Jahr. Ihr alle habt ein tolles Produkt über die Jahre supportet und entwickelt. Meine Hochachtung!

Ich möchte das Thema hier nochmals aufwärmen und mich interessiert eure Einschätzung zum Risiko dazu sehr.
Der Betrieb mit 2 USB Stick's (ZFS Mirror) funktioniert seit Monaten gut mit Log2RAM. Trotzdem stirbt innerhalb eines Jahres mindestens einmal ein Stick. Nun habe ich Log2ram über die Feiertage mit folder2ram bei nur einem Host zum Test ersetzt und bin, da ich auch ein kleines Cluster (>3 Hosts), habe, auch noch etwas mutiger geworden (auch wegen der Redundanz der DB).

Folgende Ordner werden umgeleitet:
tmpfs /var/log
tmpfs /var/tmp
tmpfs /var/cache
tmpfs /tmp
tmpfs /var/lib/pve-cluster
tmpfs /var/lib/rrdcached

Derzeit lasse ich zusätzlich zum Shutdown per cron alle 10 Minuten die Daten vom RAM auf die ZFS-Mirror-Sticks schreiben und erhoffe mir weniger Probleme mit dem Flashspeicher, da die Sqlite Config DB scheinbar alle 5s geschrieben wird.

Warum mache ich dies:
  1. einfaches Backup des Hosts durch Stick kopieren
  2. Einsparung von Festplatten oder SSD's wenn der Host keine lokalen LW hat, SSDs leiden ja bei Verwendung als Root
  3. Ich habe hier im Frühjahr gelesen das das Proxmox Team keine Flashspeicher zu unterstützen plant

Bitte gebt mir eure Einschätzung zu Risiken dazu ab. Mich würde auch die Meinung vom Hersteller selbst interessieren.

VG crmspezi
 
  • Like
Reactions: minni and lixaotec
Hobby Projekt, aber mit privaten sehr wichtigen Daten. Die Backupstrategie ist bei mir wirklich viel sehr viel besser als in den meisten Unternehmen. 3 verschiedene Backuplösungen alle 4h. Da bin ich schon immer vorsichtig.

Ich persönlich sehe kein erhöhtes Risiko, weil das Quorum das Maß ist.
 
Das ist eine sehr interessante Sache. Ich habe folder2ram mal auf einem meiner Test Nodes installiert mit einem sync alle 30 Minuten.
Ich habe allerdings das pve-cluster nicht mit aufgenommen. Werde das mal beobachten ob dadurch irgendwelche negativen Sachen zutage kommen.
Vielen Dank jedenfalls für die Idee.
 
Danke für Deine Rückmeldung! Je mehr Hosts im Cluster sind, desto geringer wird das Risiko. Was soll da dramatisches passieren? Wenn ein Host stirbt sind keine VM's tot. Die Konfig /etc/pve wird Nachts per rsnapshot auf eine Synology gesynct. Derzeit gibt es keine Probleme.

Ich glaube mein Setup ist um einiges sicherer als das Standard Setup. Aber das kann auch nur meine "festgefahrene" Meinung sein. Deshalb frage ich ja bei euch allen nach.

VG crmspezi
 
Ergänzung: Ich hatte als Vorsichtsmaßname zur Sicherheit von USB Sticks (Sandisk Ultrafit) zu SDCARD's Sandisk Extrem mit Adapter bei der Umstellung von Log2Ram zu Folder2RAM vor 1 Woche gewechselt.
 
Statusmeldung zum Wechsel von Log2RAM zu Folder2RAM und SQLite DB im RAM:
Bisher alles OK, trotz 2x PVE Absturz auf einem HP Server (einer von neun). Ich bin bisher sehr zufrieden, Shutdown läuft auch normal.

Klar, auf einem Single Host würde ich dies nicht machen, ab 3 Hosts dagegen spricht wenig dagegen, USB Sticks als Bootmedium (ZFS-Mirror) zu verwenden, meine ich.

Ich reporte in 4 Wochen erneut.

VG crmspezi
 
Last edited:
Ich habe es ja nun auch schon ein paar Tage am laufen auf meinem kleinen Homecluster (4 Nodes), allerdings noch immer ohne "pve" Auslagerung.
Ansonsten läuft das aber wirklich einwandfrei. Per crontab synce ich alle 30min.

Konfiguration:
Code: 
#<type>        <mount point>            <options>
tmpfs        /var/log
tmpfs        /var/lib/rrdcached
tmpfs        /var/lib/proxmox-backup/rrdb
tmpfs        /var/tmp
tmpfs        /var/cache
Crontab:
Code: 
*/30 * * * * /sbin/folder2ram -syncall >/dev/null 2>&1
 
Last edited:
Naja können nicht alles betrachten. Und die Lösung verursacht ja gerade ein Problem mit pbs.
 
Das dies ein Problem mit dem PBS ist kann ich technisch derzeit nicht nachvollziehen. Prüfe dies aber in dem ich am WE auf lokale SSD am SATA Anschluss wechseln werde.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back