Hauptgrund ist das ich dann nur 5,4TB statt 8,1TB Netto Kapazität habe. 2. Grund ist das ich vor einem Jahr schonmal ein Raid5 mit OMV und mit Freenas betrieben hatte aber ständig probleme mit beschädigtem Raid hatte obwohl alle Festplatten in Ordnung sind.
Proxmox stürzt nach wenigen stunden ab.
- Thread starter Solarstorm
- Start date
Nun zeitg die Console mir folgendes an. Das hab ich auch noch nicht gesehen. Mit dem Netzwerk hatte ich noch nie probleme. Was bedeutet das nun? vmbr1 ist ein Linux bond aus 4 Netzwerkkarten mit LACP.
Zu deinem (wohl nicht funktionierenden) Bond hatte ich oben schon was geschrieben ...
und guck mal hier https://forum.proxmox.com/threads/kernel-netzwerk-meldungen.87419/
guck mal in dein Post #18 ; LACP ist nach Standard: 802.3ad. Und da klappt die Antworterei nicht, also nächste Baustelle ;-)
und guck mal hier https://forum.proxmox.com/threads/kernel-netzwerk-meldungen.87419/
guck mal in dein Post #18 ; LACP ist nach Standard: 802.3ad. Und da klappt die Antworterei nicht, also nächste Baustelle ;-)
Last edited:
Hast du dich vorher vergewissert, dass da deine HDDs kein SMR genutzt haben? HDDs mit SMR sind zu lahm und antworten einfach nicht schnell genug und das zeigt dann ZFS als Lese/Schreibfehler an und dein Pool geht auf degraded, obwohl die HDDs nicht kaputt sind. Die HDDs sind dann einfach nur konzeptionell Mist und nicht für ZFS geeignet. Für ZFS darf man nicht einfach irgendwas an HDDs nehmen sondern muss schon das richtige kaufen.
Last edited:
Was mich allerdings wundert ist die tatsache das,das Bond seit Juni 2020 ohne probleme funktionierte und jetzt soll es auf einmal nicht mehr funktionieren. Das einzigste was ich am System gemacht habe ist das letzte Proxmox Update einzuspielen. Der Fehler in meinem Post #18 soll heißen das der Switch an dem der Server hängt nicht mit dem 802.03ad Protokoll antwortet?
Meine Festplatten sind CMR Platten. Von daher sollte es daran nicht liegen.
Meine Festplatten sind CMR Platten. Von daher sollte es daran nicht liegen.
Ich poste mal eben was bei den beiden Commands rausgekommen ist. Kann man so einen langen text nicht irgendwie hinter einem Spoiler stecken? Ist irgendwie blöd wenn der Post dann so lang wird. Ich weiß nur gerade nicht ob und wo das hier geht.
Code:
brctl show
## und
brctl showstp vmbr0
Code:
root@pve:~# brctl show
bridge name bridge id STP enabled interfaces
fwbr102i0 8000.4670ec412011 no fwln102i0
veth102i0
fwbr103i0 8000.120ea9356828 no fwln103i0
veth103i0
fwbr104i0 8000.cee391e17e4f no fwln104i0
veth104i0
fwbr106i0 8000.a69f25f8f0e5 no fwln106i0
tap106i0
fwbr106i1 8000.3eb0941e7f1c no fwln106i1
tap106i1
fwbr108i0 8000.8a4fd111ae03 no fwln108i0
veth108i0
fwbr109i0 8000.72753a9a459b no fwln109i0
tap109i0
fwbr110i0 8000.3e9b4333b9a4 no fwln110i0
veth110i0
fwbr111i0 8000.764a136c38c3 no fwln111i0
tap111i0
vmbr1 8000.00e04c691a0b no bond0
fwpr102p0
fwpr103p0
fwpr104p0
fwpr106p0
fwpr108p0
fwpr109p0
fwpr110p0
fwpr111p0
vmbr2 8000.a8a1593b304e no enp16s0
fwpr106p1
root@pve:~# brctl showstp vmbr1
vmbr1
bridge id 8000.00e04c691a0b
designated root 8000.00e04c691a0b
root port 0 path cost 0
max age 20.00 bridge max age 20.00
hello time 2.00 bridge hello time 2.00
forward delay 0.00 bridge forward delay 0.00
ageing time 300.00
hello timer 0.00 tcn timer 0.00
topology change timer 0.00 gc timer 30.97
flags
bond0 (1)
port id 8001 state forwarding
designated root 8000.00e04c691a0b path cost 4
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8001 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr102p0 (2)
port id 8002 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8002 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr103p0 (3)
port id 8003 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8003 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr104p0 (4)
port id 8004 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8004 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr106p0 (5)
port id 8005 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8005 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr108p0 (6)
port id 8006 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8006 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr109p0 (7)
port id 8007 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8007 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr110p0 (8)
port id 8008 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8008 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr111p0 (9)
port id 8009 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8009 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
root@pve:~#
Last edited:
Nutz das Code-Tag (nicht das Inline-Code-Tag). Dann bleibt die Formatierung (Tabs/Leerzeichen etc) erhalten, es wird nichts fälschlich durch Emojis ersetzt und wenn der Text zu groß wird dann gibt es Scrollbalken.
Edit:
Ne, doch nicht. Scrollbalken gehen nur horizontal nicht vertikal. Aber Spoiler-Tag gibt es. Kann man auch beides kombinieren. Kombiniert wird dann auch vertikal gescrollt:
Code:
root@pve:~# brctl show
bridge name bridge id STP enabled interfaces
fwbr102i0 8000.4670ec412011 no fwln102i0
veth102i0
fwbr103i0 8000.120ea9356828 no fwln103i0
veth103i0
fwbr104i0 8000.cee391e17e4f no fwln104i0
veth104i0
fwbr106i0 8000.a69f25f8f0e5 no fwln106i0
tap106i0
fwbr106i1 8000.3eb0941e7f1c no fwln106i1
tap106i1
fwbr108i0 8000.8a4fd111ae03 no fwln108i0
veth108i0
fwbr109i0 8000.72753a9a459b no fwln109i0
tap109i0
fwbr110i0 8000.3e9b4333b9a4 no fwln110i0
veth110i0
fwbr111i0 8000.764a136c38c3 no fwln111i0
tap111i0
vmbr1 8000.00e04c691a0b no bond0
fwpr102p0
fwpr103p0
fwpr104p0
fwpr106p0
fwpr108p0
fwpr109p0
fwpr110p0
fwpr111p0
vmbr2 8000.a8a1593b304e no enp16s0
fwpr106p1
root@pve:~# brctl showstp vmbr1
vmbr1
bridge id 8000.00e04c691a0b
designated root 8000.00e04c691a0b
root port 0 path cost 0
max age 20.00 bridge max age 20.00
hello time 2.00 bridge hello time 2.00
forward delay 0.00 bridge forward delay 0.00
ageing time 300.00
hello timer 0.00 tcn timer 0.00
topology change timer 0.00 gc timer 30.97
flags
bond0 (1)
port id 8001 state forwarding
designated root 8000.00e04c691a0b path cost 4
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8001 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr102p0 (2)
port id 8002 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8002 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr103p0 (3)
port id 8003 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8003 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr104p0 (4)
port id 8004 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8004 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr106p0 (5)
port id 8005 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8005 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr108p0 (6)
port id 8006 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8006 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr109p0 (7)
port id 8007 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8007 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr110p0 (8)
port id 8008 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8008 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
fwpr111p0 (9)
port id 8009 state forwarding
designated root 8000.00e04c691a0b path cost 2
designated bridge 8000.00e04c691a0b message age timer 0.00
designated port 8009 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags
root@pve:~#
Last edited:
Soeben habe ich bemerkt das der server nicht mehr ereichbar ist. Kann es sein das die Netzwerkkarte defekt ist?
edit: Da das Bond ja Gestern schon ein Fehler hatte, habe ich jetzt nun einfach mal die Netzwerkkarte getauscht.
edit: Da das Bond ja Gestern schon ein Fehler hatte, habe ich jetzt nun einfach mal die Netzwerkkarte getauscht.
Last edited:
Hi,
kann es sein, dass Du eigentlich ein Memory-Problem hast? Würde ich wegen der ksm-Meldung vermuten.
ZFS nimmt per default den halben RAM, es sei denn, du setzt zfs_arc_min + zfs_arc_max in /etc/modprobe.d/zfs.conf (und machst danach ein "update-initramfs -u" + reboot).
Hier ein Beispiel, wo 16GB zugewiesen werden
Wegen raid0 - einfach eine Platte tauschen und dann weiter machen wird nicht gehen, weil alles Datenschrott ist. Dann kannst Du das Raidset imho neu machen. Und wenn du schon mit raid5 ständig Ärger wegen Plattenfehler hattest, ist es eine sehr schlechte Idee es dann mit raid0 zu versuchen.
Es gibt Platten, da hilft ein Firmware-Update…
Udo
kann es sein, dass Du eigentlich ein Memory-Problem hast? Würde ich wegen der ksm-Meldung vermuten.
ZFS nimmt per default den halben RAM, es sei denn, du setzt zfs_arc_min + zfs_arc_max in /etc/modprobe.d/zfs.conf (und machst danach ein "update-initramfs -u" + reboot).
Hier ein Beispiel, wo 16GB zugewiesen werden
Code:
cat /etc/modprobe.d/zfs.conf
options zfs zfs_arc_min=17179869184
options zfs zfs_arc_max=17179869184Wegen raid0 - einfach eine Platte tauschen und dann weiter machen wird nicht gehen, weil alles Datenschrott ist. Dann kannst Du das Raidset imho neu machen. Und wenn du schon mit raid5 ständig Ärger wegen Plattenfehler hattest, ist es eine sehr schlechte Idee es dann mit raid0 zu versuchen.
Es gibt Platten, da hilft ein Firmware-Update…
Udo
Hallo Udo,
Ich habe die Netzwerkkarte getauscht und bisher läuft alles.
Was den RAM angeht wird's gerade interessant. Ich habe 9Tb an zfs Speicher. Das bedeutet dann doch eigendlich das zfs dafür 9gb RAM benötigt. Wenn ich dann die aktuell laufenden VM's und das host System mit 4gb dazu rechne, dann bin ich bei knapp 35gb. In der node Übersicht ist der RAM jedoch immer mit ca. 57 von 64gb belegt. Ich konnte mir nie erklären warum so viel ram belegt ist. Durch deine Angabe weiß ich jetzt das zfs sich scheinbar per default mehr ram nimmt als notwendig. Das werde ich dann morgen mal ändern. Danke dir!
Wenn im raid0 eine Platte defekt ist, weiß ich, das dann alles nur noch Datenmüll ist. Das ist aber nicht so schlimm. Das raid0 läuft seit 08.2020 ohne Probleme. Das raid5 hat nichtmal 4 Wochen gehalten ohne Probleme zu machen.
Grüße Marcel
Ich habe die Netzwerkkarte getauscht und bisher läuft alles.
Was den RAM angeht wird's gerade interessant. Ich habe 9Tb an zfs Speicher. Das bedeutet dann doch eigendlich das zfs dafür 9gb RAM benötigt. Wenn ich dann die aktuell laufenden VM's und das host System mit 4gb dazu rechne, dann bin ich bei knapp 35gb. In der node Übersicht ist der RAM jedoch immer mit ca. 57 von 64gb belegt. Ich konnte mir nie erklären warum so viel ram belegt ist. Durch deine Angabe weiß ich jetzt das zfs sich scheinbar per default mehr ram nimmt als notwendig. Das werde ich dann morgen mal ändern. Danke dir!
Wenn im raid0 eine Platte defekt ist, weiß ich, das dann alles nur noch Datenmüll ist. Das ist aber nicht so schlimm. Das raid0 läuft seit 08.2020 ohne Probleme. Das raid5 hat nichtmal 4 Wochen gehalten ohne Probleme zu machen.
Grüße Marcel
Last edited:
Gibts dazu irgendwelche Updates?
Ich habe seit drei Tagen auch das Problem, das mir mein Host regelmäßig abstürzt, ich aber den Grund dafür (noch) nicht kenne.
Ich habe seit drei Tagen auch das Problem, das mir mein Host regelmäßig abstürzt, ich aber den Grund dafür (noch) nicht kenne.
Hier scheint ja zu wenig RAM das Problem zu sein. Du könntest regelmäßig
free -h ausführen und gucken ob noch genug RAM "available" ist. Wenn der Server abstürzt obwohl noch viel RAM "available" war, dann ist der OOM-Killer nicht das Problem.Danke für die Info. Ich habe die Datei nun angelegt und die 2 zeilen hinzugefügt. Anschließend update-initramfs -u und Reboot. Der Ram ist dennoch bei 54Gb von 64Gb obwohl rein Theoretisch nur 35Gb gebraucht werden. Hab ich was falsch gemacht oder ist das bei Linux einfach so das der Ram immer fasst voll läuft?
Grüße Marcel
Grüße Marcel
Hast du deinen zfs_arc_max größer als zfs_arc_min gemacht? Wenn beides gleich groß ist werden beiden Parameter ignoriert.
Ist bei Linux eigentlich normal. Was sagt denn
free -h bei dir? Solange der Großteil des "used" RAM gleichzeitig auch "available" RAM ist, solltest du eigentlich keine Probleme haben.Und mit
arc_summary kannst du gucken, was dein ARC macht. Da siehst du dann ja, ob ZFS wirklich die min/max Werte nutzt, welche du über die zfs.conf eingestellt hast.
Last edited:
Ich habe das Beispiel von Udo so übernommen. Es sind also beide Werte gleich. Hab es jetzt geändert und in arc Summary stehen nun die von mir festgelegten werte. Danke dir! in einigen Stunden schaue ich wie voll der Ram ist. Gleichzeitig schaue ich nach wie es bei free-h aussieht.
So, der Ram ist bei 39GB. so wie es sein soll. Danke für den Tipp mit der anpassung der Ramnutzung für ZFS. Das war der schlüssel einiger lösungen. Ich hatte nämlich ausserdem das Problem das Proxmox immer recht viel Swap genutzt hatt. Das fand ich nicht so toll. Das ist nun weg. Mit free-h zeigt er mir an das ich noch 21 GB frei habe. Jetzt bin ich gespannt ob der Server nun Fehlerfrei läuft. Danke euch für eure Hilfen!
Hi,
das halte ich für ein Gerücht:
Code:
ARC size (current): 100.2 % 16.0 GiB
Target size (adaptive): 100.0 % 16.0 GiB
Min size (hard limit): 100.0 % 16.0 GiB
Max size (high water): 1:1 16.0 GiB
...
zfs_arc_max 17179869184
...
zfs_arc_min 17179869184Udo
Ich hatte es so wie in Udo´s Beispiel gemacht und die Werte wurden ignoriert. Dann habe ich zfs_arc_min ein Gb weniger gemacht und die Werte wurden übernommen. Vieleicht wurde es in einem neuen Update eingefügt das nun gleiche Werte ignoriert werden?!