Search results

Hi, after almost five years with our three node PVE/Ceph cluster now it's hardware renewal time! Core requirements are: - about 24 TB of usable storage (fast and scalable) - about 512 GB RAM per node (scalable) Unfortunately we can't go with AMD EPYC CPUs because of Oracle. Together with...

If I were in this situation I wouldn't waste time trying to upgrade such an outdated installation. I would try to backup the VMs, make a new installation of the whole environment and then restore the VMs.

Seit der defekte RAM-Riegel aus dem Spiel ist, kamen keine Fehler mehr. Das ist mir fast ein bisschen peinlich. :D Vielen Dank!

Das ist ein erster Test auf der Basis gewöhnlicher Desktop-Hardware zzgl. der finalen PCIe-Karte - also ohne ECC-geschützten RAM.

So, ich habe nochmal von vorne angefangen: Erster "full sync", sowie die anschließende Verifikation waren erfolgreich. Wir syncen und verifizieren täglich - sollte das nun die nächsten zwei Tage keine Fehler mehr werfen, würde ich sagen, dass das Problem gelöst ist. :)

wow, eines der RAM-Module ist defekt. :rolleyes: Dann bin ich nun gespannt, ob das tatsächlich die Lösung ist. Danke erstmal!

Danke für den Input - memtest läuft. Könnte auch zu wenig RAM die Ursache sein? In der Kiste sind derzeit 32 GB RAM verbaut, und das PBS-Datastore ist ein 12,8 TB großes ZFS. Passt das?

Der sync besagter VM wurde letzte Nacht erfolgreich verifiziert, dafür schlugen fünf andere Verifikationen fehl. Die Quellen wurden zuvor erfolgreich verifiziert, und auch der Sync-Job selbst lief ohne Fehler. Wo können sich da die Probleme reinschleichen?

Danke für die schnelle Antwort! Dann schauen wir mal, ob sich das heute Nacht von alleine zurechtruckelt.

Hallo zusammen, wir sichern unsere ca. 60 VMs auf einen dedizierten PBS. Nun würden wir gerne einen weiteren PBS als Offsite Backup an den Start bringen, der einmal am Tag das jeweils jüngste Backup aller VMs zu sich holt. Sowohl die Einrichtung, als auch der initiale Sync haben prima geklappt...

Ja, wir sind durch das Mesh auf 25G beschränkt. Jammern auf hohem Niveau, würde ich sagen. :) Entspannt, würde ich sagen. Im normalen Produktivbetrieb gehen über die Mesh-NICs die meiste Zeit weniger als 100 MB/s. CPU der Nodes bei ca. 20%, RAM bei ca. 60%. Jep, die MTU size der Mesh-NICs...

Bis zu 10% hin und her geht es schon manchmal. Aber das tut's auch, wenn ich unter gleichen Bedingungen mehrmals oder zu unterscheidlichn Zeiten teste. Haben andere denn auch die Erfahrung gemacht, dass die IOPS-Performance von Ceph davon abhängt, wie viele vCPUs und RAM eine VM hat? Ich sehe...

So sieht die VM gerade aus: boot: order=scsi0;ide2;net0 cores: 2 cpu: host ide2: none,media=cdrom memory: 1024 name: test net0: virtio=0E:F2:92:FB:E4:5C,bridge=vmbr0,firewall=1,tag=xy numa: 0 ostype: l26 scsi0: <cephpoolname>:vm-154-disk-0,discard=on,iothread=1,ssd=1,size=20G scsi1...

Sorry for bringing this up again. I do not really understand software development, but this looks promising to me: https://github.com/openzfs/zfs/pull/15022/commits/c3f8a291b12aae4b6864b0e48652d05130e96fcf Is it possible to estimate when this feature will be available in PBS - or is it already?

Das kann ich für unsere Umgebung nicht bestätigen. Egal ob die VM 1GB RAM und 2 vCPUs hat, oder 16 GB RAM und 8 vCPUs, die Werte für fio --direct=1 --ioengine=libaio --rw=randrw --name=test --size=1G --direct=1 --bs=4K -iodepth=16 sind die gleichen, ungefähr 5000 IOPS. Übrigens, damit das nicht...

Hier unsere Umgebung: 3x SuperMicro Thomas Krenn "2HE AMD Dual-CPU RA2224 Server" - 2x AMD EPYC 7351 - 512 GB DDR4 2666 ECC RAM - Broadcom HBA 9300-8i - 10x Samsung SM883 1,92 TB - Broadcom P425G Das Ceph-Netzwerk ist ein Full Mesh über die genannten 25G-Netzwerkkarten. Der Pool, um den es...

@sb-jw danke für die Benchmarks! Ich komme bei den meisten ungefähr bei der Hälfte Deiner Ergebnisse raus. Ich würde jetzt mal faul annehmen, dass das Hardware-Unterschiede sind und grundsätzlich passt. Und ich muss ehrlich sagen, dass ich nicht wirklich eine Ahnung habe, was wir nun genau...

wow, vielen Dank für Eure sehr wertvollen insights zu diesem Thema. Ich hoffe, @Stefan_Malte_Schumacher hat nichts dagegen, dass wir seinen Thread... erweitern. :) Hier würde ich auch gerne einhaken. Stefans ursprüngliches Problem war ja, dass er in einer Linux-VM mit fio --direct=1...

Danke für dein Feedback! Ich glaube mittlerweile auch ganz stark, dass die CPU-Taktrate der meistunterschätzte Hebel in solchen Umgebungen ist. Falls wir dieses Jahr erneuern, werde ich das auf jeden Fall berücksichtigen. Dank AMD kann man mittlerweile ja sowohl hohe Taktraten, als auch viele...

Did you try another guest OS, just for science? I vaguely remember some trouble related to low power Intel CPUs, no?