Search results

  1. S

    IO Performance auf VMs auf Ceph ist extrem schlecht

    Ja, wir sind durch das Mesh auf 25G beschränkt. Jammern auf hohem Niveau, würde ich sagen. :) Entspannt, würde ich sagen. Im normalen Produktivbetrieb gehen über die Mesh-NICs die meiste Zeit weniger als 100 MB/s. CPU der Nodes bei ca. 20%, RAM bei ca. 60%. Jep, die MTU size der Mesh-NICs...
  2. S

    IO Performance auf VMs auf Ceph ist extrem schlecht

    Bis zu 10% hin und her geht es schon manchmal. Aber das tut's auch, wenn ich unter gleichen Bedingungen mehrmals oder zu unterscheidlichn Zeiten teste. Haben andere denn auch die Erfahrung gemacht, dass die IOPS-Performance von Ceph davon abhängt, wie viele vCPUs und RAM eine VM hat? Ich sehe...
  3. S

    IO Performance auf VMs auf Ceph ist extrem schlecht

    So sieht die VM gerade aus: boot: order=scsi0;ide2;net0 cores: 2 cpu: host ide2: none,media=cdrom memory: 1024 name: test net0: virtio=0E:F2:92:FB:E4:5C,bridge=vmbr0,firewall=1,tag=xy numa: 0 ostype: l26 scsi0: <cephpoolname>:vm-154-disk-0,discard=on,iothread=1,ssd=1,size=20G scsi1...
  4. S

    [SOLVED] ZFS raidz1: Expanding not possible?

    Sorry for bringing this up again. I do not really understand software development, but this looks promising to me: https://github.com/openzfs/zfs/pull/15022/commits/c3f8a291b12aae4b6864b0e48652d05130e96fcf Is it possible to estimate when this feature will be available in PBS - or is it already?
  5. S

    IO Performance auf VMs auf Ceph ist extrem schlecht

    Das kann ich für unsere Umgebung nicht bestätigen. Egal ob die VM 1GB RAM und 2 vCPUs hat, oder 16 GB RAM und 8 vCPUs, die Werte für fio --direct=1 --ioengine=libaio --rw=randrw --name=test --size=1G --direct=1 --bs=4K -iodepth=16 sind die gleichen, ungefähr 5000 IOPS. Übrigens, damit das nicht...
  6. S

    IO Performance auf VMs auf Ceph ist extrem schlecht

    Hier unsere Umgebung: 3x SuperMicro Thomas Krenn "2HE AMD Dual-CPU RA2224 Server" - 2x AMD EPYC 7351 - 512 GB DDR4 2666 ECC RAM - Broadcom HBA 9300-8i - 10x Samsung SM883 1,92 TB - Broadcom P425G Das Ceph-Netzwerk ist ein Full Mesh über die genannten 25G-Netzwerkkarten. Der Pool, um den es...
  7. S

    IO Performance auf VMs auf Ceph ist extrem schlecht

    @sb-jw danke für die Benchmarks! Ich komme bei den meisten ungefähr bei der Hälfte Deiner Ergebnisse raus. Ich würde jetzt mal faul annehmen, dass das Hardware-Unterschiede sind und grundsätzlich passt. Und ich muss ehrlich sagen, dass ich nicht wirklich eine Ahnung habe, was wir nun genau...
  8. S

    IO Performance auf VMs auf Ceph ist extrem schlecht

    wow, vielen Dank für Eure sehr wertvollen insights zu diesem Thema. Ich hoffe, @Stefan_Malte_Schumacher hat nichts dagegen, dass wir seinen Thread... erweitern. :) Hier würde ich auch gerne einhaken. Stefans ursprüngliches Problem war ja, dass er in einer Linux-VM mit fio --direct=1...
  9. S

    IO Performance auf VMs auf Ceph ist extrem schlecht

    Danke für dein Feedback! Ich glaube mittlerweile auch ganz stark, dass die CPU-Taktrate der meistunterschätzte Hebel in solchen Umgebungen ist. Falls wir dieses Jahr erneuern, werde ich das auf jeden Fall berücksichtigen. Dank AMD kann man mittlerweile ja sowohl hohe Taktraten, als auch viele...
  10. S

    Proxmox 8.13 + OPNSense 23.7 crash

    Did you try another guest OS, just for science? I vaguely remember some trouble related to low power Intel CPUs, no?
  11. S

    IO Performance auf VMs auf Ceph ist extrem schlecht

    verzeiht, dass ich diesen Thread nochmal nach oben hole. Da wir in den kommenden Monaten unter Umständen die Hardware unseres PVE/Ceph-Clusters erneuern werden, interessiert mich das Thema grundsätzlich. @Stefan_Malte_Schumacher, magst Du schreiben, wie die Geschichte weiterging? Und so ins...
  12. S

    Proxmox 8.13 + OPNSense 23.7 crash

    to be clear: The OPNsense VM is crashing your PVE host? uh. I would try some other VM guest OS, a Debian for example. And also some LXC testing, to find out what *doesn't* crash your host. What kind of storage setup do you use? Maybe you could post your OPNsense VM configuration?
  13. S

    Opt-in Linux 6.5 Kernel with ZFS 2.2 for Proxmox VE 8 available on test & no-subscription

    we just upgraded our non critical PVE playground to pvetest with kernel 6.5 and ZFS 2.2 - no issues so far. It's a single node PVE with two oldie but goldie Intel Xeon E5-2697 v2 and 512 GB RAM. / is on a single SSD (LVM), and there is a ZFS based storage. zpool status <poolname> shows Some...
  14. S

    net.ipv4.tcp_timestamps = 0

    Hey there, our vulnerability scanner recommends us to disable TCP timestamps. Is it safe to do so on PVE/Ceph, PBS and PMG? Thanks and greets Stephan
  15. S

    [SOLVED] postfix: disable answers to VRFY and EXPN requests?

    For the record: We didn't notice any unwanted side effects due to this configuration change. So I mark this thread as solved.
  16. S

    mail without body tag in spam quarantine: "unable to parse mail"

    Thanks a lot for the explanations! me too. The sender told us that the mail was generated by their SAP - and therefore it's correct by definition. :rolleyes::D MS Outlook 2019 and Mozilla Thunderbird 115 show a blank body and the attachment - as normal user would "expect".
  17. S

    mail without body tag in spam quarantine: "unable to parse mail"

    How can I send you an example? I tried starting a "conversation" with you, but it seems I'm not allowed to do so. :D
  18. S

    mail without body tag in spam quarantine: "unable to parse mail"

    Hi there, we received a solicited mail that doesn't contain a body tag. And there is a file attached. PMG classified the mail as spam (which is not a problem for us). PMG's WebGUI (Administration -> Spam Quarantine) says "unable to parse mail", and at the bottom of the window there is "No...
  19. S

    [SOLVED] postfix: disable answers to VRFY and EXPN requests?

    Thanks for your reply! I just did the change, everything looks good so far. I will observe this the next few days and report back. One question for understanding: As expected the additional line occurs in /etc/postfix/main.cf. But it doesn't occur in the output of pmgconfig dump. Is this...
  20. S

    [SOLVED] postfix: disable answers to VRFY and EXPN requests?

    Hi there, our vulnerability scanner recommends us disabling answering VRFY and EXPN requests by configuring disable_vrfy_command=yes Is it safe to do this in a PMG installation? Thanks and greets Stephan