Proxmox mit Ceph und ceph-csi sinnevoll?

[Munsio]

Okay das ist jetzt wirklich komisch aber ich glaube kubestr ist kein gutes tool.

Ich hab mir einen Dev-Container mit fio genommen:
https://github.com/deB4SH/cluster-debug-image

Und folgenden Debug pod deployed:

kind: Deployment
apiVersion: apps/v1
metadata:
  name: debug
  labels:
    app: debug

spec:
  replicas: 1
  selector:
    matchLabels:
      app: debug
  template:
    metadata:
      labels:
        app: debug
    spec:
      containers:
        - name: debug
          image: ghcr.io/deb4sh/cluster-debug-image:sha-f134eab
          # Just sleep forever
          command: [ "sleep" ]
          args: [ "infinity" ]
          volumeMounts:
            - mountPath: /data
              name: debug-ceph-fs
      volumes:
        - name: debug-ceph-fs
          persistentVolumeClaim:
            claimName: debug-ceph-fs
---
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: debug-ceph-fs
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 8Gi
  storageClassName: ceph-fs

Dort dann das gleiche fio command wie auf proxmox laufen lassen: "fio --name=read_iops --size=2G --bs=4k --rw=randread --verify=0 --direct=1 --ioengine=libaio --iodepth=64"

Und folgendes Result bekommen:

read: 
    IOPS=10.1k, BW=39.4MiB/s
    iops: min= 3814, max=15040, avg=10070.17
    bw(KiB/s): min=15256, max=60160, avg=40280.70

Wo Ich sagen muss, klar durch die abstraktion in der VM und alles isses für mich klar das weniger IOPS zustande kommen. Aber das Ergebnis is definitiv besser als alles was kubestr ausspuckt.

 

[Munsio]

Also was Ich an deiner stelle tun würde wäre folgendes:

- Den debug container benutzen und damit mal fio laufen lassen
- Du hast definitiv ein problem mit deinen NICs daher auch die routes im Github Issue posten und gleichzeitig https://github.com/smira taggen ob er denn einen weg kennt wie du in talos gut tcp dumpen kannst um zu sehen ob die connections über die richtige route gehen

Und vielleicht auch nochmal die VM config aus Proxmox hier posten wenns geht. Am besten direkt die .conf datei unter "/etc/pve/qemu-server"