Search results for query: ZFS

  1. K

    Host memory exhaustion: Shmem ~= AnonPages, no ZFS

    ...6,1Gi All our nodes are installed via ansible with same configuration and are running the mentioned PVE version and kernel. This is not a ZFS problem since all have zfs_arc_max 17179869184 and arcstats is virtually zero. I will provide data for only one of the bad nodes since the other is...
  2. J

    snap shots Backup script

    Fair enough Ja, aber der Witz ist ja, dass das nur in eine Richtung geht, der remote PBS ist (Firewall passend konfiguriert vorausgesetzt) bleibt ja unerreichbar. Und nur per VPN erreichbar ist schon was anders als wenn das ganze Internet darauf kommt, vor allen weil man auf VPN-Ebene ja auch...
  3. J

    Offsite Backup Wo?

    ...) über eine vergleichsweise lahme WAN-Verbindung wird das nicht besser. Dazu kommt, dass die storageboxen durch HDDs mit ZFS-Raidz implementiert werden, die PBS-Dokumentation empfiehlt ja aus guten Grund als Speichermedium lokale SSDs zu nutzen und für die offsite-Replikation dann einen...
  4. I

    snap shots Backup script

    Meine damit eher den Gewinn verglichen mit einem zweiten Medium. Ein ZFS send liesse sich für ähnliche Hardware Kosten einrichten, würde aber massiv mehr bringen. Gut, aber VPN ist nun mal nicht "keine Verbindung". In der Praxis ist es vermutlich ein: - Allow all incoming UDP traffic on port...
  5. S

    Ram report issue to multiple Hosts

    ...Socket, 24 cores) X86-64-v2-AES NUMA=1 VCPU=18 Memory 86016, Minimum 65536, Shares default, Baloon and KSM = ON Guest 31003 (Ubuntu) 48 (2 Socket, 24 cores) X86-64-v2-AES NUMA=1 VCPU=28 Memory 16384, Minimum 8192, Shares default, Baloon and KSM = ON Not using any ZFS, All LVM-Thin...
  6. P

    snap shots Backup script

    Also eigentlich ging es mir ja nur darum zu sagen, dass ZFS Repplikation eine valide Art ist um Backups zu machen und, dass wenn man ZFS Pull Repplikationen macht, man im Prinzip das zusätzliche 1 für offline oder unveränderbar, quasi gratis mit dabei hat, auch wenn ich mit "immutable" hier...
  7. J

    snap shots Backup script

    Das hilft einen aber nicht bei einem Bug im PBS, mit dem bereits das initiale Backup vor dem zfs sync kaputt gemacht wurde. Für solche Szenarien gibt es ja auch noch pve-zsync, was einen die VMs und lxcs direkt auf einen anderen PVE (oder anderen Server mit ZFS-unterstützung) repliziert. Das...
  8. I

    snap shots Backup script

    Das war nur ein Beispiel. PVE kann ja kein S3. Wenn du also mehrere Medien auf PVE möchtest, wären das PBS, VZDUMP, vermutlich Veeam, oder halt in der VM selbst irgendwie wegsichern. Gut, das könnte ich dir vorwerfen, wenn du behauptest ein S3 bucket oder ein PBS mit nur write access wäre nicht...
  9. LnxBil

    PBS Incremental Backup

    ...across multiple blocks in a VM. I have no checked this, but I would assume this due to the file vs. block based backup setting. The deduplication rate would also be pretty huge if the containers share the OS. I tested this with ZFS and deduplication and the space savings were huge. EDIT: typos
  10. P

    snap shots Backup script

    ...Angreifer nicht auf PBS2 „pivoten“, weil PBS2 aus deren Sicht gar nicht erreichbar ist. Alternativ könnte man statt eines zweiten PBS auch eine ZFS-Pull-Replikation vom ersten Backup-Server verwenden. Dann hätte man zusätzlich noch eine zweite Backup-Technologie beziehungsweise ein anderes...
  11. J

    snap shots Backup script

    ...(borgbackup, restic etc) die entsprechenden Daten zu sichern, also die VMs so zu behandeln wie einen realen physikalischen Server. zfs send/receive ist cool, aber leider gibt es dafür so gut wie keine Cloud-Storageanbieter (außer rsync.net), es sei denn man holt sich dafür einen...
  12. I

    snap shots Backup script

    ...Medien. Das ist aber eben nicht der entscheidende Punkt. Dann hast du die Definition von Medien im modernen Kontext nicht verstanden. Ein ZFS send mache ich mit ZFS. Hat der ZFS code einen Bug, ist eventuell mein ZFS backup wertlos. Ein S3 backup zu AWS mache ich mit einer API. Hat die API...
  13. Neobin

    Ram report issue to multiple Hosts

    Do you use PCIe-passthrough? And like others already mentioned, check ZFS ARC usage with: zarcsummary -s arc
  14. J

    First Proxmox homelab build - sanity check on hardware, service layout, and storage

    Please note that the need of ECC-RAM for ZFS is quite overblown: https://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/ This blog post is quite long (but still good and highly recommended!) reading, the most important point imho is that it r references a comment by ZFS developer...
  15. J

    Ram report issue to multiple Hosts

    ...Linux based, run lsmod | grep balloon just to confirm the driver is loaded. Once it's working the host usage should come down a lot. Sometimes ZFS ARC on the host eats a ton of free RAM too, worth checking with free -h. It shows as buff/cache. There is a difference between free RAM, Unused...
  16. G

    ZFS ARC going high since PVE 9.1 upgrade

    Check/adjust your /etc/modprobe.d/zfs.conf then update-initramfs -u -k all
  17. Impact

    ZFS ARC going high since PVE 9.1 upgrade

    Read here: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#sysadmin_zfs_limit_memory_usage And here: https://gist.github.com/Impact123/3dbd7e0ddaf47c5539708a9cbcaab9e3#update-zfs-arc-size
  18. F

    ZFS ARC going high since PVE 9.1 upgrade

    ...about 1-6GB on each hosts). Today I was emptying one server, rebooted it and after a couple of hours memory is again full. I have a feeling that ZFS ARC reserves too much of it. Attached you can find 2 screenshot with the consumption over the whole day. any idea or suggestion for solving...
  19. H

    First Proxmox homelab build - sanity check on hardware, service layout, and storage

    ...them in mind once I've got the basics running. The removable-disk idea for offsite PBS copies is something I'll definitely work in. Noted on the ZFS/ECC topic — though I've already got the board and non-ECC RAM sitting here, so ECC isn't really on the table for this build anyway. I'll have a...
  20. bbgeek17

    Correcting Storage

    Hi @nleistad, Confidently attributing the issue to NFS, QCOW, ZFS, network, or any other component requires proper analysis. This typically includes log review, reproducible testing, and potentially network trace reading. There are known edge cases with QCOW on NFS, particularly around...