ZFS over iSCSI über NAS Systeme wie?

C

crmspezi

Well-Known Member
Sep 5, 2019
384
28
48
44
Germany/Thueringen
Hallo,
mit ZFS habe ich gute Erfahrungen gemacht.

Welche Möglichkeiten (außer CEPH) gäbe es per ZFS over iSCSI angebundene NAS Systeme redundant auszuführen. Ich stelle mir vor das Proxmox eine NAS per ZFS over iSCSI angebunden hat und die NAS (z.B. OpenMediaVault) auf eine weitere NAS repliziert (ähnlich zrep), nur in Echtzeit, damit wenn eine NAS ausfällt ohne Änderung es weitergehen würde aus Sicht von Proxmox.

Ich hoffe mich nicht allzu blöd ausgedrückt zu haben. DRBD scheint hier mit ZFS nicht der richtige Ansatzpunkt zu sein.

Viele Grüße.
 
Last edited:
Vorsicht das heißt wirklich GlusterFS. Es gibt hunderte Möglichkeiten Storage an die PVE zu bringen, ich mag lieber die Builtin Sachen.
Ceph hat auch den Vorteil, dass du jederzeit einzelne Disks hinzufügen und entfernen kannst.
 
Danke für die Rückmeldung. Weisst Du ob ClusterFS mit ZFS funktioniert und die die Latenzen dort sind? Ich habe hauptsächlich entfernten Storage, deshalb kein CEPH.
 
Also ich habe eine NAS Openmedivault (Debian 10) und LIO darauf laufen. Repliziert wird über ZREP zu einer weiteren NAS. PVE's sind mit ZFS over iSCSI angebunden (2x40GBit/s). Snapshots gehen ja wunderbar in der Proxmox GUI auch. Die NAS ist der Storage für viele VM's. (Linux und Win) und damit auch der single point of failure.

Ich brauche eigentlich die Sicherheit das der Storage nicht ausfällt. Deshalb die Überlegungen mit DRBD und ZFS auf der NAS. Ich habe latenzkritische VM's. DRBD soll um Klassen besser bei Latenzen sein als GlusterFS und CEPH. Einen DRBD Client kann man ja nachrüsten, wenn im PVE nicht vorhanden.

Auf der NAS würde ich auf dem ZFS Volumen DRBD einrichten (nicht ZFS auf DRBD). Damit verliere ich auf der Proxmox Seite die Snapshot Funktionalität und würde dann auf der NAS dies einrichten.

Ich weiß nur nicht, ob das so gut ist, oder ob ich wie bei LINBIT empfohlen mit LVM arbeiten sollte. Wie gesagt, ich will die derzeitige Performance mit ZFS over iSCSI nicht aufgeben müssen.
 
Also Jede Lösung hat hier ihre Vorteile.
DRBD kenne ich nicht selbst, nur etwas angelesenes. Latenzen bekommst du damit bestimmt geringer hin wenn du Infiniband nutzt, was ja unterstützt wird.
Warum Gluster und Ceph schlechter sein sollen, erschließt sich mir nicht.
Ceph ist extrem Performant im HCI Setup, wenn du die Disks im Proxmox Host hast.
Bei Ceph und RBD skaliert das extrem gut, wenn du viele VMs hast. Du musst nicht alle Anfragen an einen Controller schicken wie jetzt, sondern jede VM ist ein Initiator und Jeder Disk/Deamon ist ein Target. Somit hast du bei einigen Disks und vielen VMs extrem viel Parallelen Traffic. Schlechte Latenzen habe ich mit Ceph nur bei HDDs beobachten können, mit SSDs ist die Performance spitze.

Dafür müsstest du die Disks in deine Hosts bringen und zwei Knoten ist dann auch keine Option.

DRBD ist bestimmt genau so gut wie das GlusterFS Setup, wenn du 2 Devices spiegeln willst. Gluster auf ZFS sieht man aber deutlich öfter. (Ich zumindest )

Bei jedem gespiegelten Storage erhöht sich die Schreiblatenz immer um die Zeit, welche man braucht, den Block auf das zweite Device zu schreiben.
 
SkyDiver79 said:
Also Jede Lösung hat hier ihre Vorteile.
DRBD kenne ich nicht selbst, nur etwas angelesenes. Latenzen bekommst du damit bestimmt geringer hin wenn du Infiniband nutzt, was ja unterstützt wird.
Warum Gluster und Ceph schlechter sein sollen, erschließt sich mir nicht.
Ceph ist extrem Performant im HCI Setup, wenn du die Disks im Proxmox Host hast.
Bei Ceph und RBD skaliert das extrem gut, wenn du viele VMs hast. Du musst nicht alle Anfragen an einen Controller schicken wie jetzt, sondern jede VM ist ein Initiator und Jeder Disk/Deamon ist ein Target. Somit hast du bei einigen Disks und vielen VMs extrem viel Parallelen Traffic. Schlechte Latenzen habe ich mit Ceph nur bei HDDs beobachten können, mit SSDs ist die Performance spitze.

Dafür müsstest du die Disks in deine Hosts bringen und zwei Knoten ist dann auch keine Option.

DRBD ist bestimmt genau so gut wie das GlusterFS Setup, wenn du 2 Devices spiegeln willst. Gluster auf ZFS sieht man aber deutlich öfter. (Ich zumindest )

Bei jedem gespiegelten Storage erhöht sich die Schreiblatenz immer um die Zeit, welche man braucht, den Block auf das zweite Device zu schreiben.
Click to expand...
Danke für die sehr ausführliche Antwort.
Ich habe diese Woche einen Vergleich zwischen CEPH/GlusterFS/DRBD gelesen. Bandbreite überall super, Latenz wohl weniger bei CEPH/GlusterFS.
Mein Cluster hat eben einiger Nodes (>10). Ob dann CEPH noch geeignet ist bzgl. der Effizienz mit überall lokalen Disks? Gluster auf ZFS habe ich versucht zu verstehen, bei RHEL habe ich gelesen, keine VM's, sondern nur Dateisysteme verwenden. Mit der Schreiblatenz bin auch völlig bei Dir. Mehr als ein "dreier" Spiegel wird sehr nachteilig werden. Leider kenne ich Infiniband nicht, lese mich aber ein. Ist RBD an DRBD angelehnt?
 
RBD = Rados Block Device
Ceph Performance wird erst mit vielen Nodes / Disks und Abnehmern gut. Single VM skaliert mit Ceph tatsächlich nicht so gut.
Der Referenzcluster von Ceph steht am CERN mit ca. 1000 Nodes und 5TByte/s Durchsatz wenn mal wieder ein Teilchen kollidiert.
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back