Proxmox-ZFS != FreeNAS-ZFS??

[whiterabbit]

Hallo.
Ich hatte unter Proxmox einen ZFS-Pool eingerichtet und wollte testweise die Systemplatte gegen ein FreeNAS tauschen, um mir das System anzuschauen. Dabei stellte ich aber fest, dass ich den Pool, der unter Linux/Proxmox angelegt wurde, nicht ohne weiteres unter FreeNAS/FreeBSD importieren konnte. Ich habe die Fehlermeldung nicht aufgeschrieben aber es war irgendwas in Sachen "inkompatible bzw neuere Version (unter Linux)". Kann das jemand so bestätigen oder gibt es einen Weg?

Ich frage auch deshalb, weil ich ein Video gesehen habe, in dem FreeNAS selbst als VM unter Proxmox virtualisiert wurde und der ZFS-Pool bzw der HBA-Controller dann via PCI-passthrough an die FreeNAS-VM durchgereicht wurde. Ich bin nicht sicher, ob das ein guter oder schlechter Weg ist, wenn man bedenkt, dass man es u.U. mit oben genannten Inkompatibilitäten Linux <-> FreeBSD zu tun hat?? Anders gefragt: Kann man das beruhigt so machen oder sollte FreeNAS+ZFS dann doch lieber auf einer eigenen bare-metal-Installation laufen?

Und noch anders gefragt: Tut man sich einen Gefallen, wenn man den HBA des Hypervisors an eine VM durchreicht oder holt man sich damit unnötige Einschränkungen an Bord?

Schönen Gruß.

 

[wolfgang]

Hi,

Du solltest immer die gleiche Version vom ZFS verwenden, wenn du Pool importierst.
Das ist keine ZFS on Linux / ZFS on BSD Problematik.
Und man kann einfach nicht einen neuen Pool mit einem älteren ZFS importieren.



Natürlich kannst du einen HBA durchreichen aber das kostet halt Performance.
Baremetal ist immer schneller. Die Frage ist ob man das braucht.

Auf alle Fälle funktioniert HBA passthrough sehr gut, wenn deine HW das auch unterstützt.

 

[Ingo S]

Bei einem Proxmox Cluster ist noch folgendes zu bedenken:
Mit einem HBA Passthrough kannst du aber Maschinen nicht mehr innerhalb eines Clusters auf eine andere VM migrieren, da auf dem anderen Host nicht die gleichen Festplatten/HBA/Daten liegen.

Wir haben deshalb ein FreeNAS vollständig virtualisiert, inkl. des Storage, auf CEPH. Damit behalten wir die Möglichkeit das FreeNAS im Falle eines Server Ausfalls auf einem anderen Node ohne Datenverlust hochzufahren.

 

[whiterabbit]

Aber wenn du das Storage unter FreeNAS auch virtualisierst (du reichst also das ZFS nicht direkt durch sondern hast nochmal eine Schicht dazwischen?), dürfte die Performance ja schlecht(er) sein!??

 

[Ingo S]

Ja, die Performance ist halt in etwa die des darunterliegenden Speichersystems, z.B. Ceph, minus die Virtualisierung des ZFS.
Bei uns passt das, weil wir an der Stelle nicht die riesige Performance brauchen.

Wie groß der Verlust an Performance tatsächlich ist, kann ich nicht sagen. Ich hab das nie gemessen und der Vergleich ist auch nicht leicht weil das Storage bei uns auf Ceph läuft und ich keine Hardware dafür frei hab. Ceph ist in kleinen Installationen etwas langsamer, insbesondere was die Latenz angeht, verglichen mit einem ordentlichen RAID.

Wenns dich sehr interessiert, mach doch mal einen Vergleichstest.
Baue ein RAID, Installiere Proxmox auf dem Server, virtualisiere das Freenas und miss die Performance. Anschließend installierst du Freenas direkt auf dem Server ohne Proxmox und misst die Performance nochmal. Da beide Installationen auf das gleiche RAID Setup zugreifen, solltest du einen brauchbaren Wert für den Performance Verlust durch die virtualisierung bekommen.

 

[wolfgang]

Also ein ZFS auf Ceph laufen zu lassen macht aus meiner Sicht keinen Sinn, da es sich bei beiden Storages um COW Systeme handelt.
Wenn man COW on COW verwendet braucht man für einen IO vier IOS auf der Platte.

Auch macht man alles doppelt wie die Checksumme berechnen, was wieder viel Performance braucht.
Also wenn NAS auf Ceph dann doch bitte ein FS verwenden was das alles nicht macht wie z.B. ext4.

 

[Ingo S]

Da gebe ich dir absolut Recht.
Nur FreeNAS basiert ja halt auf ZFS und soweit ich weiß kann man bei FreeNAS auch gar nichts anderes verwenden.