Ich habe die Dinger als Rackvariante bei Kunden im Einsatz. Wegen den guten Durchsatzwerten nutzen wir die als Datacenter Firewall, getrennt zur Perimeter Firewall. Laufen super die Dinger.
Projektplanung
- Thread starter DerTW
- Start date
Danke das hilft mir wirklich die Performance einzuschätzen.
Wenn das ding mit 4x 2.9 ghz und 8gb ram 17gbit bringt sollte ich mit 8x 3.9ghz und 32gb ram änlich werte erzielen. Wie schon gesagt muss der Anschluss auch nicht komplett ausgereizt werden.
Ich habe noch einen alten pc rumliegen den ich wieder aktivieren werde um mich mit proxmox auseinander zu setzen.
Werde testweise TrueNas und opensens laufen lassen.
Das wird nicht schnell aber lehrreich.
Bin dann erst mal im Urlaub.
Dank für das tolle Gespräch
Ich würde mir nicht zu viel versprechen. 17Gbit macht die Appliance sicherlich nicht mit WAN MTUs und mit fragmentierten Paketen schon dreimal nicht. OPNSense nutzt mWn kein DPDK/VPP. Ich habe ein ähnliches Setup, nur mit 810er SFP28 NICs und einem Xeon der 4. Generation, da ich 8 NVMe's im ZFS fahre und die PCIe Lanes brauche.
Ich war mit der OPNSense Performance bei 10Gbit schon nicht zufrieden und habe dann VyOS mit dem VPP AddOn installiert. Das ist deutlich performanter, auch wenn ich die 25GBit bisher nicht testen konnte.
Ich war mit der OPNSense Performance bei 10Gbit schon nicht zufrieden und habe dann VyOS mit dem VPP AddOn installiert. Das ist deutlich performanter, auch wenn ich die 25GBit bisher nicht testen konnte.
Hi, die Xeon schneiden allgemein schlechter ab bei OPNsense. Frag mich nicht warum die AMD da besser laufen, nur am Takt liegt es wohl nicht, da die Unterschiede manchmal schon recht groß sind.
Die E810 benutzt du aber nur durchgeschleift an die OPNsense? Falls du eine Treiber kennst für die Intel NICs, welcher auf Debian12/PVE8 läuft, wäre ich über eine Info sehr dankbar.
VPP wird evtl. auch in OPNsense möglich sein. https://ipng.ch/s/articles/2024/02/10/vpp-freebsd-1.html. Dafür muss es aber erst mal in BSD rein. Also nichts für dieses Jahr.
Warum genau? Hier klappte es auch mit. Hab nur "pre-enrolled keys" für die EFI-Disk deaktiviert.
Die E810 ist durchgeschleift, in meinem Fall an VyOS 1.5, was ja auf Debian Bookworm basiert. Dort laufen die NICs problemlos mit dem ice Treiber. Ich habe es mit PVE nie probiert, aber ich erinnere mich, dass auch dort die Interfaces zur Verfügung standen.
Bookworm ist ja Debian12, kannst du mir sagen welchen Treiber (Version) du benutzt? Von Intel gibt es noch keinen offizellen Treiber für Kernel neuer als 5.17. Wenn man bei Intel nachfragt, sagen die Lapidar, geh doch auf Debian11. Der Treiber von Intel soll aber irgendwann 2024 kommen.
Wenn aber trotzdem eine Version unter Debian12 funktioniert, wäre das sehr hilfreich.
Es geht ja nicht nur um Debian sondern alle 6.x Kernel. Debian hat anscheinend die meiste Verbreitung mit einem 6.x Kernel und den Netzwerkkarten.
In deinem Screenshot sieht man leider keine Version des ice Treibers. Könntest du die raus bekommen?
In deinem Screenshot sieht man leider keine Version des ice Treibers. Könntest du die raus bekommen?
Ich finde dazu in VyOS keine Informationen. Aber ich habe zum Spaß einfach mal den Intel Treiber 1.13.7 gebaut und das läuft mit dem PVE Kernel 6.5 ganz passabel.
filename: /lib/modules/6.5.11-8-pve/updates/drivers/net/ethernet/intel/ice/ice.kofirmware: intel/ice/ddp/ice.pkgversion: 1.13.7license: GPL v2description: Intel(R) Ethernet Connection E800 Series Linux Driverauthor: Intel Corporation, <linux.nics@intel.com>srcversion: 3EB4549D125EAA59F08D047alias: pci:v00008086d00001888sv*sd*bc*sc*i*alias: pci:v00008086d0000579Fsv*sd*bc*sc*i*alias: pci:v00008086d0000579Esv*sd*bc*sc*i*alias: pci:v00008086d0000579Dsv*sd*bc*sc*i*alias: pci:v00008086d0000579Csv*sd*bc*sc*i*alias: pci:v00008086d0000151Dsv*sd*bc*sc*i*alias: pci:v00008086d0000124Fsv*sd*bc*sc*i*alias: pci:v00008086d0000124Esv*sd*bc*sc*i*alias: pci:v00008086d0000124Dsv*sd*bc*sc*i*alias: pci:v00008086d0000124Csv*sd*bc*sc*i*alias: pci:v00008086d0000189Asv*sd*bc*sc*i*alias: pci:v00008086d00001899sv*sd*bc*sc*i*alias: pci:v00008086d00001898sv*sd*bc*sc*i*alias: pci:v00008086d00001897sv*sd*bc*sc*i*alias: pci:v00008086d00001894sv*sd*bc*sc*i*alias: pci:v00008086d00001893sv*sd*bc*sc*i*alias: pci:v00008086d00001892sv*sd*bc*sc*i*alias: pci:v00008086d00001891sv*sd*bc*sc*i*alias: pci:v00008086d00001890sv*sd*bc*sc*i*alias: pci:v00008086d0000188Esv*sd*bc*sc*i*alias: pci:v00008086d0000188Dsv*sd*bc*sc*i*alias: pci:v00008086d0000188Csv*sd*bc*sc*i*alias: pci:v00008086d0000188Bsv*sd*bc*sc*i*alias: pci:v00008086d0000188Asv*sd*bc*sc*i*alias: pci:v00008086d0000159Bsv*sd*bc*sc*i*alias: pci:v00008086d0000159Asv*sd*bc*sc*i*alias: pci:v00008086d00001599sv*sd*bc*sc*i*alias: pci:v00008086d00001593sv*sd*bc*sc*i*alias: pci:v00008086d00001592sv*sd*bc*sc*i*alias: pci:v00008086d00001591sv*sd*bc*sc*i*depends: gnssretpoline: Yname: icevermagic: 6.5.11-8-pve SMP preempt mod_unload modversionsparm: debug:netif level (0=none,...,16=all) (int)parm: fwlog_level:FW event level to log. All levels <= to the specified value are enabled. Values: 0=none, 1=error, 2=warning, 3=normal, 4=verbose. Invalid values: >=5 (ushort)parm: fwlog_events:FW events to log (32-bit mask) (ulong)Auch VFs funktionieren:
NVM Firmware ist 4.40.
Muss, gibt’s nicht. Es empfiehlt sich oft, aber das kommt immer auf das Design an.
Du brauchst mindestens 2 Nodes mit einem qDevice oder 3 Nodes.
Bei zwei Nodes wird oft ZFS Replikation verwendet und ab 3 Nodes kann man dann auch Ceph nutzen.
Du brauchst mindestens 2 Nodes mit einem qDevice oder 3 Nodes.
Bei zwei Nodes wird oft ZFS Replikation verwendet und ab 3 Nodes kann man dann auch Ceph nutzen.
Ok das jetzt echt schade.
5x peep 1x peeeeeeep = ram passt nicht.
Geht nur unbufferd das jetzt blöd. Da ich das System um den RAM geplant habe, da ich den übrig hatte.
Das günstigste Projekt wir dann jetzt doch teurer.
2x 16gb ecc unbufferd sind auf dem Weg.
Noch mal +80CHF
Irgendwann wird der fertig werden dann sage ich euch Bescheid.
5x peep 1x peeeeeeep = ram passt nicht.
Geht nur unbufferd das jetzt blöd. Da ich das System um den RAM geplant habe, da ich den übrig hatte.
Das günstigste Projekt wir dann jetzt doch teurer.
2x 16gb ecc unbufferd sind auf dem Weg.
Noch mal +80CHF
Irgendwann wird der fertig werden dann sage ich euch Bescheid.
90CHF - Supermicro x11ssL-F
4CHF CPU Cooler
16CHF CPU E3-1270v5
20CHF Mellanox Connect x3 10Gbit
00CHF 4x Samsung 16GB - DDR4 2400 ECC Buffert Passt nicht
90CHF 2x Kingston 16GB - DDR4 2400 ECC UnBuffert
115CHF Intertech 2u-20248
140CHF 2x chieftec cbp-2131SAS = 6x HotSwap 3.5
30 CHF Fantec MR-25Dual 2x HotSwap 2.5
100 CHF Intertech 2u 600W PSU
10 CHF 2x Verbatim SSD 128GB für Boot (Mirror)
30 CHF 2x Verbatim SSD 512GB für Special VDEV
20 CHF PCIX-4 10xSata
665 CHF
2x Exos X20
Das nicht so, wie ich mir das mal gedacht hatte. Wenn ich ein gebrauchtes Gehäuse hätte finden können, das meine Anforderungen erfüllt, hätte ich sicher 200CHF sparen können. Tja, dass der RAM nicht passt, würde ich sagen, selber schuld noch mal 90CHF. Somit hätte ich 290CHF sparen können, wenn ich den Fokus zuerst auf ein Gehäuse gelegt hätte. Alle anderen Teile waren leicht zu bekommen.
Gelernt: nächsten Server um das passende Gehäuse rum planen, um echt Geld zu sparen.
Der Server wird die Tage aufgesetzt und zunächst nur als Replication Task ziel fungieren. Ich werde noch 2-3 Bilder posten und auch ein paar Daten zum Datendurchsatz mitteilen.
Dann werde ich mich anderen Projekten widmen, die leider nichts mit Servern zu tun haben. Mein Main Server will aber auch irgendwann ganz neu gemacht werden, sobald Unify mal Router herausbringt, die 25Gbit Routen können. (habe mich entschieden, bei Unify zu bleiben)
Ich danke euch schon jetzt für die vielen Infos. =)
Lars
4CHF CPU Cooler
16CHF CPU E3-1270v5
20CHF Mellanox Connect x3 10Gbit
00CHF 4x Samsung 16GB - DDR4 2400 ECC Buffert Passt nicht
90CHF 2x Kingston 16GB - DDR4 2400 ECC UnBuffert
115CHF Intertech 2u-20248
140CHF 2x chieftec cbp-2131SAS = 6x HotSwap 3.5
30 CHF Fantec MR-25Dual 2x HotSwap 2.5
100 CHF Intertech 2u 600W PSU
10 CHF 2x Verbatim SSD 128GB für Boot (Mirror)
30 CHF 2x Verbatim SSD 512GB für Special VDEV
20 CHF PCIX-4 10xSata
665 CHF
2x Exos X20
Das nicht so, wie ich mir das mal gedacht hatte. Wenn ich ein gebrauchtes Gehäuse hätte finden können, das meine Anforderungen erfüllt, hätte ich sicher 200CHF sparen können. Tja, dass der RAM nicht passt, würde ich sagen, selber schuld noch mal 90CHF. Somit hätte ich 290CHF sparen können, wenn ich den Fokus zuerst auf ein Gehäuse gelegt hätte. Alle anderen Teile waren leicht zu bekommen.
Gelernt: nächsten Server um das passende Gehäuse rum planen, um echt Geld zu sparen.
Der Server wird die Tage aufgesetzt und zunächst nur als Replication Task ziel fungieren. Ich werde noch 2-3 Bilder posten und auch ein paar Daten zum Datendurchsatz mitteilen.
Dann werde ich mich anderen Projekten widmen, die leider nichts mit Servern zu tun haben. Mein Main Server will aber auch irgendwann ganz neu gemacht werden, sobald Unify mal Router herausbringt, die 25Gbit Routen können. (habe mich entschieden, bei Unify zu bleiben)
Ich danke euch schon jetzt für die vielen Infos. =)
Lars
Du zahlst 170 CHF für Hot-Swap-Bays aber bist dann nur bereit 40 CHF für SSDs auszugeben? Ich hätte das anders herum gemacht. Nicht vergessen: Sterben dir die 15 CHF SSDs weg, dann sind auch alle Daten auf den Exos X20 weg. An SSDs sollte man echt nicht sparen, auch wenn es leider viel zu viele Leute tun...