Schlechte Performance ZFS

[zeipet]

Hallo,
es ist eine Never ending Story mit meinem System und ZFS.
Ich betreibe einen Proliant Microserver G8 mit 16GB Ram und 3x4TB im RaidZ1, Ashift=12, lz4

Im Windows Guest, den ich als Fileserver verwende kann ich über SMB die ersten 10s 130MB/s erreichen, dann fällt es ab auf etwa 10-30MB/s für den Rest der Übertragung.
Die I/O ist so Grottenschlecht, dass machmal das Startmenü 30s braucht bis es auf geht.
Bei einem anderen Windows Server (2016) ist es genau so schlecht.
Speicher ist immer genug frei, Der ARC geht auf etwa 4GB, aber trotzdem ändert sich am Guest nichts.

Jetzt kommt meine Schwierigkeit, wenn ich Messe, egal wo und wie (Cristal Diskmark, dd ) bekomme ich hohe Phantasie Werte, die nicht stimmen können.
Also hab ich nur blind herum probiert (seit etwa einen Jahr) Mit Raid Controller, ohne Raid Controller (jetzt), mehr Ram, andere ashift, anderer Festplattentyp im vm, Write back, slog, zil, mit swap am host, ohne swap am host.
Besser war es nur als ich ZFS nicht verwendete sondern direkt ein HW Raid5 hatte, da gingen locker ~130-160MB/s

Aber ich brauche ZSYNC...
Und generell gefällt mir ZFS, eben bis auf die Geschwindigkeit.

Wie komme ich hier weiter?

LG Peter

 

[HBO]

Was sind das für 4TB Festplatten und was hattest du für eine Disk als SLOG genutzt?
Ohne SLOG habe ich bei Spindel Festplatten bisher generell nur schlechte Erfahrungen mit ZFS gemacht, zudem ist noch Ausschlaggebend wie viele Festplatten man wohl nutzt. Ein ZFS Raid 10 mit 4 Festplatten ist langsamer als eines mit 8.

Nachdem ich dann eine Intel Optan SSD als SLOG hinzu gefügt hatte ging das System richtig ab. Wobei ein persönlich wesentlich mehr RAM rein stecken würde, allein dem Windows Server 2016 würde ich schon die 16GB geben und 8GB fest als ARC für ZFS einplanen.

Messungen machen nur per FIO sinn, von mir findest du dazu irgendwo einen Thread im deutschen Bereich (die Probleme hatte ich nämlich auch).

 

[zeipet]

Es sind drei IronWolf NAS von Seagate Seagate IronWolf 4 TB, ST4000VN008, interne Festplatte, 8,9 cm (3,5 Zoll), 64 MB Cache, 5900 RPM, SATA 6Gb/s
Die Platten können sicher mehr als 30 MB/s. Als SLOG Hatte ich eine Standard Kingston SSD mit 300 MB/s genutzt.
Zwei Partitionen je 16GB komplett als Blockdevice eingebunden (nicht mit einem File).
Brachte aber keine spürbare besserung, müsste es aber, deswegen müsste der Fehler ja wo anderes liegen?

Kennst du den Thread noch?

 

[LnxBil]

Also generell ist die Performance vom Startmenü natürlich unter alle Kanone und so nicht hinnehmbar, aber hier ein paar generelle Anmerkungen:

Es sind drei IronWolf NAS von Seagate

ui, nicht mal 7200rpm, klar sind die nicht schnell bei random I/O. Hilft nur mehr vdevs zu haben, also raid 1+0 anstelle von raidz1, denn das SLOG macht in 99% der Anwendungsfälle, die die meisten nicht mit ZFS-vertrauten Personen denken, nichts, da es nur synchroner I/O dadurch beschleunigt wird und es aktiv KEINE Vorteile beim Lesen bietet.

Die Platten können sicher mehr als 30 MB/s.

Im Random I/O mit 4K-Blöcken wäre ich erstaunt, wenn sie mehr als _ein_ MB/sec machen würde, denn das geht physikalisch einfach nicht mit einer Platte - und in einem vdev.

Als SLOG Hatte ich eine Standard Kingston SSD mit 300 MB/s genutzt.

Standard = Billig? Dann kann es sogar sein, dass dein Pool langsamer mit einem SLOG wird als es ohne wäre. Bitte nur gescheite Enterprise SSDs (gibt billig schon bei ebay für 30 Euro) verwenden, denn SLOG benötigt man normalerweise nur einen einstelligen GB-Wert. Der Lesewert ist auch total überflüssig, denn auf das SLOG wird grundsätzlich nur geschrieben, es sei denn es kommt zu einem Crash der Maschine, dann wird bei der Pool-Initialisierung das SLOG zum Laden verwendet. Wichtig ist hier wie schnell ein einzelner I/O auf die Platte geschrieben werden kann und bei Consumer und Prosumer Geräten dauert das zu lange, da im Hintergrund zu viel gemacht wird. Die SSDs haben nämlich intern keine 4K-Blöcke, sondern größere Einheiten (Write-Amplification) und somit ist mehr Arbeit auf dem Controller notwendig, dass den I/O verlangsamt (im Vergleich zu Enterprise-SSDs). Dadurch erreichen diese auch viel schneller ihren DWPD-Wert. Bitte schau hier mal auf die SMART-Werte - wirklich billige SSDs wie Samsung EVO bekommst du in einigen Monaten kaputt bei kleinen I/Os.

Brachte aber keine spürbare besserung, müsste es aber, deswegen müsste der Fehler ja wo anderes liegen?

Generell kannst du mal probieren den sync des ZFSs zu Testzwecken auszuschalten um zu sehen, ob es damit schneller geht. Das betrifft aber natürlich nur das Schreiben, nicht das Lesen.

Und generell gefällt mir ZFS, eben bis auf die Geschwindigkeit.

Auf der Hardware wird es auch nicht rennen und ein Hardware-RAID-Controller mit Batterie und großem Cache kann wesentlich bessere Ergebnisse liefern - Schaue dir auch mal mittels zpool iostat die Werte über die Zeit an und schau wieviel I/O während dem Arbeiten in Windows generiert werden.

Kennst du den Thread noch?

Ich habe hier mal angefangen einen Artikel rund um das Thema Benchmarking anzufangen, der sollte dir einen ersten Einstieg geben:

https://pve.proxmox.com/wiki/Benchmarking_Storage

 

[zeipet]

Hallo, erstmal ein Danke für diese ausführliche Antwort!

ui, nicht mal 7200rpm, klar sind die nicht schnell bei random I/O. Hilft nur mehr vdevs zu haben, also raid 1+0 anstelle von raidz1, denn das SLOG macht in 99% der Anwendungsfälle, die die meisten nicht mit ZFS-vertrauten Personen denken, nichts, da es nur synchroner I/O dadurch beschleunigt wird und es aktiv KEINE Vorteile beim Lesen bietet.
-------
Im Random I/O mit 4K-Blöcken wäre ich erstaunt, wenn sie mehr als _ein_ MB/sec machen würde, denn das geht physikalisch einfach nicht mit einer Platte - und in einem vdev.

Ich brauch ja keine Monster transferraten, aber ein File von 3 GB übers Netzwerk raufschieben sollte normalerweise kein großes Problem darstellen. Ebenso mal den Rechner durchstarten,
Hier kannst die KaffeeMaschiene einschalten, einen Kaffee runterlassen und ihn austrinken bis eines der Dinge erledigt ist. ;-)

Also Spaß beiseite, selbst die IRON Wolf läuft in meiner alten Buffalo Diskstation besser ;-)

Nein jetzt wirklich, es ist kein schweres Setting, es muss doch einen Weg geben ein kleines Performantes System mit ZFS zusammenzu kriegen.

Ansonsten werd ich wirklich den HP Raidcontroller wieder einbauen und auf die vorzüge des Filesystems verzichten.

Standard = Billig? Dann kann es sogar sein, dass dein Pool langsamer mit einem SLOG wird als es ohne wäre. Bitte nur gescheite Enterprise SSDs (gibt billig schon bei ebay für 30 Euro) verwenden, denn SLOG benötigt man normalerweise nur einen einstelligen GB-Wert.

Würde ich dann auf 130MB/s kommen? Was jetzt bei den IronWolf ein realistischer Wert wäre.

Generell kannst du mal probieren den sync des ZFSs zu Testzwecken auszuschalten um zu sehen, ob es damit schneller geht. Das betrifft aber natürlich nur das Schreiben, nicht das Lesen.

Funktioniert das mit einem initialisierten Volume? Also ausschalten und testen, oder muss ich ein neues leeres anlegen und dann draufschreiben?

Auf der Hardware wird es auch nicht rennen und ein Hardware-RAID-Controller mit Batterie und großem Cache kann wesentlich bessere Ergebnisse liefern - Schaue dir auch mal mittels zpool iostat die Werte über die Zeit an und schau wieviel I/O während dem Arbeiten in Windows generiert werden.

So schaut zpool iostat -v 1 bei einem Kopieren von einem File über SMB aus. (ca 30M/s)

capacity operations bandwidth
pool alloc free read write read write
-------------------------- ----- ----- ----- ----- ----- -----
Raid 9.77T 1.10T 7.57K 0 37.5M 0
raidz1 9.77T 1.10T 7.57K 0 37.5M 0
wwn-0x5000c50090d9b379 - - 2.79K 0 11.4M 0
wwn-0x5000c50090d90d49 - - 2.80K 0 11.3M 0
wwn-0x5000c500a83203d3 - - 1.98K 0 14.9M 0
-------------------------- ----- ----- ----- ----- ----- -----
capacity operations bandwidth
pool alloc free read write read write
-------------------------- ----- ----- ----- ----- ----- -----
Raid 9.77T 1.10T 4.66K 0 37.0M 0
raidz1 9.77T 1.10T 4.66K 0 36.9M 0
wwn-0x5000c50090d9b379 - - 1.66K 0 11.8M 0
wwn-0x5000c50090d90d49 - - 1.69K 0 11.9M 0
wwn-0x5000c500a83203d3 - - 1.31K 0 13.2M 0
-------------------------- ----- ----- ----- ----- ----- -----
capacity operations bandwidth
pool alloc free read write read write
-------------------------- ----- ----- ----- ----- ----- -----
Raid 9.77T 1.10T 5.02K 167 36.1M 7.88M
raidz1 9.77T 1.10T 5.02K 167 36.1M 7.88M
wwn-0x5000c50090d9b379 - - 1.80K 58 11.6M 2.63M
wwn-0x5000c50090d90d49 - - 1.66K 66 12.1M 2.62M
wwn-0x5000c500a83203d3 - - 1.56K 41 12.4M 2.63M
-------------------------- ----- ----- ----- ----- ----- -----
capacity operations bandwidth
pool alloc free read write read write
-------------------------- ----- ----- ----- ----- ----- -----
Raid 9.77T 1.10T 3.49K 142 16.1M 1.25M
raidz1 9.77T 1.10T 3.49K 142 16.1M 1.25M
wwn-0x5000c50090d9b379 - - 1.16K 50 5.37M 440K
wwn-0x5000c50090d90d49 - - 1.24K 45 5.03M 444K
wwn-0x5000c500a83203d3 - - 1.09K 45 5.75M 400K
-------------------------- ----- ----- ----- ----- ----- -----
capacity operations bandwidth
pool alloc free read write read write
-------------------------- ----- ----- ----- ----- ----- -----
Raid 9.77T 1.10T 3.15K 23 49.4M 340K
raidz1 9.77T 1.10T 3.15K 23 49.4M 340K
wwn-0x5000c50090d9b379 - - 1.10K 5 16.2M 99.9K
wwn-0x5000c50090d90d49 - - 1.09K 5 16.4M 99.9K
wwn-0x5000c500a83203d3 - - 991 11 16.8M 140K
-------------------------- ----- ----- ----- ----- ----- -----

 

[zeipet]

NAME PROPERTY VALUE SOURCE
Raid size 10.9T -
Raid capacity 89% -
Raid altroot - default
Raid health ONLINE -
Raid guid 16515710658107651276 -
Raid version - default
Raid bootfs - default
Raid delegation on default
Raid autoreplace off default
Raid cachefile - default
Raid failmode wait default
Raid listsnapshots off default
Raid autoexpand off default
Raid dedupditto 0 default
Raid dedupratio 1.00x -
Raid free 1.10T -
Raid allocated 9.77T -
Raid readonly off -
Raid ashift 0 default
Raid comment - default
Raid expandsize - -
Raid freeing 0 -
Raid fragmentation 25% -
Raid leaked 0 -
Raid multihost off default
Raid feature@async_destroy enabled local
Raid feature@empty_bpobj active local
Raid feature@lz4_compress active local
Raid feature@multi_vdev_crash_dump enabled local
Raid feature@spacemap_histogram active local
Raid feature@enabled_txg active local
Raid feature@hole_birth active local
Raid feature@extensible_dataset active local
Raid feature@embedded_data active local
Raid feature@bookmarks enabled local
Raid feature@filesystem_limits enabled local
Raid feature@large_blocks enabled local
Raid feature@large_dnode enabled local
Raid feature@sha512 enabled local
Raid feature@skein enabled local
Raid feature@edonr enabled local
Raid feature@userobj_accounting active local





CPU BOGOMIPS: 52681.84
REGEX/SECOND: 1946765
HD SIZE: 14.46 GB (/dev/mapper/pve-root)
BUFFERED READS: 12.74 MB/sec
AVERAGE SEEK TIME: 2.54 ms
FSYNCS/SECOND: 70.56




------------------------------------------------------------------------
ZFS Subsystem Report Thu Feb 14 22:16:05 2019
ARC Summary: (HEALTHY)
Memory Throttle Count: 0

ARC Misc:
Deleted: 5.65M
Mutex Misses: 233
Evict Skips: 251.06k

ARC Size: 6.27% 501.47 MiB
Target Size: (Adaptive) 6.68% 533.99 MiB
Min Size (Hard Limit): 6.25% 499.80 MiB
Max Size (High Water): 16:1 7.81 GiB

ARC Size Breakdown:
Recently Used Cache Size: 16.38% 76.58 MiB
Frequently Used Cache Size: 83.62% 390.96 MiB

ARC Hash Breakdown:
Elements Max: 1.01M
Elements Current: 7.48% 75.57k
Collisions: 866.92k
Chain Max: 5
Chains: 1.90k

ARC Total accesses: 24.78M
Cache Hit Ratio: 76.01% 18.83M
Cache Miss Ratio: 23.99% 5.94M
Actual Hit Ratio: 74.21% 18.39M

Data Demand Efficiency: 55.50% 10.19M
Data Prefetch Efficiency: 26.14% 1.64M

CACHE HITS BY CACHE LIST:
Anonymously Used: 1.81% 341.30k
Most Recently Used: 33.26% 6.26M
Most Frequently Used: 64.37% 12.12M
Most Recently Used Ghost: 0.50% 93.34k
Most Frequently Used Ghost: 0.06% 11.70k

CACHE HITS BY DATA TYPE:
Demand Data: 30.04% 5.66M
Prefetch Data: 2.28% 429.53k
Demand Metadata: 67.43% 12.70M
Prefetch Metadata: 0.25% 47.06k

CACHE MISSES BY DATA TYPE:
Demand Data: 76.32% 4.54M
Prefetch Data: 20.42% 1.21M
Demand Metadata: 2.92% 173.57k
Prefetch Metadata: 0.34% 20.45k


DMU Prefetch Efficiency: 10.82M
Hit Ratio: 2.39% 258.98k
Miss Ratio: 97.61% 10.56M

 

[zeipet]

Hab mal einen Test gemacht, weiss aber nicht ob der was aussagt.

config:
; seq_Read test
[global]
ioengine=libaio
sync=1
rw=read
bs=4K
size=2m
numjobs=1
iodepth=1
runtime=60
time_based
directory=/Raid/fiotest/

test2: (g=0): rw=read, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=1
fio-2.16
Starting 1 process
Jobs: 1 (f=1): [R(1)] [100.0% done] [1014MB/0KB/0KB /s] [260K/0/0 iops] [eta 00m:00s]
test2: (groupid=0, jobs=1): err= 0: pid=28576: Thu Feb 14 22:37:07 2019
read : io=63812MB, bw=1063.6MB/s, iops=272258, runt= 60001msec
slat (usec): min=2, max=202, avg= 2.67, stdev= 0.93
clat (usec): min=0, max=192, avg= 0.46, stdev= 0.57
lat (usec): min=2, max=203, avg= 3.22, stdev= 0.95
clat percentiles (usec):
| 1.00th=[ 0], 5.00th=[ 0], 10.00th=[ 0], 20.00th=[ 0],
| 30.00th=[ 0], 40.00th=[ 0], 50.00th=[ 0], 60.00th=[ 1],
| 70.00th=[ 1], 80.00th=[ 1], 90.00th=[ 1], 95.00th=[ 1],
| 99.00th=[ 1], 99.50th=[ 1], 99.90th=[ 2], 99.95th=[ 9],
| 99.99th=[ 10]
lat (usec) : 2=99.90%, 4=0.02%, 10=0.07%, 20=0.02%, 50=0.01%
lat (usec) : 250=0.01%
cpu : usr=25.86%, sys=74.10%, ctx=38, majf=0, minf=10
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=16335754/w=0/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
READ: io=63812MB, aggrb=1063.6MB/s, minb=1063.6MB/s, maxb=1063.6MB/s, mint=60001msec, maxt=60001msec

 

[udo]

Hi,
ich hab zfs-storage mit vielen (> 10) 5900rpm HDDs als Datengrab am Start (Disaster recovery - da wird nur drauf gesynct).
Grottenlangsam, was an den Disks liegt (Ram ist für den Zweck ausreichend vorhanden).
Mit slog und l2arc auf schnellen storage wird's erträglich...

Udo

 

[LnxBil]

Funktioniert das mit einem initialisierten Volume? Also ausschalten und testen, oder muss ich ein neues leeres anlegen und dann draufschreiben?

Wenn dein ZFS noch da ist, einfach im Pool ausschalten. Das ist online ein- bzw. auszuschalten, daher kann man das als Geschwindigkeitstest immer machen:

root@proxmox ~ > zfs set sync=disabled unencrypted

# zurücksetzen
root@proxmox ~ > zfs inherit sync unencrypted

Würde ich dann auf 130MB/s kommen?

Sequentielles Schreiben geht IMHO am ZIL vorbei, wie bei den meisten RAID-Controllern auch, wenn das erkannt wird, da sequentielles Schreiben immer der Paradefall für eine Festplatte ist. Problem hier ist ggf. die Fragmentierung und der freie Speicher.

Raid capacity 89% -

Pools, die sehr stark gefüllt sind werden sehr langsam, es sollte etwas besser werden, wenn mehr Platz frei ist. Hatten wir auch schon.

ich hab zfs-storage mit vielen (> 10) 5900rpm HDDs als Datengrab am Start (Disaster recovery - da wird nur drauf gesynct).
Grottenlangsam, was an den Disks liegt (Ram ist für den Zweck ausreichend vorhanden).
Mit slog und l2arc auf schnellen storage wird's erträglich...

@udo: Was heißt hier grottenlangsam, hast du Zahlen?
Ich habe hier auch ein Backup-System mit 18 langsamen Platten in 3 vdevs/raidz2 und habe zwischen 100-300 MB/sec beim Lesen, wenn die Daten schön verteilt sind. Der L2ARC im System wird eigentlich nie genutzt (99% miss), SLOG haben wir keines. Der Pool war aber sehr langsam als er an die 90% voll war.

 

[udo]

@udo: Was heißt hier grottenlangsam, hast du Zahlen?
Ich habe hier auch ein Backup-System mit 18 langsamen Platten in 3 vdevs/raidz2 und habe zwischen 100-300 MB/sec beim Lesen, wenn die Daten schön verteilt sind. Der L2ARC im System wird eigentlich nie genutzt (99% miss), SLOG haben wir keines. Der Pool war aber sehr langsam als er an die 90% voll war.

Hi,
klar:

pveperf
CPU BOGOMIPS:      115162.68
REGEX/SECOND:      1296280
HD SIZE:           5595.40 GB (rpool/ROOT/pve-1)
FSYNCS/SECOND:     85.11

5 * raidz1 je drei Platten (ohne SLOG/l2arc)

Lesend innerhalb VM (die Platten machen +/- 10MB/sec (60-100 MB/s)):

time dd if=28gb_big_file of=/dev/null bs=1M
28845+1 records in
28845+1 records out
30246917632 bytes (30 GB, 28 GiB) copied, 411.583 s, 73.5 MB/s

Pool-Werte eigentlich ok:

rpool  size                           13.6T                          -
rpool  capacity                       36%
rpool  free                           8.63T                          -
rpool  allocated                      4.96T                          -
rpool  ashift                         12                             local                      -
rpool  fragmentation                  21%                            -

Das bezeichne ich als grottenlangsam. Ein "apt dist-upgrade" fühlt sich ebenfalls lahm an. Wie gesagt, in dem Fall als Datengrab kein Problem, aber sonst würde ich sagen - Finger weg von 5900rpm Disk für zfs.

Udo

 

[HBO]

FSYNCS/SECOND: 85.11

Da braucht man sich nicht wundern, sollte vielleicht um den Faktor 50 höher sein.

Ich hatte hier auch mal ZFS an einem DL380 G8 mit HBA Modus (ab Firmware 8.0 am i420) probiert mit 10k rpm SAS, taugte gar nichts.
Gleiche Platten in einem Supermicro System mit LSI HBA bringt mir dann 3800 Fsyncs (allerdings im ZFS Raid 10) und genügend Lese/Schreib Kraft.
Allerdings habe ich auch mal ein Storage mit 12 WD Red Pro Festplatten und einem FreeNAS getestet im ZFS RaidZ2, dafür das auf dem System nur geschrieben wird brauchte ich entsprechend genug Leistung. Das System ist unter der Schreiblast durch Proxmox Backups ständig zusammen gebrochen. Ich weiß nicht woher die Aussagen kommen man könne mit normalen NAS HDDs ein ZFS Storage aufbauen...

 

[fireon]

Möchte hier mit euch auch meine Erfahrung zum Thema teilen. Habe auch immer wieder mal mit HP Server und ZFS herum(gebastelt). Fazit, es funktioniert, aber oft nicht richtig. Kann bis dort hin kommen das die Maschine nicht mehr bootet. Fakt ist das HP zwar sagt den Raidcontroller in den HBA Modus umschalten zu können, was auch stimmt. Nur leider ist es kein richtiger HBA Modus und kein richtiger HBAcontroller. Je nach Firmwarestand kann es ganz schnell vorbei sein. Deswegen war es für uns klar bei HP und auch bei DELL. Wenn es schon unbedingt einer von diesen Herstellern sein soll, dann bau um Gottes Willen einen echten HBA Controller ein. Z.B. LSI.

Vor allem die Hardware spielt bei ZFS die größte Rolle. Und ja, ZFS braucht da schon ein wenig mehr, dafür bekommt man aber auch richtig geniale Features. Hab hier auch einige Supermicro am laufen. Mit RaidZ10 und mit Raid10. Beim Raid10 mit WDRED Pro bekommen ich schon gute 700MB/s Durchsatz. Hab da 8xHDD und nen netten SSDcache für Schreiben und Lesen. Dieser wird für kleine Dateien auch gut genutzt. Gerade VM's lieben diesen Cache.

Und jetzt seien wir mal ehrlich, einen Windows Server 2016 auf einem RaidZ mit insgesamt 16GB Ram? Das ist ja wohl nicht wirklich dein Ernst, oder? Und dann noch mit dieser Minihardware (nicht böse gemeint ). Das kann nicht funktionieren. Server 2016 auf nicht SSD's. Klingt nach viel Spass. Du könntest als letzten Versuch noch einen LXC Container mit Samba anwerfen. Der benötigt sehr wenig Ressourcen. Event. geht das Teil dann besser. Du kannst bei Proxmox ein fertiges Template hierfür direkt im Webinterface Downloaden. (nicht getestet, baue meine Container immer selber) Such nach Fileserver im Suchfeld.

Wenn du bei ZFS bleiben möchtest, solltest du in Betracht ziehen deine Hardware ein wenig nach zu drehen. Oder du bleibst ganz einfach bei deinem Raid5 mit dem HW Raidcontroller.

 

[zeipet]

Hallo, erstmal danke für eure zahlreichen Antworten.
Also ich muss eventuell auch mal dazu sagen, dass das mein setup keinesfalls mit irgendeiner Enterprise lösung verglichen werden sollte.
Ich arbeite hauptsächlich mit VMware und HyperV ohne zfs. Hier geht es um mein privates Datengrab, welches auch noch so schnell sein sollte, ein Steam Image oder ein paar Raw Fotos von der Digitalkamera wegzu sichern.

Proxmox weil ich verschiedene Sachen brauche:
KVM: FHEM Smart Home
KVM: Server2008 und 2016 zur Fileablage und DVB Link
LXC: Nextcloud
LXC: Zoneminder
LXC: IPSEC Tunnelserver

Wie mann sehen kann lauter Dinge die mann braucht zuhause ;-)
Der Windows Server beherbergt ein Extra Laufwerk, das Datengrab die Anderen Maschienen greifen per share darauf zu.

Ja, ich verwende auch Server 2016 zuhause, da ich einfach auf aktuelle Betriebsysteme mit gepachten Sicherheitslücken stehe.
Und Ja, normalerweise kann mann einen Server2016 noch auf Magnetplatten betreiben, ich hab auch nichts dagegen etwas zu warten bis er bootet, weil ansonsten im Leerlauf sind keine großen Unterschiede auf dem Laufwerk I/O zu sehen.

Warum dann ZFS?
Weil mir meine Daten sehr wichtig sind! Da kostbare Fotografien und Dokumente der ganzen Familie darauf ruhen.

Es ist ein Cluster mit zwei weiteren Nodes, ein Lattepanda mit ZFS aufgesetzt als Zeugenserver und ein wirklich alter Supermicro zum Syncen der ZFS Images. (einmal in der Woche hochgefahren und vom Stromnetz getrennt, Ist meistens nach 20min erledigt)

Warum keine neue Hardware?
Weil mir dern Nachfolger des Microservers G8 nicht gefällt, mir die 16Gig locker reichen, die Container kommen mit unter 1Gig aus, die Windows Server langweilen sich, hab keine SQL laufen.
Der Stromverbrauch des micro g8 ist und die größe gefallen mir einfach. Er steht überkopf in einem 12HE Patchschrank seit Jahren)

Mir sind eigentlich nur 3 Punkte wichtig:
1.) Datensicherheit
2.) Schnelles Replizieren
3.) Schneller als 30MB/s Daten rauf schaufeln zu können

Nachdem der Xeon, der Speicher von 16GB und die 4 Bays sicher nicht Schuld an den 30 MB/s sind kann es nur an den Platten oder der Konfiguration liegen. Die Platten würde ich ja austauschen, die kämen dann in den SUpermicro als Backup ;-)
Nur wenn ich dann mit den neuen Platten wieder nur 40MB/s schaffe müsste ich komplett verzweifeln.

Also kann es nicht am zfs for Linux liegen oder am B120i embedded Controller?
Der Server muss doch noch zu retten sein?

LG Peter

 

[fireon]

B120i embedded Controller

Genau dieser Controller hat mir vor nem halben Jahr einen ZFS Server geschrottet. Ist einfach kein kompatibler Controller. Kann nur davon abraten. Ich hatte dort auch keine andere Möglichkeit. Mit dem wissen es kann jeder Zeit krachen. Und ja es war auch ein Datengrab.

 

[zeipet]

Mein Beileid nachträglich. hmm, an das hatte ich nicht gedacht, ich bin diesem thread gefolgt: *klick*
Laut deren Expertise sollte der B120i inaktiv sein, da kein Raid konfiguriert ist?
Ich habe die 4 Laufwerke als AHCI konfiguriert und direkt angelegt.

Ich hätte auch noch nen P410 Smart Array Controller mit 512GB Flash rumliegen.
Mit dem Controller kamen die gleichen Festplatten ohne zfs auf 130 MB/s stabil beim kopieren von 6GB über Gigabit.
Leider konnte ich keine Möglichkeit finden den P410 als AHCI oder JBOD zu konfigurieren.
Ansonsten, welcher leistbare Controller wäre geeignet?

Was mir auch noch eingefallen ist, mein RootFS am Proxmox ist nichts wirklich gutes, eine relativ schnelle SD Karte. (swap inaktiv, Klon liegt im Gehäuse ;-))
Mein Gedanke, kann ein langsames RootFS am Proxmox einen Guest der am Storage liegt bremsen?
Eigentlich nicht oder?

EDIT:
Habe gerade im Lager einen LSI MR SAS 9240-8i Controller gefunden. Der sollte zumindest JBOD können. Der eventuell?

EDIT,EDIT;
Der Controller wurde zu einem LSI SAS 9211 im IT Mode geflasht und startet zumindest mal.
LG Peter

 

[fireon]

Mein Gedanke, kann ein langsames RootFS am Proxmox einen Guest der am Storage liegt bremsen?
Eigentlich nicht oder?

Nö. ist egal. Hab PVE aber trotzdem immer auf SSD's kosten ja nicht mehr.

Laut deren Expertise sollte der B120i inaktiv sein, da kein Raid konfiguriert ist?
Ich habe die 4 Laufwerke als AHCI konfiguriert und direkt angelegt.

Genau das hatte ich auch gemacht. Die Controller sind halt keine reinen SAS Controller. Somit nicht brauchbar.

Der Controller wurde zu einem LSI SAS 9211 im IT Mode geflasht und startet zumindest mal.

Na das klingt doch schon viel besser

 

[zeipet]

Hey, der Tipp mit dem B120i war Gold wert, danke!
Ich schaffe Jetzt mit dem 9240-8i zum Server2008R2 50MB/s lesen und 130MB schreiben für ca. 5GB, dann wird wahrscheinlich der Schreib ARC voll sein.
Mit dem kann ich leben, ich habe noch eine Intel DC S3700 100GB gefunden und eingebaut aber noch nicht konfiguriert. (ja, die lag herum )
Ich habe noch vor ein ZIL drauf zu machen. Soll ich die ganze SSD verwenden? Hab was von 5GB gelesen...

Eventuell war auch die SAS verteilung des B120i schuld, anscheinend hat Bay 1+2 SAS2 und 3+4 SAS1.
Naja, jetzt hat ja jede Platte einen eigenen SAS2 Channel.

Hat noch jemand eine Idee wie ich noch den Read verbessern könnte?

Genau dieser Controller hat mir vor nem halben Jahr einen ZFS Server geschrottet.

Danke für den Tipp

 

[fireon]

Ich dafür eine SSD genommen.

logs                                                       -      -      -      -      -      -
  ata-SAMSUNG_MZ7KM240HAGR-00005_XXXXXXXXXXXXX-part1   672K  9,94G      0      0      2    113
cache                                                      -      -      -      -      -      -
  ata-SAMSUNG_MZ7KM240HAGR-00005_XXXXXXXXXXXXX-part3  30,9G   167G      0      3  20,7K   386K

Wie du siehst braucht für Logs nicht viel, ist ja nur Durchlaufstelle und wird nur für kleine Dateien genutzt.

 

[LnxBil]

dann wird wahrscheinlich der Schreib ARC voll sein.

Wenn du sequentiell eine Datei kopierst wird die nicht durch den ARC gehen, das wäre total kontraproduktiv. Sequentielles Schreiben geht immer am Cache vorbei, wenn es als solches erkannt wird.

 

[zash1958]

Wie betreibst Du denn die Platten am 9240 ? Welches RAID-Level?