[SOLVED] Erfahrungen mit SAS Festplatten im lokalen Storage?

H

HBO

Active Member
Dec 15, 2014
274
15
38
Germany
Hallo,

aufgrund der Größe macht für uns generell ein Ceph Cluster oder Ähnliches keinen Sinn.
Wir arbeiten derzeit mit Supermicro MicroClouds die aber in Sachen Leistung und Flexibilität nicht mehr ausreichen. Ins Auge gefasst haben wir daher Multi CPU Systeme auf der Intel E5-2600v4 Basis.

Soweit so gut, nur wie schaut es mit der Leistung von Festplatten aus? Leider konnte ich keine wirklich verlässliche Benchmarks finden.

Konnte jemand Erfahrungen sammeln im Bereich SAS Festplatten? Gibt es merkliche Unterschiede zwischen 10k und 15k rpm Festplatten oder zBsp. der "Turbo Boost" Technik mit eingesetzten NAND Flash von Seagate? Machen zBsp auch die 7,2k rpm SAS Festplatten (die natürlich wesentlich mehr Speicherplatz bereitstellen) im Gegensatz zu SATA Sinn?

Das Setup würde ich aus aktueller Erfahrung mit LVM Thin Provisioning aufbauen oder würden hier andere Setups mehr Leistung bringen? Pures LVM würde aufgrund der festen Größe leider kalkulatorisch nicht aufgehen.

Eingesetzt werden die Systeme hauptsächlich für die Virtualisierung von Datenbanken, Mailservern, Webservern (diese hauptsächlich Linux basierend) und Windows Terminal Servern.

Für spezielle Anwendungsfälle setzen wir natürlich auf SSD's oder PCI-E NVME Karten.

Vielen Dank vorab.
 
SAS ist SATA immer vorzuziehen, da die Firmware bei Fehlern früher einen Fehler zurückmeldet und somit verlässlichere Zugriffszeiten hat. Die 15k Platten sind schon ein gutes Stück schneller, da mehr IOPS erreicht, diese sind für randomisierten Zugriff natürlich sehr wichtig. Interessant ist vor Allem wie viele Platten eingesetzt werden. In die meisten 1 HE Pizzaboxen bekommt man IMHO 6-8 Platten rein, in 2 HE schon einiges mehr bis zu 25. Der Preisunterschied zwischen 15k und SSD ist auch nicht mehr so groß. Wieviel Platten wollt ihr verbauen?

7,2k vs 10k ist schon ein enormer Geschwindkeitsunterschied. die oft als NL-SAS verkaufen Platten sind klar größer, aber Größe ist bei Geschwindigkeit zweitrangig. Wer Geschwindigkeit will braucht Spinden oder mehrere SSDs, nicht mehr Platz.

Wollt ihr einen Cluster aufbauen? Ich würde da eigentlich mittlerweile fast nur noch FC-basiertes SAN vorschlagen. 2 oder 3 1 HE Server und direkt am 2 HE SAN anschließen. Dort reichen z.B. 24x SAS 10k aus mit z.B. 1,2 TB Platten, wenn es schneller sein soll kann man auch SSD verwenden, da hat man aber das Problem, dass große SSDs noch recht teuer sind.

Fraglich ist auch, ob vielleicht nicht ein "getiertes" Gerät für euch etwas wäre. Datenbanken und Webserver haben total gegensätzliche Anforderungen. Ein Storage mit SSD-Beschleuchnigung würde die Lücke schließen.

Wie gesagt ... etwas mehr Informationen wären hilfreich, dann kann man genauere Vorschläge machen.
 
Ich verwende SAS, SATA und SSDs. Alle 3 funktionieren wunderbar, es kommt halt wirklich sehr stark auf das Einsatzgebiet an. Auf SATA legen wir meist normale Daten ab. Auf SAS auch, aber hier verwenden wir diese meist für z.B. Terminalserver oder Datenbanken. SSDs für superschnellen Zugriff, auch Datenbanken, ManagementVMs, und auch Steamspiele.

Ich würd's mal so sagen, wenn Geld keine Rolle spielt einfach alles auf Enterprise SSDs drauf packen, RaidZ10 und gut ist's. Haben wir auch laufen, in 3er Packchen.
 
Ein HA Cluster ist nicht geplant, da derzeit keine Notwendigkeit.
Aktuell ist ein Cluster bestehend aus 12 Nodes in Betrieb (E3 Xeons mit SATA Raid 1) basierend auf 1 GBit Netzwerk (Cluster läuft auf eigenem Interface). Dies genügt aber wie angesprochen nicht den Anforderungen und der Flexibilität, der Flaschenhals ist hier natürlich das Raid 1, jede Node hat nur 2 SATA Ports (Supermicro Microcloud auf 3HE 8 Einschübe) und anschließend der verfügbare Arbeitsspeicher (max 32GB pro Node).

Was ich gerne hätte und wirklich durchsetzen kann sind leider 2 Paar Schuhe ;)

Mehr als Supermicro TwinPro Systeme 2HE mit 2 Nodes (Dual Xeon E5-2600v4) bei der jede Node 12x 2,5" Einschübe (4x SATA und 8x SAS) hat werde ich nicht durchsetzen können. Noch größere Systeme mit 24 Festplatten auf 2HE wären aber auch zu groß für unsere Anforderungen.

Meine Überlegung wäre nun gewesen die 4 SATA Einschübe mit SSDs zu bestücken (Raid10) und aus den verbleibenden 8 SAS Einschübe mit 4x 1,2TB 7,2k (Raid10) und 4x 600GB 15k (Raid10) auszustatten um hier den VMs je nach Anforderung entsprechende Festplattenleistung bereit zu stellen. Ggfl würde hier noch eine PCI-E NVMe Karte verbaut werden sofern ein Kunde dies wünscht, derzeit haben wir davon 2 in Betrieb.

Wie gesagt geht es hier um keine großartig spezielle Konfiguration und es bleibt beim Bereitstellen von VMs für Webseiten, Datenbanken, Mailservern und Terminal Servern (Office Anwendung, IIS, SAP Server und Ähnliches). Arbeitsdaten aus den Terminal Servern halten wir auf NAS Systemen vor die per NFS/SMB eingebunden werden und ein eigenes internes Netz verfügen (eigene Bridge mit eigener Host Netzwerkkarte zur VM).

VM Backups laufen auch über das interne Interface per NFS Mount auf ein NAS das gespiegelt wird.
 
Hi,
12 Node-Cluster ohne shared storage?!
Hmm, eigentlich macht Virtualisierung doch nur mit shared Storage richtig Spaß...

OK, IO-Leistung ist mit lokalen Filesystemen besser, aber bei 12 Nodes ist ceph schon eine echte Alternative (so kannst Du in dem Zug gleich ein 10G-Netzwerk "durchsetzen" ;) ).

Um zur Performance-Frage zu kommen, Nearline SAS ist normalerweise geringfügig schneller als SATA dafür/weil "schlauer". 15K-SAS ist auf dem absteigenden Ast, weil die Platten mechanisch doch recht beansprucht werden, und dann die SSD-Konkurenz in vielen Fällen mehr Sinn macht.

Es kommt auch stark drauf an, wie die Platten angesteuert werden (Raid-controller, Cache, BBU, ZFS?). Am besten versuchen eine Leihstellung für das anvisierte Scenario zu bekommen. Theorie und Praxis sind häufig sehr weit auseinander.

Udo
 
Bei 12 Nodes?? Ceph was sonst, oder wenns genug Geld gibt ne shared storage ;) Aber bedenke auch Ceph macht auch nur wirklich sinn wenn das System die HDDs auch wirklich sieht, also wenn kein Raidcontroller oder ähnlich schreckliches dazwischen funkt.
 
12 Nodes mit Raid 1, die haben nur jeweils 2 Einschübe. Ceph macht daher in meinen Augen wenig Sinn (Caching SSD etc).
Zudem ist es doch etwas ältere Technik in den bisherigen 12 Nodes und ich würde diese nie richtig ausgelastet bekommen.

Wie gesagt, ich bekomme kein 10GBit Equipment. Die neuen Server haben zwar 10GBit (Kupfer) aber bringt mir nix ohne Switch.

Natürlich ist es auch eine Überlegung bei den Preisen allgemein nur noch auf SSDs zu gehen und für die "kleineren" VMs was den Leistungshunger angeht vielleicht einfach auf ein SATA Raid 10 zu gehen (für zBsp Webseiten ohne die Datenbank).
 
Wahnsinn .... ein gutes 3-Node-System mit SAN (auch gerne via FC und Bootdisk auch im SAN) sollte das alles locker in die Hose stecken und ist auch nicht soo teuer (wahrscheinlich sogar billiger als so ein 12-Node-Monster). Wie meine Vorredner schon gesagt haben, ohne Shared-Storage würde ich nichtmal 2 Rechner miteinander verbinden wollen. Das schreit nach sehr viel Arbeit beim Migrieren, bei Ausfällen und bei der Geschwindigkeit.
 
Nicht ganz, die guten alten MicroClouds waren vergleichsweise günstig und laufen und laufen... Ersetzt werden diese Systeme wohl erstmal nicht da die Last darauf ausreicht.
Migrieren macht doch im Cluster Betrieb keine Probleme, man schiebt halt nur mit 1 GBit/s. Ich weiß das eine CEPH oder SAN Lösung wesentlich toller ist, kriege ich nicht durch und ist auch nicht teil meiner Anfrage.

Daher frage ich speziell nach Erfahrungen mit Raid Systemen auf Local Storage Basis mit SSD/SAS Festplatten.
 
Hi,
im ersten Beitrag schreibst du doch dass sie nicht mehr reichen:
>Wir arbeiten derzeit mit Supermicro MicroClouds die aber in Sachen Leistung und Flexibilität nicht mehr ausreichen.
Nun klingt es so als wenn du doch die MicroClouds behalten willst und die nur erweitern. Für die Datenbanken und die Virtuellen Desktops würde ich SSDs nehmen - wenn genügend RAM vorhanden mit ZFS.
Für die anderen Anwendungen reichen wahrscheinlich auch SATA Platten mit 7200rpm - besser natürlich SAS und höhere Drehzahl.

Wir hatten bis vor kurzen ein SAN mit 15k Platten, der Umstieg auf ein Full-Flash SAN hat gerade bei den Datenbanken das ganze nochmal sehr beschleunigt.

LG Jonas
 
Sie reichen für die neuen Anforderungen nicht, für das was diese derzeit zu tun haben reicht es natürlich aus (daher geht es ja auch nicht um die Ersetzung dieser sondern Neuanschaffung für neue Anforderungen). Diese sind wie geschrieben Windows Terminal/SAP Server, und Mail/Web Dienste auf Linux Basis. Vor allem die Windows Server sind unter den MicroClouds unschön zu betreiben.

Die neuen Systeme (TwinPro von Supermicro) können bis zu 512GB RAM (geplant sind dazu 10 Core E5-2600er), würde dies ohne ZFS Caching klappen oder einfach den Cache mit auf das SSD Raid legen? Ansonsten müsste ich über das Festplattenmodell weiter grübeln da nur 12 Einschübe vorhanden (wovon wie angesprochen 8x SAS3).
 
Für die Windows Terminal Server würde ich 8Cores nehmen - das ist Lizenztechnisch günstiger. SAP auf KVM ist afaik nicht supported - falls ihr da mal ein Ticket aufmacht gibt es die Möglichkeit, dass die SAP sich quer stellt.
Wieviel Speicherplatz braucht ihr denn und wie viele Server sollen angeschafft werden? Caching würde ich auf eine einzelne SSD packen, nicht zu etwas anderem dazu.

Jonas
 
Laut Kunden ist die Virtualisierung des Windows Servers (übrigends 2012 und nicht 2016 und damit noch Core Lizensiert) für SAP kein Problem, da legt sich sonst höchstens der Kunde das Ei.

Angeschafft werden soll erst einmal nur ein einziges Supermicro TwinPro System (2 Nodes auf 2HE) und das soll bestück werden mit 2 der 10 Kerner E5-2600er. Arbeitsspeicher gehen bis zu 512GB, werden aber anfänglich erstmal nur 256GB verbaut. Speicherplatzverbrauch ist natürlich immer so eine Sache, Arbeitsdaten speichern wir auf einem externen Storage. Hier geht es also schlicht um die Software und damit meist um nicht mehr als 100GB pro VM.

Beim Durchstöbern des PVE Wiki's ist mir das hier ins Auge gefallen: https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server
Wäre solch eine Konfiguration ggfl eine Alternative um ein NAS/SAN dran zu hängen oder auf CEPH zu setzen? Meine Überlegung wäre dann ein TwinPro² System auf dem 2 HE 4 Nodes Platz haben. Hier hat eine Node zwar nur 6 2,5" Einschübe, diese würde ich aber nur für die Proxmox Installation nutzen. Die einzigen Kosten die ich nicht durch bekomme ist der 10GE Switch, vernünftige 10GE Karten sind ja mittlerweile recht günstig zu kriegen.
 
Hi,
SAP virtualisieren ist kein Problem solange es VMware ist ;) - SAP hat da sehr genaue Vorstellungen was supportet ist und was nicht. Solange der Kunde dafür die Verantwortung dafür übernimmt: Wollen wir es hier mal nicht weiter vertiefen.
Server 2012 ist dann Lizenztechnisch einfacher, dann solltet ihr auf diesen Nodes aber nie 2016 vorsehen. Auch hier allerdings: Off-Topic, vertiefen wir das nicht weiter :)

Mit dem Mesh Netzwerk hast du aber storagetechnisch nichts gekonnt - das ist erstmal nur ethernet. Wenn du dann auch Ceph nutzen willst dann brauchst du mindestens 3 Nodes, die jeweils Storage bereitstellen können. Warum du die 6xHDDs also nur für Proxmox nutzen willst verstehe ich nicht ganz.

Ein 10g Switch kostet auch nicht mehr die Welt, mittlerweile bekommt man die im Dreistelligem Bereich schon. Gerade wenn man dann mal erweitern will spart man sich da sehr viel Zeit.

Jonas
 
Mit dem Lizenzdschungel haben wir uns schon beschäftigt, da hat auch kein Kunde lust drauf was Microsoft mittlerweile treibt.

Klar muss ich bei CEPH gewiss andere Hardware nutzen (Plattendichte), dies war nun einmal ein Beispiel basierend auf dem Mesh Netzwerk.

Ich hatte recht lange nach 10GE Switchen gesucht, im dreistelligen Bereich hatte ich hierzu aber absolut nichts gefunden. Hast du hier ein Beispiel parat? Selbst die Angebote unserer Distributoren fangen nicht unter 2000 an.
 
Da war ich wohl zu doof um Geizhals zu bedienen, vielen Dank ;)
Ich werde dann mal die Hardware neu kalkulieren.

Ist zwar nun nicht mehr ganz das Topic aber: auf CEPH (auf den Proxmox Nodes oder sogar extra Storage Nodes) oder NAS/SAN setzen?
 
Alles eine Preisfrage. Ceph (oder SDS) kann man gut erweitern, muss sich allerdings auch ein wenig mit der Materie auseinandersetzen. Je weniger Personal vorhanden ist umso eher würde ich auf ein SAN/NAS setzen, bei dem man zur Not den Hersteller in die Pflicht nehmen kann.

LG Jonas
 
Ceph skaliert natürlich wunderbar mit jeder weiteren zusätzliche Proxmox Node. Das Auseinandersetzen mit der Materie und den Mitarbeitern wäre hier nicht das Problem.
Bei einem SAN/NAS sehe ich auch so ein Problem der Kosten um kein Single Point of Failure dort stehen zu haben. Man mag es nicht beschwören aber bei einem Backupsystem ist einmal die PDU ausgefallen, da kann das System noch so redundant sein. Das Teil war damit (sowas passiert natürlich nur Freitag Abends) über 3 Tage tot. Im Falle eines Systems für VMs wäre das der große Showdown.
 
Zwei Netzteile, unterschiedliche Stromkreise :) (oder zwei USVn...). Ein SAN hat den Vorteil, dass man "nur" zwei Köpfe braucht und damit schon eine extrem hohe Verfügbarkeit schaffen kann.

LG Jonas
 
You must log in or register to reply here.

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Quick Navigation

Home Get Subscription Wiki Downloads Proxmox Customer Portal About

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!
Community platform by XenForo® © 2010-2024 XenForo Ltd.
Top Bottom
Back