Aufbau Proxmox - Cluster

[neodg]

Hallo!

Ich teste gerade Proxmox (wieder) und habe ein paar Fragen zum Aufbau eines Clusters.

Was ich habe:

• 4 Server für Proxmox mit 2 x gBit LAN und 2 x SFP+ je Node (2 x E5-2670 und 128GB RAM je Node)
• Storage wird ein Server der auch 2 x gBit LAN und 2 x SFP+ bekommt (2 x X5675 und 144GB RAM, 12 x 4TB im Raid 10).

Das Betriebssystem fürs Storage suche ich noch. Wenn mir das Storage zu langsam wird, kommt dann noch eines mit 24 x SSDs dazu.

• Ich möchte das Management und den Datentransfer zum Storage trennen. Das heisst 1 x gBit LAN für Management je Node und vom Storage.
  
• Ein SFP+ Port wird für den internen Datentransfer zum Storage benutzt. Ich könnte auch beide nehmen und ein Bonding erstellen (wenn ich 2 getrennte Switche nehme wäre das für die Redundanz richtig gut).

Was kann ich wie noch optimieren?

• Auf die Frage was virtualisiert wird: Windows, IPFIRE, Linux. Was die Kunden hald so haben wollen.
• Ich muss die Infrastruktur lokal virtuell trennen (mittels IPFIRE und OVS).

Ich bin für Tipps dankbar!

 

[LnxBil]

GBE ist viel zu langsam für ein Vorhaben. Hier solltest du entweder auf 10GBE für das Storage updaten oder gleich auf FC greifen, was preislich ja nach dem was schon an Hardware da ist günstiger sein kann. Ich würde auch auf keinen Fall 4 TB Platten verwenden, mit RAID10 hast du dann nur 6 Disks für Performance. Bei Geschwindigkeit von festplattenbasierten Systemen kommt es auf die Anzahl der Spindeln an und hier hast du viel zu wenig für die Performance die du brauchst. Eine einzige SSD ist viel schneller als das 12x4TB System (klar ist die dann auch kleiner).

Wenn du auf Redundanz aus bist steige gleich auf ein redundantes Storage um. Hier gibt es z.B. schon recht günstige All-SSD 2 HE Dual-Controller Systeme wie z.b. die DX100 von Fujitsu.

 

[neodg]

Ich habe doch auf jedem Server 2 SFP+ Ports, was 10GBE ist? Das sollte also nicht das Problem sein. Das mit dem Storage ist mir schmerzlich bewusst. Das Ganze muss aber auch finanzierbar bleiben. Ich bin ein absoluter SSD freund, weiß aber nicht wie ich das finanziell unterbringen soll.

 

[LnxBil]

Man muss kein 10GBE über SFP+ fahren, daher die Anmerkung.

Ich würde immer zu einem Storage mit 2 Controllern raten, alles andere ist ja ein SPOF.

 

[neodg]

Man kann immer alles besser machen. Es muss aber finanzierbar und im Rahmen sein. Das wird es so nicht. Ich habe gewisse Vorgaben die ich einhalten muss aber auch gewisse Anforderungen. Ich weiss ganz genau wie es lt. Adam Riese sein sollte, aber ich muss es mit meinem Budget bewerkstelligen.

Deshalb ja meine Fragen, ansonsten könnte ich jemanden anstellen der das macht und ihn mit unendlich Geld ausstatten. Das kann ich nicht und das habe ich nicht.

Das mit dem Storage wusste ich schon und ich schaue gerade ob ich ein Storage finde, dass das selbe Geld kostet wie das was ich jetzt berechnet habe und das ich im Nachhinein vielleicht ausbauen kann.

 

[LnxBil]

Gut. Hat das bisherige Storage einen Hardware-RAID-Controller? Ist geplant ZFS einzusetzen? Sind das SATA oder NL-SAS Platten (auf jeden Fall ja 7.2k)?

 

[neodg]

Dell H700 mit 1GB, SAS HDDs mit 7200upm. Der Controller könnte mit 2 SSDs auch die IOPS steigern. Storagebetriebssystem sowie Dateisystem sind eine Frage die noch offen ist. Wie gesagt, ich schaue gerade ob ich mit SSDs was hinbekomme.

 

[LnxBil]

Also NL-SAS, kein "richtig schnelles" SAS. Die Idee mit dem multitier-storage-controller ist gar nicht so doof. Damit solltest du billiger sein, wenn die SSD-Option schon beim Controller dabei ist (je nach dem muss man die nachkaufen).

 

[neodg]

Lt.
http://www.dell.com/support/article/us/en/19/SLN156203/EN
sollte das bei dem Controller dabei sein. Ich habe ev. noch Zugriff auf einen LSI 9271-8icc bei dem ist die Lizenz schon dabei.

 

[neodg]

Was ich noch sagen wollte, Ich habe derzeit noch nichts gekauft muss das aber baldigst machen und abschließen. Es wird natürlich gebrauchte Hardware sein, von dem ich mir einige Cold-Spare-Teile herlegen muss (Mainboard vom Storage + Raid-Controller zB). Mein Budget ist nicht fix, aber viel mehr als 10k Euro darf es für den Anfang nicht kosten. Nach dem Turnover kann man dann schauen was man wie besser machen kann.

 

[LnxBil]

Ja, ich bin auch ein Freund von gebrauchter Hardware.

Wenn bei euch Strom keine Rolle spielt, wäre auch zwei/vier Shelves mit vielen Platten für wenig Geld echt gut, z.B. das hier:

https://www.servershop24.de/storage...2x-450-gb-15k-fc-festplatten-5-4-tb/a-111420/

Das kann man direkt via FC an einen HBA hängen (hat 4 GBit). Sind alles sogar Dual-Channel, sodass man hier sogar Multipath/Multi-Hosts haben könnte.

 

[neodg]

Strom spielt im Interxion leider eine Rolle, das ist sogar der teuerste Posten, deshalb versuche ich ja relativ neue Hardware zu bekommen bzw. alle Stromsparmechanismen zu aktivieren die es gibt.

Derzeit bin ich bei einem Dell C6220 einem Ubiquiti 10GB Switch und tja, das Storage. Ich habe einen Dell R730xd gefunden, der relativ günstig ist und habe mir überlegt mit 8 x Intel 1,6TB SSDs zu beginnen. Da könnte man relativ einfach weiter ausbauen und es wären DC SSDs.

 

[udo]

Hallo!

Ich teste gerade Proxmox (wieder) und habe ein paar Fragen zum Aufbau eines Clusters.

Was ich habe:

• 4 Server für Proxmox mit 2 x gBit LAN und 2 x SFP+ je Node (2 x E5-2670 und 128GB RAM je Node)
• Storage wird ein Server der auch 2 x gBit LAN und 2 x SFP+ bekommt (2 x X5675 und 144GB RAM, 12 x 4TB im Raid 10).

Hi,
ich geb' mal auch meinen Senf dazu... Angaben unter vorbehalt, weil ich Deine Anforderungen/Workflow/Drumrum nicht kenne.

SFP+ hat gegenüber 10GBE-T den Vorteil der geringeren Latenz - sollte man beim Switch drauf achten, den Vorteil nicht zu verspielen ;-)
In der Konfig, würde ich wenn's HA sein sollte, jeweils ein 10GB + 1GB bonden als active/backup.
Ein Bond für VMs (vlan-tagging + cluster) und ein Bond für's Storage (in meiner alten Firma hatte ich Storage + cluster über ein 10GB ohne Probleme, was aber nicht empfohlen ist).

LnxBil mein ja, dass eine SSD schneller ist als die 12*4TM in Raid 10, was ich nicht unterschreiben würde. Trotzdem ist die IO-Leistung für 4 Promox-Nodes mit der angestrebten Power sehr dünn... aber auch dass hängt von Deiner Umgebung ab. Mit einem guten + schnellen Raidcontroller und ausreichend cache lässt sich schon was machen (+cache-ssd?), aber ich bezweifle ob es reicht.

Das Betriebssystem fürs Storage suche ich noch. Wenn mir das Storage zu langsam wird, kommt dann noch eines mit 24 x SSDs dazu.

Bei 24*SSD stellt sich für mich die Frage nach der Art der Anbindung, bzw. was für ein System es ist - sollte man Praxiswerte für haben...
Ich hatte mal ein iSCSI-System von Infortrend mit 10GB, mit einer _sehr_ verhaltenen Performance...

• Ich möchte das Management und den Datentransfer zum Storage trennen. Das heisst 1 x gBit LAN für Management je Node und vom Storage.

Warum? Das bisschen Management ist doch kein Thema - nimm einfach ein eigenes Vlan auf dem 10GB (+1GB-Bond?) und fertig ist der Lack.

• Ein SFP+ Port wird für den internen Datentransfer zum Storage benutzt. Ich könnte auch beide nehmen und ein Bonding erstellen (wenn ich 2 getrennte Switche nehme wäre das für die Redundanz richtig gut).

Würde ich nicht machen - die Chance, dass ein 10GB-Port/Switch ausfällt ist sehr gering - wenn Du den mit 1GB abfängst, würde es meines Erachtens reichen, aber auch dass hängt von deinen Verträgen/Vorstellungen/Geldvorräten ab.

Was kann ich wie noch optimieren?

• Auf die Frage was virtualisiert wird: Windows, IPFIRE, Linux. Was die Kunden hald so haben wollen.
• Ich muss die Infrastruktur lokal virtuell trennen (mittels IPFIRE und OVS).

Ich bin für Tipps dankbar!

Trennung wie gesagt mit vlan-tagging. Zu IPFire kann ich nicht viel sagen, würde es aber eher in dem semi-profesionellen Bereich verorten. Das muss aber nicht heissen, dass es nicht auch für mehr reicht.

Udo