1. This site uses cookies. By continuing to use this site, you are agreeing to our use of cookies. Learn More.

Neue Maschinen braucht das Land

Discussion in 'Deutsch' started by shatter, Jul 3, 2017.

  1. shatter

    shatter Member
    Proxmox VE Subscriber

    Joined:
    Nov 27, 2009
    Messages:
    63
    Likes Received:
    0
    Hi *,

    nachdem wir nun Proxmox auf einem IBM Bladecenter-S im achten Jahr betreiben, müssen wir Wohl oder Übel neue Maschinen anschaffen.

    Angebote haben wir erhalten von
    - Oracle erhalten (X6-2M)
    - Thomas Krenn (RI2208)
    - unserem Hauslieferanten (Lenovo x3650 M5)

    Auf den Maschinen werden ca 40 Server laufen (Windoof und Linux), sowie zwei Oracle Datenbanken.

    Als Storage setzen wir eine EMC/VNx ein.

    Nachdem wir einige Probleme mit dem Bladecenter und den neueren Versionen von Proxmox bekamen (Blade läßt sich installieren aber bootet anschliessend nicht), wüßte ich gerne, ob die hier Mitlesenden eine Empfehlung bezüglich der Hardwarewahl aussprechen können.

    Ziel wäre, mit drei Maschinen einen HA Cluster zu bauen.

    VG

    Joachim
     
  2. tom

    tom Proxmox Staff Member
    Staff Member

    Joined:
    Aug 29, 2006
    Messages:
    11,824
    Likes Received:
    162
    morph027 likes this.
  3. Markus Thormann

    Proxmox VE Subscriber

    Joined:
    Oct 25, 2015
    Messages:
    88
    Likes Received:
    1
    Cisco ucs blade 400
     
  4. LnxBil

    LnxBil Well-Known Member

    Joined:
    Feb 21, 2015
    Messages:
    1,906
    Likes Received:
    110
    Mich würde da interessieren ob sich Oracle bzgl. der Lizenzierung schon "negativ" gemeldet hat? Offiziell ist nämlich KVM nicht supported. Was Lizenzierung angeht gelten die gleichen Regeln wie bei VMware, dass ihr bei Prozessorlizenzen alle physikalischen CPUs im Cluster lizenzieren müsst, daher hoffe ich für euch, dass ihr Named User habt, das ist meistens günstiger.

    So ein Problem hatte ich auch mal bei einem mittlerweile 6 Jahre alten IBM Bladecenter. Interessanterweise musste man nur ein paar mal installieren und irgendwann hat er es gerafft. Im Endeffekt war mir nicht klar was da kaputt war, aber sobald er einmal gebootet hat, hat er immer gebootet.

    Frage ist hier oft nach dem persönlichen Erfahrungen und Bedürfnissen. Ich mag Supermicro-Server, habe aber bei fast keinem unserer Kunden solche im Einsatz, denn dort will man eigentlich immer nur IBM, Fujitsu, HP oder Cisco haben. Generell habe ich persönlich viel zu schlechte Erfahrungen mit Blades gemacht und dass unter Linux das eine oder andere mal nicht geht und man dann mehrere Firmware-Patch-Tiraden hinter sich ergehen lassen muss. Mittlerweile rate ich bei "Minimalaufbauten" eigentlich immer zu 1 HE Server mit 2 lokalen Disks und Storage extern (so wie ihr es ja schon habt, sonst wäre vielleicht Ceph interessant und 2 HE Server).
     
  5. fireon

    fireon Well-Known Member
    Proxmox VE Subscriber

    Joined:
    Oct 25, 2010
    Messages:
    1,555
    Likes Received:
    57
    Ich persönlich habe mit Supermicro auch nur gute Erfahrung gemacht. Habe ich im privaten Sektor überall im Einsatz. Proxmox, TV-VDR, Desktop, ... in der Firma für ZFS Storages. Bei Kunden selbst leider auch nicht. Die Teile kosten natürlich mehr wie ein DELL. Sind aber natürlich qualitativ hochwertiger. Die Supermicro die wir/ich verwenden haben wir auch selbst zusammen gebaut, ist auch kein Thema, sofern Zeit keine Rolle spielt.

    Der Vorteil hier finde ich halt ist dieser das man sehr open ist. Hat eine unnötige Firmware an board die man nicht haben möchte usw. eben nur das was man benötigt. Somit sind die Geräte meiner Erfahrung nach auch nicht so anfällig für Fehler wie ein HP oder Dell Gerät. Aber gut wir haben jetzt ja nicht die großen Mengen davon im Einsatz. Würd aber nur (schon aus ZFS) nur mehr Supermicro kaufen.
     
  6. LnxBil

    LnxBil Well-Known Member

    Joined:
    Feb 21, 2015
    Messages:
    1,906
    Likes Received:
    110
    Ah .. ein anderer Punkt ist natürlich Support. Dazu kann ich bei Supermicro nichts sagen, bei HP, Fujitsu und Konsorten kenne ich nur Server mit Support, der auch das tut was man von ihm will, so lange man ein "offiziell unterstütztes" System hat. Für eine offizielle PVE-Freigabe ist der PVE-Markt einfach zu klein, aber wenigstens Hardware-Support 24x7 ist nett zu haben. Gerade was dann die Überwachung der Kisten angeht sind "die Großen" halt um einiges besser. Fujitsu z.B. hat eine sehr coole Überwachungssuite, die auf der Kiste läuft und alles überwacht. Gerade die Woche hatten wir einen vorhergesagten RAM-Riegel-Ausfall, der am nächsten Tag schon getauscht wurde.
     
  7. HBO

    HBO Member
    Proxmox VE Subscriber

    Joined:
    Dec 15, 2014
    Messages:
    61
    Likes Received:
    2
    Wir kaufen nur noch Supermicro, mittlerweile die pre Assembled Server, ein. Bei Supermicro kannste auch über dein Distri sogenannte Care Packs kaufen wie zbsp Hardware Vorabtausch etc.pp. Größter Vorteil wie beschrieben, keine Lizenzkosten für zBsp IPMI und auf den Servern läuft jede Distri problemlos.
     
  8. fireon

    fireon Well-Known Member
    Proxmox VE Subscriber

    Joined:
    Oct 25, 2010
    Messages:
    1,555
    Likes Received:
    57
    Also ich glaube da hast du bei Thomas Krenn Server kein Problem. Ich schätze mal das man den Support dann über sie bezieht. Immerhin verkaufen sie Proxmox zertifizierte Server. Hatte aber leider auch noch nicht das Vergnügen. HP und DELL haben leider auch keine PVE Freigabe. Ist aber kein Problem da wir einfach immer sagen wir haben Ubuntu mit KVM. Das wird Supportet. Und nachdem PVE Ubuntukernel fährt, hat das noch niemand beanstandet.

    Was die Überwachung angeht, würde ich niemals auf Produkte von Serverherstellern Setzen. Wir setzen die letzen 8 Jahre Nagios ein (HP/DELL/Supermicro/noname), jetzt stellen wir gerade auf CheckMK um. Ich glaub viel einfacher gehts echt nicht mehr. Und vorallem glaub ich mittlerweile wirklich das es so gut wie nichts gib was dieses Teil nicht kann.
     
  9. shatter

    shatter Member
    Proxmox VE Subscriber

    Joined:
    Nov 27, 2009
    Messages:
    63
    Likes Received:
    0
    Hallo Leute,

    vielen Dank für die tollen Antworten.
    Ich denke, wir werden uns Supermicro und die SUN/Oracle Kisten näher anschauen.

    Es sollen zwei Pizzableche werden, so mit 22-Kernel CPUs, 512GIG Memory und einem SSD Raid-10 mit 2.5TB Netto. Das sollte für alle unsere VMs/VZs reichen (eine EMC liegt eh' noch drunter).

    Clustern darf ich nicht, sonst muss ich noch 30000 Euronen an Oracle zahlen (wegen der zwei zusätzlichen CPUs).
    HA geht dann natürlich erst recht nicht, das wären ja 60000 zusätzliche Lizenzkosten (Named User ist etwas schwierig).

    Als Monitor läuft bei uns NAGIOS.

    Nochmals Danke,

    Joachim
     
  10. Finity

    Finity New Member
    Proxmox VE Subscriber

    Joined:
    May 11, 2017
    Messages:
    9
    Likes Received:
    0
    Hey,

    interessant wie hier alle SuperMicro so loben. Wir haben leider schlechte Erfahrungen mit den Servern gemacht.
    Bei uns werden seit einigen Generationen SuperMicro eingesetzt und durch die Bank weg geht IPMI auf keinem Server stabil. Die Antwort von Krenn "Wenn der Server lange läuft einfach mal 2 Minuten Stromlos machen".
    Nicht stabil laufen heißt bei uns, IPMI ist mal per http nicht erreichbar, mal gibts keine SNMP Daten, mal ist es einfach gar nicht erreichbar (icmp).
    Des Weiteren bleiben einige der neueren Modelle (bei uns im Einsatz mit Debian oder Ubuntu 16.04) einfach mal stehen. Was heißt keine Ausgabe auf der KVM, keine reaktion auf ping und das beste kein Eintrag in irgendwelchen logs.
    Auch hier konnte uns Krenn nicht weiterhelfen außer "schickt uns die betroffenen Server zurück".

    Ich bin jetzt ehrlich gesagt nicht so ganz auf dem laufenden was die Kosten angeht, aber soweit ich weiß ist ein Dell Server deutlich teurere das das SuperMirco pendant.

    Dennoch wir für unseren teil haben entschieden keine SuperMirco Server mehr zu kaufen.

    Grüße,
     
  11. HBO

    HBO Member
    Proxmox VE Subscriber

    Joined:
    Dec 15, 2014
    Messages:
    61
    Likes Received:
    2
    Vielleicht nur ein paar "Montags Server" bekommen? Wir haben mit IPMI absolut keine Probleme seit nun über 4 Jahren.
    Und ja, die DELL Maschinen sind doch noch vergleichsweise teurer (vielleicht Abhängig von abgenommener Menge).
     
  12. fireon

    fireon Well-Known Member
    Proxmox VE Subscriber

    Joined:
    Oct 25, 2010
    Messages:
    1,555
    Likes Received:
    57
    Also es kommt wohl sehr stark auf das Modell an. Wohl bei allen Marken. Wir sehr lange die HPML350 Serie im Einsatz. Zwischendurch gabs mal die DL Serie. Die war der Oberschrott. Hat ganz ne anderer Firmware wie ML.
     
  13. LnxBil

    LnxBil Well-Known Member

    Joined:
    Feb 21, 2015
    Messages:
    1,906
    Likes Received:
    110
    Kann sein, dass ich mich undeutlich ausgedrückt habe, aber auch wenn du über IPMI oder via SNMP auf das Management-Interface zugreifst setzt du ja auf die Hardwareüberwachung der Serverhersteller. Wie willst du sonst an die Informationen kommen ob ein FAN kaputt ist oder ein Netzteil? Die Software im Betriebssystem selbst nutzt die gleichen Kanäle, die du auch über Nagios abfragen würdest, so zumindest machen wir das. Interessant ist jedoch die automatische Fehlerinformationszusammenstellung der Software, die einen Abzug aller Betriebssystem und Management-Informationen und Logdateien erledigt und entweder direkt aus dem OS heraus, oder aus dem Management-Interface heraus abgerufen werden können. Sehr praktisch wenn man einen Call eröffnen will.

    Und zu Supermicro kann ich auch nur sagen, dass deren Management-Oberfläche schon sehr weit hinter iLO, idrac, irmc und wie sie alle heißen zurückbleiben. Auch was die Integration in ein darüberliegendes RZ-Management angeht, in dem viele dieser Kisten zusammengeschaltet werden.
     
  14. fireon

    fireon Well-Known Member
    Proxmox VE Subscriber

    Joined:
    Oct 25, 2010
    Messages:
    1,555
    Likes Received:
    57
    Das ist schon klar. Mit Produkte meinte ich die Software die dir das anzeigt. Schon klar das man bei HP die HPtools nimmt und bei Dell die DELLtools. Bei Supermicro hatte ich bis jetzt noch nie Tools installiert. Dort gings auch ohne.

    Und zur Verteidigung von freien Tools: Wir setzten hier auf CheckMK und das verwendet die auf der HW eingeprägten Schwellenwerten. Und... es funzt ;)
     
  15. shatter

    shatter Member
    Proxmox VE Subscriber

    Joined:
    Nov 27, 2009
    Messages:
    63
    Likes Received:
    0
  16. tschanness

    tschanness Member

    Joined:
    Oct 30, 2016
    Messages:
    165
    Likes Received:
    8
    Ich bin zwar nicht Tom, kann die Kritik aber nicht nachvollziehen. Wir haben mit unseren SM Servern keinerlei Probleme (Ausser dass die ein Biosupdate gebraucht haben, das lag aber an Intel).
    Für das subsciber Flag einfach den Lizenzschlüssel im User eintragen :)

    LG Jonas
     
  17. tom

    tom Proxmox Staff Member
    Staff Member

    Joined:
    Aug 29, 2006
    Messages:
    11,824
    Likes Received:
    162
    Natürlich gibts von jedem Hersteller immer wieder "Montagsteile", auch von Supermicro. Das Angebot von TK die Server zurückzunehmen (Austausch/Analyse) ist ja ein guter Ansatz, genau darum nimmst du ja TK und baust die Supermicro Server nicht selbst.
     
  18. HBO

    HBO Member
    Proxmox VE Subscriber

    Joined:
    Dec 15, 2014
    Messages:
    61
    Likes Received:
    2
    Aber auch mal ein anderes Beispiel als bei TK ein Supermicro System zu beziehen.
    Supermicro bietet mittlerweile auch die fertigen Systeme an: Man muss dort nicht nur Gehäuse, Netzteil und Board (vorher SuperServer) kaufen sondern auch mindestens die CPU, den RAM und 2 Festplatten (wobei CPU, RAM und Festplatten nicht voll ausgebaut sein müssen).

    Hier ein Beispiel eines Systems das wir aktuell bezogen haben:
    http://www.supermicro.com.tw/products/system/2U/2028/SYS-2028U-TRTP_.cfm
    Dazu haben wir 2 CPU, 12 RAM Riegel und 2 Intel DC SSDs genommen, die restlichen Platten dann selbst nachgerüstet und obendrein einen Vorab Austausch von ggfl defekter Hardware

    Kann eigentlich jeder vernünftige Distributor der Supermicro Hardware vertreibt machen.
     
  19. JohnD

    JohnD New Member

    Joined:
    Oct 7, 2012
    Messages:
    16
    Likes Received:
    1
    Ich habe ausschließlich gute Erfahrungen mit TK und ausschließlich schlechte mit Oracle gemacht... Entscheidung ist also recht einfach.
     

Share This Page