"Best Case"-Vorschlag zu bestehender Hardware.

Discussion in 'Proxmox VE (Deutsch)' started by tomekk228, Oct 10, 2018.

  1. tomekk228

    tomekk228 New Member

    Joined:
    Sep 3, 2018
    Messages:
    5
    Likes Received:
    0
    Guten Tag zusammen!

    Ich beziehe mich auf meinem ursprünglichen Thread: https://forum.proxmox.com/threads/einige-fragen-zu-ssd-u-hdd-performance-u-10gbit-ethernet.46752/

    Kurzfassung des Threads: Ich habe mich beklagt warum ich über 10Gbit nur eine "effektive Kopierdatenrate" von ca 650-700MB/s bekomme.

    Ich habe nun alle möglichen Szenarien umgesetzt und habe mehrere, kleinere, Bottlenecks gefunden.

    1) Von meinem Desktop Threadripper 1950x NVME Raid0 -> RAMDISK innerhalb einer VM = knapp 1GB/s
    2) Von RAMDISK zu Desktop = knapp 1GB/s

    Also Netzwerkkonfiguration ist in Ordnung! Die 10Gbit werden anscheinend erreicht.

    Dann habe ich die ganze Proxmox Maschine platt gemacht und einfach Windows 10 installiert und zwei Software-Raids unter Windows erstellt.

    1. 3x Samsung 850pro 1TB SSD
    2. 2x WD Red 6TB

    Anschließend wieder Daten hin und her geschoben.

    Resultat:

    1. SSD RAID hin und zurück 650-700MB/s
    2. WD Red RAID hin und zurück ca 400MB/s

    Ich habe noch viele andere Konfigurationen durchgespielt. Alle aber schlechter.

    Also habe ich mich immer noch gefragt wie es sein kann das ich über das 10Gbit Netzwerk so eine langsame Übertragung habe trotz des SSD Raids. Rätsellösung: Das ASUS P6T WS Mainboard hat nur SATA-2 Ports....

    War mir vorher gar nicht bewusst! Somit ist es nun absolut klar warum das RAID "so schwächelt".

    Nun habe ich überlegt mir ein RAID-Kontroller zu kaufen und bin auf ZFS gestoßen. Super Sache. Und Super teuer...

    Es handelt sich immer noch um folgende Hardware:
    • Mainboard: Asus P6t ws
    • RAM: 24GB
    • CPU: Intel XEON X5675 6 Kerne 12 Threads
    • PCIe NIC 1: Intel 4 Port Gbit
    • PCIe NIC 2: ASUS XG-C100C 10gbe
    • OS-SSD: WD Blue 500gb
    • Zusätzliche Speichermedien:
    • 2x 6TB WD RED Festplatte
    • 3x 1TB SSD 850 Pro
    Trotzdem habe ich es ausprobiert, und zwei ZFS Stripes erstellt. Einmal die WDs und einmal die SSDs. Bei beiden ist jedoch die Performance um einiges schlechter als jetzt schon ist (SSDs 10-400MB/s schwankend, WDs 5-200MB/s).

    Und jetzt habe ich mehrere Möglichkeiten. Entweder ich kauf ein neues Mainboard mit SATA-3 und kann weiter mein RAIDs fahren die mittels mdadm erstellt worden sind. Oder ich kaufe noch ein oder zwei SSDs und mache dann ein 5x SSD RAID und erziele so die 10Gbit, oder ich kaufe mir ein RAID-Kontroller wo mir leider der Proxmox-Wiki keine klare Hilfe ist (bzgl empfehlung).

    RAID-Kontroller fällt aber eigentlich flach, weil dann doch lieber ZFS fahren würde. Dies jedoch nicht kann weil die Maschine nur 24GB RAM hat (ist maximal ausgebaut, mehr unterstützt das Board leider nicht).

    Es laufen folgende VM's (keine Container) zurzeit:
    • 1. OPNsense (freebsd, 1GB RAM)
    • 2. Pi-hole (debian, 1GB RAM)
    • 3. DNScrypt (debian, 512MB RAM)
    • 4. Openmediavault (debian, 8GB RAM)
    • 5. WSUS u. AD-Server (Windows Server 2016, 8GB RAM)
    • 6. "Testhure" (Windows 10, 4GB RAM)
    • 7. Noch in Arbeit und nicht aktiv, Steam, Uplay, Battle.net und co Caching Server (debian, 1GB RAM)
    Also so schon ein Verbrauch von 22,5GB (23,5GB). Da bleibt nichts übrig für ZFS. Alle Maschinen so optimal konfiguriert wie möglich. CPU Host, Memory Ballooning, Festplatte Virtio Block inkl Cache Write Back, Ethernet Virtio und QEMU und Spice Agents installiert.

    Es läuft wirklich alles wunderbar und performant. Bis auf das SATA Bottleneck. Und ja, ich weiß das mdadm offiziell nicht unterstützt wird und ggf bessere Lösungen gibt. Der Server "darf" ruhig seine Daten verlieren wenn was passiert. Per Cron werden alle 3 Tage alle Maschinen um 24 Uhr Heruntergefahren und auf ein NFS-Share gesichert (QNAP RAID6)

    Nun weiß ich nicht was ich wirklich tun soll. Was wäre eure Empfehlung? Auch ggf an neue Hardware? Das ist übrigens alles mein Privatsystem. Es sollte also nicht tausende Euros kosten. Die Maschine so wie die jetzt steht hat mich grade mal 200€ gekostet (SSDs und Festplatten hatte ich aus meinem alten Desktop. Sind übrig geblieben bei Umstieg auf Threadripper).

    Ich sehe bei mir eigentlich nur ein ernsthaftes Problem: 24GB RAM. Aber selbst gebrauchte Maschinen mit 64GB und mehr, kosten ein vermögen (wenn man bei DDR3 und aufwärts bleibt).

    Freue mich auf eure Vorschläge.
     
    #1 tomekk228, Oct 10, 2018
    Last edited: Oct 10, 2018
  2. Humbug

    Humbug New Member

    Joined:
    Nov 14, 2012
    Messages:
    29
    Likes Received:
    1
    #2 Humbug, Oct 10, 2018
    Last edited: Oct 10, 2018
  3. tomekk228

    tomekk228 New Member

    Joined:
    Sep 3, 2018
    Messages:
    5
    Likes Received:
    0
    9000.

    Aber wie bereits erwähnt, das Netzwerk ist nicht das Problem da die Bandbreite die über das Netzwerk erreicht wird, auch nur lokal erreicht wird (gebencht mit DD, hdparm, rsync.) SATA-2 ist der Flaschenhals.
     
  4. Humbug

    Humbug New Member

    Joined:
    Nov 14, 2012
    Messages:
    29
    Likes Received:
    1
    Ich habe noch keine Erfahrung mit ZFS. Aber es sieht nach drei Optionen aus:
    1) normalen SATA3-Controller nachrüsten (~50 Euro)
    2) SATA-RAID-Controller nachrüsten (muss eine Batterie haben um 'write back' nutzen zu können, 200-400 Euro, je nach Geschmack)
    3) ZFS mit neuem Board, RAM (und ggf. CPU) - teuer und zeitaufwändig
    Letztlich eine Frage von Geld & Zeit.
    Bei RAID-Controllern mag ich persönlich die Arecas, von Adaptec sollte man (unter Linux) die Finger lassen. Dazu gibt es aber zig Tests online.
     
  1. This site uses cookies to help personalise content, tailor your experience and to keep you logged in if you register.
    By continuing to use this site, you are consenting to our use of cookies.
    Dismiss Notice