D
Deleted member 60612
Guest
Guten Tag zusammen!
Ich beziehe mich auf meinem ursprünglichen Thread: https://forum.proxmox.com/threads/einige-fragen-zu-ssd-u-hdd-performance-u-10gbit-ethernet.46752/
Kurzfassung des Threads: Ich habe mich beklagt warum ich über 10Gbit nur eine "effektive Kopierdatenrate" von ca 650-700MB/s bekomme.
Ich habe nun alle möglichen Szenarien umgesetzt und habe mehrere, kleinere, Bottlenecks gefunden.
1) Von meinem Desktop Threadripper 1950x NVME Raid0 -> RAMDISK innerhalb einer VM = knapp 1GB/s
2) Von RAMDISK zu Desktop = knapp 1GB/s
Also Netzwerkkonfiguration ist in Ordnung! Die 10Gbit werden anscheinend erreicht.
Dann habe ich die ganze Proxmox Maschine platt gemacht und einfach Windows 10 installiert und zwei Software-Raids unter Windows erstellt.
1. 3x Samsung 850pro 1TB SSD
2. 2x WD Red 6TB
Anschließend wieder Daten hin und her geschoben.
Resultat:
1. SSD RAID hin und zurück 650-700MB/s
2. WD Red RAID hin und zurück ca 400MB/s
Ich habe noch viele andere Konfigurationen durchgespielt. Alle aber schlechter.
Also habe ich mich immer noch gefragt wie es sein kann das ich über das 10Gbit Netzwerk so eine langsame Übertragung habe trotz des SSD Raids. Rätsellösung: Das ASUS P6T WS Mainboard hat nur SATA-2 Ports....
War mir vorher gar nicht bewusst! Somit ist es nun absolut klar warum das RAID "so schwächelt".
Nun habe ich überlegt mir ein RAID-Kontroller zu kaufen und bin auf ZFS gestoßen. Super Sache. Und Super teuer...
Es handelt sich immer noch um folgende Hardware:
Und jetzt habe ich mehrere Möglichkeiten. Entweder ich kauf ein neues Mainboard mit SATA-3 und kann weiter mein RAIDs fahren die mittels mdadm erstellt worden sind. Oder ich kaufe noch ein oder zwei SSDs und mache dann ein 5x SSD RAID und erziele so die 10Gbit, oder ich kaufe mir ein RAID-Kontroller wo mir leider der Proxmox-Wiki keine klare Hilfe ist (bzgl empfehlung).
RAID-Kontroller fällt aber eigentlich flach, weil dann doch lieber ZFS fahren würde. Dies jedoch nicht kann weil die Maschine nur 24GB RAM hat (ist maximal ausgebaut, mehr unterstützt das Board leider nicht).
Es laufen folgende VM's (keine Container) zurzeit:
Es läuft wirklich alles wunderbar und performant. Bis auf das SATA Bottleneck. Und ja, ich weiß das mdadm offiziell nicht unterstützt wird und ggf bessere Lösungen gibt. Der Server "darf" ruhig seine Daten verlieren wenn was passiert. Per Cron werden alle 3 Tage alle Maschinen um 24 Uhr Heruntergefahren und auf ein NFS-Share gesichert (QNAP RAID6)
Nun weiß ich nicht was ich wirklich tun soll. Was wäre eure Empfehlung? Auch ggf an neue Hardware? Das ist übrigens alles mein Privatsystem. Es sollte also nicht tausende Euros kosten. Die Maschine so wie die jetzt steht hat mich grade mal 200€ gekostet (SSDs und Festplatten hatte ich aus meinem alten Desktop. Sind übrig geblieben bei Umstieg auf Threadripper).
Ich sehe bei mir eigentlich nur ein ernsthaftes Problem: 24GB RAM. Aber selbst gebrauchte Maschinen mit 64GB und mehr, kosten ein vermögen (wenn man bei DDR3 und aufwärts bleibt).
Freue mich auf eure Vorschläge.
Ich beziehe mich auf meinem ursprünglichen Thread: https://forum.proxmox.com/threads/einige-fragen-zu-ssd-u-hdd-performance-u-10gbit-ethernet.46752/
Kurzfassung des Threads: Ich habe mich beklagt warum ich über 10Gbit nur eine "effektive Kopierdatenrate" von ca 650-700MB/s bekomme.
Ich habe nun alle möglichen Szenarien umgesetzt und habe mehrere, kleinere, Bottlenecks gefunden.
1) Von meinem Desktop Threadripper 1950x NVME Raid0 -> RAMDISK innerhalb einer VM = knapp 1GB/s
2) Von RAMDISK zu Desktop = knapp 1GB/s
Also Netzwerkkonfiguration ist in Ordnung! Die 10Gbit werden anscheinend erreicht.
Dann habe ich die ganze Proxmox Maschine platt gemacht und einfach Windows 10 installiert und zwei Software-Raids unter Windows erstellt.
1. 3x Samsung 850pro 1TB SSD
2. 2x WD Red 6TB
Anschließend wieder Daten hin und her geschoben.
Resultat:
1. SSD RAID hin und zurück 650-700MB/s
2. WD Red RAID hin und zurück ca 400MB/s
Ich habe noch viele andere Konfigurationen durchgespielt. Alle aber schlechter.
Also habe ich mich immer noch gefragt wie es sein kann das ich über das 10Gbit Netzwerk so eine langsame Übertragung habe trotz des SSD Raids. Rätsellösung: Das ASUS P6T WS Mainboard hat nur SATA-2 Ports....
War mir vorher gar nicht bewusst! Somit ist es nun absolut klar warum das RAID "so schwächelt".
Nun habe ich überlegt mir ein RAID-Kontroller zu kaufen und bin auf ZFS gestoßen. Super Sache. Und Super teuer...
Es handelt sich immer noch um folgende Hardware:
- Mainboard: Asus P6t ws
- RAM: 24GB
- CPU: Intel XEON X5675 6 Kerne 12 Threads
- PCIe NIC 1: Intel 4 Port Gbit
- PCIe NIC 2: ASUS XG-C100C 10gbe
- OS-SSD: WD Blue 500gb
- Zusätzliche Speichermedien:
- 2x 6TB WD RED Festplatte
- 3x 1TB SSD 850 Pro
Und jetzt habe ich mehrere Möglichkeiten. Entweder ich kauf ein neues Mainboard mit SATA-3 und kann weiter mein RAIDs fahren die mittels mdadm erstellt worden sind. Oder ich kaufe noch ein oder zwei SSDs und mache dann ein 5x SSD RAID und erziele so die 10Gbit, oder ich kaufe mir ein RAID-Kontroller wo mir leider der Proxmox-Wiki keine klare Hilfe ist (bzgl empfehlung).
RAID-Kontroller fällt aber eigentlich flach, weil dann doch lieber ZFS fahren würde. Dies jedoch nicht kann weil die Maschine nur 24GB RAM hat (ist maximal ausgebaut, mehr unterstützt das Board leider nicht).
Es laufen folgende VM's (keine Container) zurzeit:
- 1. OPNsense (freebsd, 1GB RAM)
- 2. Pi-hole (debian, 1GB RAM)
- 3. DNScrypt (debian, 512MB RAM)
- 4. Openmediavault (debian, 8GB RAM)
- 5. WSUS u. AD-Server (Windows Server 2016, 8GB RAM)
- 6. "Testhure" (Windows 10, 4GB RAM)
- 7. Noch in Arbeit und nicht aktiv, Steam, Uplay, Battle.net und co Caching Server (debian, 1GB RAM)
Es läuft wirklich alles wunderbar und performant. Bis auf das SATA Bottleneck. Und ja, ich weiß das mdadm offiziell nicht unterstützt wird und ggf bessere Lösungen gibt. Der Server "darf" ruhig seine Daten verlieren wenn was passiert. Per Cron werden alle 3 Tage alle Maschinen um 24 Uhr Heruntergefahren und auf ein NFS-Share gesichert (QNAP RAID6)
Nun weiß ich nicht was ich wirklich tun soll. Was wäre eure Empfehlung? Auch ggf an neue Hardware? Das ist übrigens alles mein Privatsystem. Es sollte also nicht tausende Euros kosten. Die Maschine so wie die jetzt steht hat mich grade mal 200€ gekostet (SSDs und Festplatten hatte ich aus meinem alten Desktop. Sind übrig geblieben bei Umstieg auf Threadripper).
Ich sehe bei mir eigentlich nur ein ernsthaftes Problem: 24GB RAM. Aber selbst gebrauchte Maschinen mit 64GB und mehr, kosten ein vermögen (wenn man bei DDR3 und aufwärts bleibt).
Freue mich auf eure Vorschläge.
Last edited by a moderator: