Hallo zusammen,
wir betreiben hier aktuell einen Proxmox-Cluster mit 4 Nodes (1x Ryzen 3900X + 64GB DDR4-ECC - PVE 6.2, 1x Ryzen 3900X + 64GB DDR4 - PVE 6.1 und 2x 4x Opteron 6282 SE, PVE 6.0). Auf diesen Nodes laufen die VMs.
Darüber hinaus betreiben wir für die VMs einen Shared-Storage auf Basis eines Dual Xeon E5-2620v4 mit 256GB RAM und 8x Samsung SM863a 1.92TB (+2x 240GB Boot-SSD). Es handelt sich dabei um einen solchen Server: https://www.supermicro.com/products/system/2U/2028/SSG-2028R-ACR24H.cfm Controller ist dieser: https://www.supermicro.com/en/products/accessories/addon/AOC-S3108L-H8iR.php
Alle Server sind mittels 10 Gigabit SFTP+ Karten (X540-AT2 oder X520-DA1/X520-DA2) über einen Cisco SG550XG-24F verbunden.
Bisher wird der Storage über ein ZFS over iSCSI bereitgestellt (das iSCSI verwendet als Backend einen md-raid10 über die oben genannten SSDs. Ja, das wird nicht offiziell unterstützt, darüber müssen wir an dieser Stelle nicht diskutieren.). Wir sind mit der Performance vom aktuellen Setup nicht zufrieden - Der Storage wird von insgesamt 25 VMs genutzt aber die Performance ist nicht zufriedenstellend - Die VMs schaffen um die 50-80MB/s (dd mit conv=sync). Die Performance vom MD-RAID selbst liegt deutlich über dem, was nach iSCSI und ZFS überbleiben - Es scheint daher kein Hardware-Problem seitens der SSDs zu sein. Wir überlegen daher aktuell, wie wir den Storage Softwareseitig so umbauen können, dass wir eine bessere Performance erhalten.
Habt ihr Vorschläge, mit welchem Storage-Setup wir am meisten aus der gegebenen Hardware herausholen können? Neben einer besseren Performance sind die wichtigsten Aspekte für uns, dass a) Weiterhin VM-Snapshots erstellt werden können und b) Live-Migrationen weiterhin möglich sind. Für den Umbau des Storages können wir temporär weitere SSDs in den Storage einbauen, um die VM-Disks temporär zwischenzuparken.
wir betreiben hier aktuell einen Proxmox-Cluster mit 4 Nodes (1x Ryzen 3900X + 64GB DDR4-ECC - PVE 6.2, 1x Ryzen 3900X + 64GB DDR4 - PVE 6.1 und 2x 4x Opteron 6282 SE, PVE 6.0). Auf diesen Nodes laufen die VMs.
Darüber hinaus betreiben wir für die VMs einen Shared-Storage auf Basis eines Dual Xeon E5-2620v4 mit 256GB RAM und 8x Samsung SM863a 1.92TB (+2x 240GB Boot-SSD). Es handelt sich dabei um einen solchen Server: https://www.supermicro.com/products/system/2U/2028/SSG-2028R-ACR24H.cfm Controller ist dieser: https://www.supermicro.com/en/products/accessories/addon/AOC-S3108L-H8iR.php
Alle Server sind mittels 10 Gigabit SFTP+ Karten (X540-AT2 oder X520-DA1/X520-DA2) über einen Cisco SG550XG-24F verbunden.
Bisher wird der Storage über ein ZFS over iSCSI bereitgestellt (das iSCSI verwendet als Backend einen md-raid10 über die oben genannten SSDs. Ja, das wird nicht offiziell unterstützt, darüber müssen wir an dieser Stelle nicht diskutieren.). Wir sind mit der Performance vom aktuellen Setup nicht zufrieden - Der Storage wird von insgesamt 25 VMs genutzt aber die Performance ist nicht zufriedenstellend - Die VMs schaffen um die 50-80MB/s (dd mit conv=sync). Die Performance vom MD-RAID selbst liegt deutlich über dem, was nach iSCSI und ZFS überbleiben - Es scheint daher kein Hardware-Problem seitens der SSDs zu sein. Wir überlegen daher aktuell, wie wir den Storage Softwareseitig so umbauen können, dass wir eine bessere Performance erhalten.
Habt ihr Vorschläge, mit welchem Storage-Setup wir am meisten aus der gegebenen Hardware herausholen können? Neben einer besseren Performance sind die wichtigsten Aspekte für uns, dass a) Weiterhin VM-Snapshots erstellt werden können und b) Live-Migrationen weiterhin möglich sind. Für den Umbau des Storages können wir temporär weitere SSDs in den Storage einbauen, um die VM-Disks temporär zwischenzuparken.
