Problematica lentezza Proxmox Ceph 3 nodi

RedMox

New Member
Aug 12, 2024
12
0
1
Buongiorno comunità,
ho un problema con il mio proxmox che cercherò di spiegare al meglio:
Configurazione :
3 Server Dell Poweredge R720xd - perc H310 mini
3 Pool: SSD_Pool con dischi Ironwolf non mixed e non riconosciuti da Idrac ma funzionanti ; HDD_Pool funzionante ma vuoto ; MIX_POOL con dischi Kingston dc600M mixed e riconosciuti dal Dell installati di recente per sostituire l'SSD Pool avendo rilevato il problema dei dischi Ironwolf non mixed .
1727166237241.png
Ogni pool ha la sua crush rule per far sì che ogni pool sia "isolato" dagli altri:
1727164039881.png
1727164056947.png
CEPH:
I 3 nodi sembrerebbero essere configurati nella maniera corretta e gli osd funzionanti
1727164147983.png
Il monitor ceph non sembra avere problemi:
1727164249136.png
Rete: La rete è composta da 4 subnet dove il bond0 gestisce la sincronizzazione del ceph , il vmbr 1 e 2 sono le reti del cluster , vmbr5 è la public network e vmbr0 è la rete per accedere alle macchine:
1727165208751.png


Le macchine virtuali attualmente su SSD_POOL sono stabili ma hanno una velocità discutibile , soprattutto in scrittura , dove raggiungo a malapena i 90Mb\s .
Il test viene effettuato all'interno della macchina vrituale , copiando dati da una partizione verso un'altra partizione.
Utilizzando le macchine (dei Windows server 2019) si ha la sensazione che scattano e si puntino, non sono fluidi e i servizi all'interno ne risentono denotando lentezza di caricamento dati e scrittura dati.
Le macchine sono configurate in questo modo: Screen Server Database contenente installazione di Servizi basati su Sql Anywhere
1727166080908.png

Ci sto lavorando da giorni facendo test su test , spostando le macchine di pool e cercando di trovare il collo di bottiglia.
Riuscite a vedere qualcosa che mi sfugge o che non conosco?
Ringrazio anticipatamente chi avrà la pazienza di analizzare la problematica !
 

Attachments

  • 1727164239767.png
    1727164239767.png
    16.3 KB · Views: 2
Last edited:
Ciao. Sono nuovo nell ambiente di proxmox ma credo che il tuo problema sia nella rete. Se puoi creare una rete solo per il cluster con delle schede e switch da 10Gb la comunicazione tra server. i 90 MB che vedi sono molti vicini al limite dei 125 MB che possono passare in una rete da 1Gb. Semplicemente in 1Gb vuoi far passare troppa roba.
 
1727172698339.png
Di quale cluster parli ? di questo cluster o del cluster ceph ?
Il cluster ceph è gestito con due schede di rete 10Gb in Lacp per server su un switch dedicato fibra mentre questo è gestito con uno switch gigabit .
Grazie per la risposta
 
Le macchine virtuali risiedono nel cluster gestito a 1gb mentre i dischi lavorano sul cluster gestito con i 10GB?
 
Last edited:
le macchine virtuali hanno una rete preferenziale per accedere ai dischi? la connessione fisica che collega le macchine virtuali ai dischi a quanti Gb è?
 
L'ho configurato così :
Cluster nodi --> 2 schede di rete da 1 Gb (classe 10.10.10.X)
Public network --> 1 scheda di rete da 1Gb (classe 20.20.20.X)
Ceph Network --> 2 schede di rete 10 Gb in Lacp (classe 30.30.30.X)

1 scheda di rete per ogni nodo per l'accesso classe 10.152.136.X

Ogni server ha 4 schede Gigabit e 2 schede da 10 Gigabit
 
Il cluster con le macchine virtuali dovrebbe avere una connessione a 10 Gb verso i dischi, questo porterà la tua banda passante da 125MB a 1250MB teorica massima. Se lo switch in fibra ha posti liberi puoi provare
 
Domanda : avendo solo 2 schede di rete a 10 Gb su ogni server che attualmente utilizzo per il cluster ceph in Lacp , mi consigli di prendere una di queste due schede e configurarla sulla public network ? corretto ?
 
Se non hai altro si, ma non sulla public. Sulla rete che esiste tra il cluster dischi e cluster macchine virtuali
 
Last edited:
  • Like
Reactions: RedMox
Ricordo di aver letto che è una buona prassi avere una rete dedicata veloce per la comunicazione tra i cluster e poi un interfaccia pubblica dove accedere. Questo perché un cluster scambia molti dati per il Sync e dovrebbe condividere la banda con l'interfaccia pubblica, avendo fisicamente due reti separate si ottimizza la rete, una rete interna veloce per il Sync e scambio dati e un interfaccia pubblica per gestione e accesso. Ricordo anche uno schema ma non ricordo l'indirizzo
 
Farò il test nel fine settimana , in quanto impossibilitato al momento ; ti aggiorno lunedì.
Grazie ancora
 
Buongiorno,
causa imprevisti sono riuscito ad apportare la modifica soltanto nella giornata di ieri.
Ora la ceph network va a 10 Gb e la rete interna a 10 Gb :
1728471103639.png
La velocità di trasferimento tra i Win server è migliorata e si vedono i 10Gb di network ; è migliorata anche la fluidità dei Win server.
Permangono purtroppo le problematiche di lentezza dei servizi all'interno dei Server , soprattutto un gestionale , basato su Sql Anywhere che continua a mostrare sintomi di lentezza in lettura e scrittura.
o_O
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!