Aufbau Strategie einer alten Clusterumgebung

hronny

New Member
Apr 19, 2014
25
0
1
Germany
Hallo. Ich nutze Proxmox schon seit der Version 3 und bedingt durch die Laufzeit habe ich immer schön Upgrades gemacht. In meinen anderen Posts hatte ich schon die Probleme mit den LVM Thin Storage beim Upgrade. In der Zwischenzeit sind noch andere Probleme aufgetaucht, die mir an meinem aktuellen Aufbau des Clusters mit 5 Maschinen zu denken geben. Auch würde ich gerne die coole Funktion "Lokale Replikation" nutzen, was derzeit aus historischen Gründen nicht geht.

Daher überlege ich, den Cluster aufzulösen und Maschine für Maschine einfach neuinstallieren um das beste herauszuholen.

Als erstes geht das Thema dahin, wie man die Daten der VMs am besten anlegt. Aktuell gibt es kein Ceph oder sonstigen Cluster, sondern die Daten liegen lokal. Ein SAN Storage in der Größe würde aktuell von IBM 80-100 Tsd Euro kosten, um halbwegs die Daten zu halten die ich aktuell verbrauche. Zudem bräuchte man noch die entsprechende Switch und FC Karten. Das sprengt aktuell den Budgetrahmen.

Nun ergibt sich das Problem, dass für die lokale Replikation zwingen ein ZFS Volume exisitieren muss. Das ist bei mir blöd, da ich in allen Servern einen HW Raid Controller mit Raid 10 installiert habe. Da funktioniert das nicht. Dietmar hatte hier auch geschrieben, dass ZFS mit Raid Controllern nicht empfohlen ist. Ich frage mich natürlich wie man einen Server mit 8 SAS Festplatten bestellt, der keinen Raidcontroller hat. Schon auf Grund von Backplanes kenne ich es gar nicht ohne.
Somit ist das /var/lib/vz das lokale Ziel für die Imagedaten. Bei neuen Installationen hatte ich das LVM Thin gelöscht und erstmal wieder auf das alte Format umgestellt. Da eine Migration auf einen anderen Server sonst nicht funktioniert hätte, weil im Storage "local" eben /var/lib/vz hinterlegt ist.

Alle virtuellen Maschinen sind mit dem Festplattenformat qcow2 angelegt, was für die Replikation auch nicht funktioniert. Ein umwandeln ist nicht so einfach möglich. Daher der Gedanke ob ich die VMs des neusten Servers verschiebe und diesem aus dem Cluster nehme, neuinstalliere und damit komplett neu anfange. Aber wie bringe ich eine sinnvolle Storage Konfiguration hin? Den Raidcontroller kann ich nicht ausbauen, da ich sonst die Platten nicht anschließen kann. Eine ähnliche Frage wurde in einem anderen Post schon gestellt: https://forum.proxmox.com/threads/config-empfehlung-raid-zfs-oder-was.35718/

Wie macht man das richtig?

Und wie macht man eine Rücksicherung eines von Proxmox angelegten Backups auf einen anderen Storage wie den der beim Backup angegeben wurde?
 
Das ist bei mir blöd, da ich in allen Servern einen HW Raid Controller mit Raid 10 installiert habe.
Einige Raid Kontroller lasen sich auch im HBA mode betreiben. Ich meine nicht JOBD.

ch frage mich natürlich wie man einen Server mit 8 SAS Festplatten bestellt, der keinen Raidcontroller hat.
HBA wäre die Lösung, außerdem haben aktuelle MB min 8 SATA Ports.

Alle virtuellen Maschinen sind mit dem Festplattenformat qcow2 angelegt, was für die Replikation auch nicht funktioniert
Kann man mit "move disk" bei KVM auf ein anderes Storage migrieren, das geht auch online.

Wenn du ZFS in betracht ziehst solltest du dir auch Gedanken machen, ob du genug Ramm dafür hast.
4GB + 1GB * 1TB benutzen Festplantenspeicher am Host der auf ZFS läuft.
 
Hallo Wolfgang, danke für die schnelle Antwort. Nachdem ich deinen Beitrag gelesen hatte, konnte ich mit dem Host etwas experimentieren. Also beim Adaptec ASR-6805 habe ich es zuerst mit JBOD versucht (wie du geschrieben hast, geht nicht). Hier werden zwar die Festplatten einzeln erkannt (schön sda,sdb,...), nur der Controller zeigt dem BIOS kein bootbares Device an.Somit habe ich auf der Adaptecseite danach gesucht und bin HIER fündig geworden.

Es gibt laut Seite zwei Möglichkeiten:
Variante 1. "Nicht initialisierte Laufwerke und Laufwerke ohne Adaptec Metadaten werden im RAID Modus automatisch als "Pass Through"- (oder RAW-) Laufwerke durchgereicht."
Variante 2: "In der Einstellung "Simple Volume Mode" sind alle RAID-Funktionen des Controllers deaktiviert und es können ausschliesslich Simple Volumes (bis zu max. 128) erstellt werden."
Bei mir hat Variante 2 erstmal zum Ziel geführt. Ich konnte dann mit einer Neuinstallation von der CD das System mit ZFS Raid 10 die Platten nutzen und das System startet auch.
Wie und ob das beim MegaRAID SAS 9361-16i Controller geht, konnte ich noch nicht probieren.

Das mit den Mainboards oft 8 SATA Anschlüsse haben, konnte ich jetzt auch gesehen. Nur im Serverbereich nutzen wir fast ausschließlich SAS Festplatten mit SSD Cache.

Nach der Installation von Proxmox5 auf ZFS gibt es zwei Storage. Einmal das "local" einmal "local-zfs". Dies wurde nach Aufnahme in den Cluster gelöscht. Da das Grundsystem schon aus ZFS besteht, habe ich einfach das local-zfs wieder mit (ich glaube rpool Data) angelegt. Ich weiß nicht, ob das überhaupt einen Unterschied macht.
Bei der direkten Migration einer VM kann man nur den Host auswählen, wohin er verschieben soll. Beim Wiederherstellen aus dem Backup kann man den Zielstorage angeben. Wäre es eine Möglichkeit diese Option auch bei der Migration zu machen? Die funktioniert ja sowieso nur im Offlinemode (wie ein Restore auch). Klar nach der Migration auf den anderen Host konnte ich dann auch mit Move Disk auf den local-zfs umlagern. Das klappte problemlos. Ich dachte hier an den "normalen" LVM Thin Storage (wie in meinem anderen Post). Hier ist das "local" Storage nur wenige GB groß und die Migration geht hier nicht. Da musste ich mir erstmal mit Backup/Restore helfen.

Das mit dem RAM ist echt nicht zu unterschätzen. Meine Erfahrungen mit ZFS sind noch sehr wenig aber ich sehe schon, dass es auf den "alten" Maschinen auf Dauer nicht funktioniert. Die neue mit 256 GB sollten kein Problem darstellen. Bei der oben genannten Migration wird der komplette RAM benutzt. Nach Abschluss wird er auch gleich wieder freigegeben. Schon interessant.
 
ch weiß nicht, ob das überhaupt einen Unterschied macht.

Ja machte es, bitte immer fuer VM/CT local-zfs (zfspool plugin) verwenden sonst hast du entweder featuers nicht (raw) oder du bremst die Disk Performance extrem aus(qcow2)
. Wäre es eine Möglichkeit diese Option auch bei der Migration zu machen?
Ist noch nicht integriert
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!