[SOLVED] SSD kann nach Löschen nicht mehr hinzugefügt werden

[ed881]

Hallo zusammen.

Ich habe ein Problem mit meiner PROXMOX Installation. Ich habe diese zum ersten Mal installiert und bin daher noch recht neu in dem Thema.

Zu der Konfiguration:

DELL r720
- 2x 32GB SanDisk Ultra (redundantes dual SD Modul)
- 1x 500GB Samsung 970 EVO Plus NVMe M.2
- 6x 2TB DELL Hot swap HDDs

Proxmox habe ich auf die SD Karte installiert. Die ISOs und VMs wollte ich auf die SSD installieren/speichern. Und die 6x2TB HDDs sind in einem RAID5 Verbund als Speicher für die Nextcloud gedacht, die dann auf einer VM laufen soll.

Erstmal vorweg, macht diese Konstellation Sinn? Gibt es hier bessere Varianten mit der gleichen Hardware?

Nun zum eigentlichen Problem:

Wenn ich das richtig verstanden habe muss ich die SSD unter Disks->Verzeichnis hinzufügen, ist das richtig?

Da ich nun schon rumgespielt habe und unter LVM hinzugefügt und später auch wieder entfernt erscheint die SSD nicht als Auswahl wenn ich diese als Verzeichnis hinzufügen möchte. Kann mir hier jemand helfen? Irgendetwas habe ich scheinbar vermurkst...

Grüße
ed881

 

[Dunuin]

- 2x 32GB SanDisk Ultra (redundantes dual SD Modul)

Proxmox sollte eigentlich nicht auf SD-Karten/USB-Sticks installiert werden da es viel schreibt. Wenn dann auf so ein SLC USB DOM oder auf eine USB-SSD, wo es auch Wear Leveling etc gibt. Musst du also aufpassen.

- 1x 500GB Samsung 970 EVO Plus NVMe M.2

Die Abnutzung der Evo auch gut im Auge behalten. Bei gewissen Workloads wird die auch in Monaten statt nach Jahren kaputtgeschrieben sein.l.

Wenn ich das richtig verstanden habe muss ich die SSD unter Disks->Verzeichnis hinzufügen, ist das richtig?

Da ich nun schon rumgespielt habe und unter LVM hinzugefügt und später auch wieder entfernt erscheint die SSD nicht als Auswahl wenn ich diese als Verzeichnis hinzufügen möchte. Kann mir hier jemand helfen? Irgendetwas habe ich scheinbar vermurkst...

Proxmox möchte leere Laufwerke. Du kannst z.B. per CLI über fdisk/parted/wipefs die Partitionen löschen damit die wieder leer ist.

 

[ed881]

Also wäre es besser eine normal drehende SATA Festplatte für die Installation zu verwenden?

 

[Dunuin]

Also wäre es besser eine normal drehende SATA Festplatte für die Installation zu verwenden?

Dürfte jedenfalls länger halten. Flash Speicher sind ok, aber man muss halt etwas Robustes nehmen was auch ordentlich Writes verträgt. Proxmox kann gerne mal 30-50GB am Tag an Logs/Metrics/Konfigs auf die Bootlaufwerke schreiben. Das summiert sich dann sehr schnell über die Monate/Jahre. Für so etwas sind SD-Karten und USB-Sticks einfach nicht ausgelegt. So ein USB DOM nutzt ja z.B. SLC NAND flash der so etwas abkann. Oder eine 120GB SSD mit TLC NAND nehmen und per USB-Adapter anschließen. Weil Proxmox nur wenige GB braucht (3-4GB) hält die dann relativ lange, weil die im Gegensatz zu SD-Karten und USB-Sticks Wear Leveling nutzt und die Writes gleichmäßig auf alle Flash Zellen verteilt und man recht viel Reserve an ungenutzten Zellen hat.

 

[ed881]

Wie sähe die optimale Lösung aus? Ich bin noch am Anfang und kann noch ändern. Ich möchte es auch gleich so richtig wie möglich machen.

wie wäre es mit dieser Variante?

2x zb 300GB DELL SAS HDDs im Raid 1 Verbund für Proxmox und VMs
6x 2TB für die Nextcloud im Raid 5 Verbund?

Als Backup will ich TrueNAS nutzen. Besser als separaten Server oder auch als virtuelle Maschine auf Proxmox?

 

[Dunuin]

Wie sähe die optimale Lösung aus? Ich bin noch am Anfang und kann noch ändern. Ich möchte es auch gleich so richtig wie möglich machen.

wie wäre es mit dieser Variante?

2x zb 300GB DELL SAS HDDs im Raid 1 Verbund für Proxmox und VMs
6x 2TB für die Nextcloud im Raid 5 Verbund?

Das hängt auch ein bisschen von deiner Workload ab. Dein Nextcloud schreibt ja viel in MySQL und Redis DBs, also macht einiges an kleinen zufälligen synchronen Schreiboperationen. Je nach Anzahl der Benutzer und was du da sonst noch auf dem Server laufen lässt können die HDDs schnell in die Knie gehen, weil sie mit den IOPS nicht mithalten können. Gerade wenn du da alle VMs auch von den selben 2 Platten laufenlassen willst. Ich würde da schon versuchen robuste SSDs zu wählen. Wenigstens für die Datenbanken und als Storage für die VMs.

Wolltest du eigentlich ZFS oder Hardware-Raid nutzen?

Als Backup will ich TrueNAS nutzen. Besser als separaten Server oder auch als virtuelle Maschine auf Proxmox?

Den 'Proxmox Backup Server" hast du gesehen? Ich habe mein FreeNAS für Backup lieber als separaten Server aufgesetzt. So muss der nicht 24/7 laufen was mir Strom spart und die Lebenszeot der Backup-HDDs erhöhen sollte. Und wenn mal der ganze Server mit Proxmox ausfallen sollte und sich nicht mehr starten lässt, dann kommt man immer noch jederzeit an seine Backups. Und die Gefahr ist kleiner, dass da z.B. ein sterbendes Netzteil oder ähnliches gleichzeitig mit den Haupt-Laufwerken auch die Backup-Laufwerke zerstört.

 

[ed881]

Der Server wird für einen Verein genutzt und es werden später schon auch einige Leute gleichzeitig darauf zugreifen. Für Nextcloud werde ich bestimmt 50 Benutzer anlegen. Für mich ist es wichtig, dass es schon länger hält und die Festplatten im Fall des Ausfalls leicht ersetzt werden können.
Auf dem Server soll folgendes gemacht werden:
- Ubuntu Server für Docker Container
- Nexcloud ca 50 Nutzer
- pfsense als VM
- icecast Radioserver
- TrueNAS als Backup
- eventuell noch eigener MATRIX Server

Also wenn ich das jetzt richtig herauslese empfiehlst du gute SSDs für Proxmox und die VMs. Diese dann im Raid1? Ich denke ich würde die dann in den vorderen Hotswap Schächten verbauen. Kannst du da SSDs empfehlen? Ich denke 500GB reichen da?!

Aktuell ist der Hardware RAID eingestellt wenn ich das richtig im Netz gelesen habe kann man die Firmware Flaschen und dann einen ZFS RAID in Proxmox einstellen?! So ganz blicke ich noch nicht durch das Thema ist neu für mich.

Proxmox Backup Server habe ich gesehen mich damit aber nicht näher beschäftigt. Ist das dann anstelle von einem NAS als Backup?

Ich dachte auch schon daran eventuell einen DELL r510 oder so als Backup Server einzusetzen. Dieser kann dann mir normalen HDDs bestückt werden denke ich?!

 

[Dunuin]

Der Server wird für einen Verein genutzt und es werden später schon auch einige Leute gleichzeitig darauf zugreifen. Für Nextcloud werde ich bestimmt 50 Benutzer anlegen. Für mich ist es wichtig, dass es schon länger hält und die Festplatten im Fall des Ausfalls leicht ersetzt werden können.
Auf dem Server soll folgendes gemacht werden:
- Ubuntu Server für Docker Container
- Nexcloud ca 50 Nutzer
- pfsense als VM
- icecast Radioserver
- TrueNAS als Backup
- eventuell noch eigener MATRIX Server

Also wenn ich das jetzt richtig herauslese empfiehlst du gute SSDs für Proxmox und die VMs. Diese dann im Raid1? Ich denke ich würde die dann in den vorderen Hotswap Schächten verbauen.

Da würde ich persönlich dann schon zwei SSDs im Mirror für Proxmox + VMs nehmen wollen.

Kannst du da SSDs empfehlen? Ich denke 500GB reichen da?!

Wenn SATA geht wäre etwas wie sie Intel S4610 480GB für 110€ z.B. eine Option. Die kann dank Powerloss Protection gut mit Sync Writes umgehen und hat mit 3000 TB TBW eine echt gute Lebenserwartung für den Preis (normale Consumer SSDs haben nur so 300-600 TBW).

Aktuell ist der Hardware RAID eingestellt wenn ich das richtig im Netz gelesen habe kann man die Firmware Flaschen und dann einen ZFS RAID in Proxmox einstellen?! So ganz blicke ich noch nicht durch das Thema ist neu für mich.

Ja, wenn du ZFS willst musst du das "Raid" aus dem Raid-Controller flashen, dass der im IT-Mode arbeitet und dann zum ganz normalen HBA wird. ZFS gibt dir einige nette Features wie Schutz vor schleichendem Dateiverfall (bit rot), Kompression auf Blockebene, Hardwareunabhängigkeit (wenn dein HW-Raid kaputt geht kommt du nicht mehr an die Daten, außer du kaufst das gleiche Mainboard/Raid-KArte doppelt damit du Ersatz hast), Replikation, Snapshots etc. Dafür ist ZFS aber auch relativ anschruchsvoll. Bei deinen genannten Laufwerken sollte du da schon 16GB RAM einplanen, die dann nur für ZFS draufgehen und nicht mehr anderweitig genutzt werden können. Und für jeden weiteren 1TB an Laufwerken solltest du zusätzliche 1GB RAM für ZFS einplanen.

Proxmox Backup Server habe ich gesehen mich damit aber nicht näher beschäftigt. Ist das dann anstelle von einem NAS als Backup?

Ja, der ist extra entwickelt um VMs inkrementell sichern zu können. Ohne den PBS muss Proxmox immer wieder die komplette VM sichern. Und ZFS Pools sollte man auch inkrementell von Proxmox zum PBS replizieren können. Musst du dich mal einlesen. Ich habe da selbst noch keinen aufgesetzt. Bin nicht sicher wie einfach man da SMB/NFS als Shares für Backups nutzen kann. Der PBS ist auch ganz neu und kommen ständig neue Features hinzu.

Ich dachte auch schon daran eventuell einen DELL r510 oder so als Backup Server einzusetzen. Dieser kann dann mir normalen HDDs bestückt werden denke ich?!

2,5" HDDs wären mir persönlich auch viel zu teuer. Vorallem musst du auch gucken, dass du da keine HDDs kaufst die SMR nutzen. Und am besten eine wählen welche auch für 24/7 Einsatz ausgelegt ist. Die günstigste 2TB 2,5" SATA HDD mit CMR und 24/7 Einsatz fängt bei 243€ an. 6 Stück davon im Raid5 und du bist bei 1.458€ für 10TB Kapazität. 2x 10TB 3,5" HDDs würden nur 400€ kosten und würden auch 10TB Kapazität im Raid1 ergeben. Wenn man nicht komplett auf SSDs gehen will finde ich Server mit nur 2,5" Slots als Storage-Server eher ungeeignet.

 

[ed881]

Was mir noch nicht genau klar ist, ist der Vorteil durch die SSDs? Wäre es nicht auch möglich bzw. besser normale Server Festplatten oder von mir aus NAS Festplatten zu verwenden für die Installation und die VMs?

Die Konfiguration nimmt aber auf jeden Fall schon mehr Gestalt an:

- RAID Controller in IT Mode flashen
- die ersten 2 Schächte werden mit Platten für Proxmox und VMs belegt. Raid1?
- die 6 anderen Schächte dann die 6x 2TB SAS Platten als RaidZ5?! Oder ohne Z?

Wie installiere ich denn Proxmox auf einem Mirror von Platte 0 und 1? Wenn der RAID Controller die Kontrolle hat wäre mir das klar, im BIOS vorher eingestellt aber wenn ich in den IT Mode flashe sind es ja im Prinzip 2 separate Platten.

 

[Dunuin]

Was mir noch nicht genau klar ist, ist der Vorteil durch die SSDs? Wäre es nicht auch möglich bzw. besser normale Server Festplatten oder von mir aus NAS Festplatten zu verwenden für die Installation und die VMs?

HDDs kommen nur mit sequentiellen Zugriffen klar, also wenige große zusammenhängende Schreib-/Leseoperationen. Sobald du viele kleine Zugriffe machst (z. b. 4k random reads/writes) bricht die Leistung enorm ein und die HDD schaffen dann z. B. nur noch 0,5MB/s statt 200MB/s wie bei sequentiellen Zugriffen. Das liegt einfach daran, dass das physikalisch nicht anders möglich ist. HDDs arbeiten ja auch nicht anders
als ein Plattenspieler. Für jeden Zugriff muss der Lesekopf mechanisch an die richtige Stelle geschwenkt werden. Und dann muss gewartet werden bis sich die rotierende Platte an die richtige Stelle gedreht hat. Dass kann eine HDD vielleicht 100-200 mal pro Sekunde aber mehr geht nicht. Die HDD kann also nur 100-200 Operationen pro Sekunde (IOPS) durchführen. Das ist bei einem normalen PC meist nicht so wild, aber wenn du 10 VMs nutzt hast du auch 10 Betriebssysteme gleichzeitig laufen und daher 10x so viele Schreib-/Leseoperationen. Da muss jede der 10 VM nur 10 Dateien pro Sekunde öffnen wollen und deine HDD ist hoffnungslos überlastet.
SSDs haben hingegen keine beweglichen Teile und können da dann gerne mal 1000-fach so schnell sein was die IOPS bzw Performance von vielen kleinen Operationen angeht. Und das ist eigentlich das, was du bei einem VM Storage haben willst.

Die Konfiguration nimmt aber auf jeden Fall schon mehr Gestalt an:

- RAID Controller in IT Mode flashen
- die ersten 2 Schächte werden mit Platten für Proxmox und VMs belegt. Raid1?

Ja, würde ich raid1 nehmen bzw Mirror bei ZFS.

- die 6 anderen Schächte dann die 6x 2TB SAS Platten als RaidZ5?! Oder ohne Z?

Das Raid5 Gegenstück heißt bei ZFS raidz1. Aber ja, kann man so machen. Oder raidz2 wenn es noch etwas Fehlertoleranter sein soll (dann sind aber nur 4 von 6 HDDs nutzbar).

Wie installiere ich denn Proxmox auf einem Mirror von Platte 0 und 1? Wenn der RAID Controller die Kontrolle hat wäre mir das klar, im BIOS vorher eingestellt aber wenn ich in den IT Mode flashe sind es ja im Prinzip 2 separate Platten.

Da wählst du dann bei der Installation ZFS Mirror und musst die beiden Laufwerke auswählen, welche als gespiegelte Proxmox Installation genutzt werden sollen.

 

[ed881]

Ich habe nun den RAID Controller in den IT Modus geflasht mit Hilfe von dieser Anleitung: https://fohdeesha.com/docs/H710-D1/

Habe nun auch Proxmox ohne Fehler auf ein ZFS Raid 1 der beiden Intel SSDs S4610 480GB installieren können. Leider will der Dell nicht davon booten. Beim Flashen hatte ich leider noch die Batterie dran, das habe ich vergessen vorher abzustecken, kann es sein, dass deswegen irgendwas falsch gelaufen ist und ich das ganze Prozedere wiederholen muss?

 

[Dunuin]

Am Ende der Anleitung ist noch ein Absatz "Optional: Boot Images". Da steht wenn man das nicht auch flasht kann man von keinen angeschlossenen Laufwerken booten.
Hast du das auch geflasht?

 

[ed881]

Ja das habe ich beides gemacht. Also BIOS und UEFI

 

[Dunuin]

Und warst du dann auch im "LSI boot configuration utility" um das mit dem Booten von den Laufwerken einzustellen?
Das sollte dir ja beim hochfahren des Servers für einen winzigen Augenblick zur Verfügung stehen wo du dann schnell die richtige Taste drücken musst.

 

[ed881]

Ich habe das ganze Prozedere jetzt noch einmal durchgeführt ohne die Batterie. Zuerst kam beim Löschen des Flashspeichers ein Error Code 524288, aber nach Abschalten des Servers und warten von einigen Minuten nach Neustart ging es. Mit Strg+C komme ich in das Avago Technologies Config Utility. Dort unter Adapter wird mir SAS9207-8i angezeigt und hinten Boot order 0. Unter dem Controller tauchen von Slot 0 bis 5 die DELL (TOSHIBA MG03SCA200) SAS Festplatten und Slot 6 & 7 ATA INTEL SSDSC2KG48

Wenn ich dann in den BIOS Boot Manager gehe taucht dort unter "Hard drive C" nur "* Integrated RAID #0300 ID10 LUN0 TOSHIBA MG03SCA200" auf.

Nach deinem Hinweis habe ich im Netz gesucht und in einem YouTube Video die Anleitung gefunden, wie ich das Boot device auswähle. Das war auch die Lösung. Unten war nicht sichtbar, dass man mit Alt+B das Bootdevice festlegen kann. Damit ist das Problem gelöst