EP400i in einem Fujitsu M2530 M3 - VD werden nicht angezeigt?

[Snoopy70]

Hallo,
nachdem ich meinen ersten ESXI Server auf Proxmox umgestellt habe, ist nun der zweite dran.
Es ist ein älterer Fujitsu M2530 M1 mit einem EP400i RAID Kontroller.

Hier gibt es bei der Neuinstallation auf eine USB-Festplatte die Eigenheit, dass die Block-Devices SDA = Raid5 und SDB = Raid1 SSDs zwar angezeigt werden, wenn ich ein lsblk mache, aber ich diese nicht verwenden kann, um ein LVM-Thin etc. zu erzeugen.

Ich habe mich schon in die Problematik mit den LSIs eingelesen, aber bisher für dieses Phänomen noch keine Lösung gefunden.

Hat jemand vielleicht eine Idee? Ich würde gerne die VMs von der Sicherung zurückspielen :-o

Ach ja, die Firmwares sind so aktuell, wie es geht.

 

[Falk R.]

Welche Fehlermeldungen hast du denn?

 

[Snoopy70]

Welche Fehlermeldungen hast du denn?

Guten Morgen,
ich bin leider noch nicht sicher, wie ich aus dem Logs die entscheidenen Meldung herausfische.

Wenn über das Gui versuche z.B. einen ThinPool anzulegen, kommt "No Disk unused".

Wenn ich über die Shell lsblk mache, werden die beiden VDs aber angezeigt.

Das Modul Megaraid wird auch gestartet.

Den Parameter iommu habe ich auch schon einmal probiert, leider ohne Erfolg.

Ebenso die letzt 8.1. - hier ist es dasselber Fehlerbild.

 

[Snoopy70]

Wenn ich im Journal einmal schaue und mir alles mit SDA anzeigen lassen, finde ich diese Meldungen

Sep 08 21:54:55 pve kernel: sd 0:2:0:0: [sda] 9372696576 512-byte logical blocks: (4.80 TB/4.36 TiB)
Sep 08 21:54:55 pve kernel: sd 0:2:0:0: [sda] Write Protect is off
Sep 08 21:54:55 pve kernel: sd 0:2:0:0: [sda] Mode Sense: 1f 00 00 08
Sep 08 21:54:55 pve kernel: sd 0:2:0:0: [sda] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
Sep 08 21:54:55 pve kernel: sd 0:2:0:0: [sda] Preferred minimum I/O size 262144 bytes
Sep 08 21:54:55 pve kernel: sd 0:2:0:0: [sda] Optimal transfer size 262144 bytes
Sep 08 21:54:55 pve kernel: sd 0:2:0:0: [sda] Attached SCSI disk
Sep 08 21:54:58 pve smartd[990]: Device: /dev/sda, opened
Sep 08 21:54:58 pve smartd[990]: Device: /dev/sda, [FTS PRAID EP400i 4.68], lu id: 0x60030057023dc4d02e6f3c150c4b4ff4, S/N: 00f44f4b0c153c6f2ed0c43d02570003, 4.79 TB
Sep 08 21:54:58 pve smartd[990]: Device: /dev/sda, IE (SMART) not enabled, skip device
Sep 08 21:54:58 pve smartd[990]: Try 'smartctl -s on /dev/sda' to turn on SMART features
Sep 08 22:29:47 pve kernel: sda: sda1
Sep 08 22:32:55 pve kernel: sda:
usw mit sda:

Kann es wirklich an Smart liegen?
Und falls ja, was kann ich denn da machen?
Viel einstellen kann ich da beim RAID Controller ja nicht, oder?

 

[Falk R.]

Hi, Raid Co9ntroller reichen nie Smart Werte weiter. Von welcher Platte sollen die denn die Werte nehmen?
Aber soweit sieht doch alles gut aus. Wenn die GUI keine leere Disk findet, ist eventuell auf der Disk noch eine Partition vorhanden.
Kann es sein, dass der Controller eventuell keinen Cache drauf hat, oder der nicht für die Disks aktiviert ist. Wenn du die große Disk Formatieren willst oder anderweitig initialisierst, hast du da viel I/O drauf. Wenn der Controller aber nicht so gut damit klar kommt, kann es sein, dass der I/O für die Sytsemplatte so langsam wird, dass das Linux im Unterbau die Disk als unresponsive einstuft und Readonly nimmt. Dann hängt der ganze Hypervisor. Nach einem Reboot, sollte dann aber alles wieder fein sein.

 

[Snoopy70]

Hallo,
es ist der EP400i, der hat ja fast alle Features eines kleinen RAID Controllers.
Die Platten bzw. VDs werden auch z.B. unter Windows oder VMWare angezeigt und ich kann sie ohne Probleme nutzen.
Sie werden in lsblk auch gelistet mit den richtigen Werten.
Da ich die RAID VDs gerade erst initialisiert habe, ist dort auch wirklich nix drauf.

root@pve:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 4.4T 0 disk
sdb 8:16 0 1.9T 0 disk
sdc 8:32 0 447.1G 0 disk
├─sdc1 8:33 0 1007K 0 part
├─sdc2 8:34 0 1G 0 part
└─sdc3 8:35 0 446.1G 0 part
├─pve-swap 252:0 0 8G 0 lvm [SWAP]
├─pve-root 252:1 0 96G 0 lvm /
├─pve-data_tmeta 252:2 0 3.3G 0 lvm
│ └─pve-data 252:4 0 319.6G 0 lvm
└─pve-data_tdata 252:3 0 319.6G 0 lvm
└─pve-data 252:4 0 319.6G 0 lvm
sdd 8:48 1 14.6G 0 disk
├─sdd1 8:49 1 240K 0 part
├─sdd2 8:50 1 8M 0 part
├─sdd3 8:51 1 1.2G 0 part
└─sdd4 8:52 1 300K 0 part

Ich habe mich schon mit wipe und dd probiert, aber irgendwie muss es noch an etwas anderem liegen.

Der Kontroller kann ja jbod aber dies wirklich ja nicht empfohlen für so viele Disks, oder?

Leider steht der Server deshalb komplett und ich komme mit dem Projekt so gar nicht weiter.

Macht denn der EP420i einen Unterschied vom Treiber?

 

[Snoopy70]

Nach ein paar Neustarts zeigt sich, dass es immer mal wieder einen Communication failure gibt , wenn ich beim PVE auf Disks gehe.
Es wird dort auch niemals etwas angezeigt.

Mit fdisk habe ich mal einen gpt Table angelegt und eine partition erzeugt, leider kann ich diese dann auch nicht verwenden, z.B. für ein directory.

Ich bin wirklich ratlos.

 

[Falk R.]

Nach ein paar Neustarts zeigt sich, dass es immer mal wieder einen Communication failure gibt , wenn ich beim PVE auf Disks gehe.
Es wird dort auch niemals etwas angezeigt.

Das klingt ja schon wieder nach einem Treiber oder Firmware Problem. Du hast ja die aktuelle Firmware 4.68 drauf.

Da ich die RAID VDs gerade erst initialisiert habe, ist dort auch wirklich nix drauf.

Das ist eine falsche Annahme, Wenn du vorher ebenfalls ein gleiches raid5 oder Raid1 drauf hattest, erkennt das OS die alten Informationen.

Ich habe mich schon mit wipe und dd probiert, aber irgendwie muss es noch an etwas anderem liegen.

Das hilft tatsächlich

Der Kontroller kann ja jbod aber dies wirklich ja nicht empfohlen für so viele Disks, oder?

Über wie viele Disks sprechen wir denn? JBOD ist in der Regel überhaupt kein Problem. Ich bin nur kein Freund, mehr als 100 Disks an einen Controller zu hängen.

Leider steht der Server deshalb komplett und ich komme mit dem Projekt so gar nicht weiter.

Macht denn der EP420i einen Unterschied vom Treiber?

Ja der ist eine Generation neuer.

 

[Snoopy70]

Ja, die Firmware ist so aktuell, die Fujitsu sie hat. Per Update DVD.

Firmware version:	4.680.00-8561
Firmware package version:	24.21.0-0151
Firmware build time:	Mar 16 2021 07:38:28
BIOS version:	6.36.00.3
BIOS build time:	12/15/2020 04:04:33

Die Festplatten sind ebenfalls neu und 100% neu initialisiert als RAID5 und RAID1.

Die Blockgröße ist auch 512.

Ich besorge mir mal einen 420i und probiere es damit.

Der Server ist mit DDR4 und T CPUs eigentlich für mein Office genau der Richtige.

Nun muss erst einmal wieder der alte RX300 S8 ran.

 

[boisbleu]

Ich bin grad etwas verwirrt der vielen Fakten wegen.

USB-Festplatte? RX2530 M1? M3?

Ich weiß ja nicht, von welcher Firmware du beim EP400i gekommen bist, aber es gibt Versionen, bei denen man nach dem Update die Einstellungen des Controllers zurücksetzen muss. Du kannst ja im BIOS vom Server den Controller aufrufen. Dort dürfte es eine Fülle an Einstellungen geben (Controller Properties, Disk Drive Properties uws.). Hast du da mal geguckt, ob da alles im Lot ist?

 

[Snoopy70]

Ja, sorry. Bei all dem Suchen nach einer Lösung ist es wohl ein wenig unklar geworden.
Es ist ein M2530 M3.

Ich habe die Firmware über die Update DVD von allen Komponenten gemacht.
Dann die Standardeinstellungen / Factory defaults gesetzt und dann die Raid Laufwerke eingerichtet.
Da der M2530 keinen M2 Slot oder ähnliches hat, habe ich eine SSD als USB3 Festplatte für das OS angeschlossen.

Das Resultat ist dass die beiden RAID VDs als Block Devices angezeigt werden, ich diese aber nicht richtig verwenden kann.

Ich hätte gerne eine Konfig OOB, damit ich bei Updates nicht jedes Mal genervt werde...

Dieser M2530 ist auch der erste, der solche Probleme macht.
Ich versuche heute Abend noch einmal alle Kabel nachzustecken. Vielleicht hat sich beim Einbau ins Rack etwas gelockert.
Der Kleine ist ja recht dünn um die Hüfte.

 

[boisbleu]

Hat das 'nen Grund, dass der RX2530 M3 auf der Fujitsu-Seite im Downloadbereich nicht gelistet wird?

PS: der EP420i hat den doppelt so großen Cache.

 

[waltar]

Sieht mir eher danach aus, daß da noch was vor dem Web-UI fehlt, siehe Bild:
parted --script /dev/sda mklabel gpt mkpart primary 1MiB 100% ; pvcreate /dev/sda1 ; vgcreate vgr5hdds /dev/sda1 ;
parted --script /dev/sdb mklabel gpt mkpart primary 1MiB 100%; pvcreate /dev/sdb1 ; vgcreate vgr1sdds /dev/sdb1 ;
Siehe nun pvs, pvdisplay, lvdisplay ... und ab nun weiter im pve Web-UI

 

[waltar]

Und mal noch "storcli download" googlen und auf dem pve installieren !!
storcli /call show ; storcli help

 

[Snoopy70]

Hallo,
so, ich habe nun einen 420i eingebaut. Der war mir eh lieber.
Leider selbst nach einer Neuinstallation auf die USB-SSD findet PVE keine Disks.

_Aber_ wenn ich das PVE direkt auf der einen VD installiere findet er plötzlich beide und ich kann wirklich alles damit machen?
Ein sehr merkwürdiges Phänomän.

Hatte ich bisher so noch nicht. Aber ich fange ja auch gerade erst an.

Ich muss diese Jahr noch ca. 40 System umziehen, daher würde ich es nun erst einmal so lassen und mich meinem nächsten Kandidaten witmen.

So schlecht ist es ja nicht, das OS auf einem RAID1 zu haben, oder?

 

[Snoopy70]

Hat das 'nen Grund, dass der RX2530 M3 auf der Fujitsu-Seite im Downloadbereich nicht gelistet wird?

PS: der EP420i hat den doppelt so großen Cache.

Hallo, ja, mein Fehler. Es ist der RX2530 M1. Sehr schöner kleiner Server und nun mit 5x SAS und 2x SSD und 2x Xeon E5-2630L und 128GB Ram mit 133w Stromverbrauch mit 3x VMs Windows und 2x Linux und pihole, homeassist etc.

 

[boisbleu]

_Aber_ wenn ich das PVE direkt auf der einen VD installiere findet er plötzlich beide und ich kann wirklich alles damit machen?
Ein sehr merkwürdiges Phänomän.

Hört sich so an, als ob tatsächlich die USB-Festplatte die Ursache war. Hab ich die letzten Tage aber mehrfach im Forum gelesen, dass es mit USB-Festplatten immer wieder seltsame Probleme gibt

So schlecht ist es ja nicht, das OS auf einem RAID1 zu haben, oder?

Nicht wirklich. ;-)