Dell T320 PCIe

hackmann · Aug 9, 2023

Guten Abend, eventuell hat jemand einen Tipp.

Bei einem PowerEdge T320 wurde ein PCIe Karte hinzugefügt. "siehe Bild". Im Bios wird diese auch angezeigt, allerdings steht diese auf Disconnect. Im IDRAC bekommme ich den Adapter auch angezeigt. STATUS DOWN!

Im Bios wurden alle Slots aktivert unter "Slot Disablement (Steckplatzdeaktivierung)". Wenn der Server hochgefahren wird, blinken beide LEDs der Karte, jedoch erkennt Proxmox die Karte nicht.

Vielleicht setzt auch noch jemand von euch den Server mit einer PCIe Karte ein. Ich habe alle 3 Slots ausprobiert. Eigentlich wollte ich diesen Server als Produktiv System nehmen, aber ich habe etwas Bauchschmerzen, da eine zweite Karte auch nicht gegangen ist. Nicht dass der Server langsam den Geist aufgibt,

liebe grüsse

thearona · Aug 9, 2023

Der Dell PN nach, handelt es sich ja um eine NIC. Siehst du die zusätzlichen Ports unter System > Network bzw. siehst du den Adapter in der shell mit "lspci"?

hackmann · Aug 10, 2023

hallo, ja ich denke dass dieser das ist

Code:

01:00.0 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme BCM5720 Gigabit Ethernet PCIe
01:00.1 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme BCM5720 Gigabit Ethernet PCIe
02:00.0 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme BCM5720 Gigabit Ethernet PCIe
02:00.1 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme BCM5720 Gigabit Ethernet PCIe

hier der ganze auszug

Code:

Broadcom00:00.0 Host bridge: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 DMI2 (rev 04)
00:01.0 PCI bridge: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 PCI Express Root Port 1a (rev 04)
00:01.1 PCI bridge: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 PCI Express Root Port 1b (rev 04)
00:03.0 PCI bridge: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 PCI Express Root Port 3a (rev 04)
00:05.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 VTd/Memory Map/Misc (rev 04)
00:05.2 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 IIO RAS (rev 04)
00:11.0 PCI bridge: Intel Corporation C600/X79 series chipset PCI Express Virtual Root Port (rev 05)
00:16.0 Communication controller: Intel Corporation C600/X79 series chipset MEI Controller #1 (rev 05)
00:16.1 Communication controller: Intel Corporation C600/X79 series chipset MEI Controller #2 (rev 05)
00:1a.0 USB controller: Intel Corporation C600/X79 series chipset USB2 Enhanced Host Controller #2 (rev 05)
00:1c.0 PCI bridge: Intel Corporation C600/X79 series chipset PCI Express Root Port 1 (rev b5)
00:1c.4 PCI bridge: Intel Corporation C600/X79 series chipset PCI Express Root Port 5 (rev b5)
00:1c.6 PCI bridge: Intel Corporation C600/X79 series chipset PCI Express Root Port 7 (rev b5)
00:1c.7 PCI bridge: Intel Corporation C600/X79 series chipset PCI Express Root Port 8 (rev b5)
00:1d.0 USB controller: Intel Corporation C600/X79 series chipset USB2 Enhanced Host Controller #1 (rev 05)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev a5)
00:1f.0 ISA bridge: Intel Corporation C600/X79 series chipset LPC Controller (rev 05)
00:1f.2 SATA controller: Intel Corporation C600/X79 series chipset 6-Port SATA AHCI Controller (rev 05)
01:00.0 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme BCM5720 Gigabit Ethernet PCIe
01:00.1 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme BCM5720 Gigabit Ethernet PCIe
02:00.0 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme BCM5720 Gigabit Ethernet PCIe
02:00.1 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme BCM5720 Gigabit Ethernet PCIe
03:00.0 PCI bridge: Renesas Technology Corp. SH7757 PCIe Switch [PS]
04:00.0 PCI bridge: Renesas Technology Corp. SH7757 PCIe Switch [PS]
04:01.0 PCI bridge: Renesas Technology Corp. SH7757 PCIe Switch [PS]
05:00.0 PCI bridge: Renesas Technology Corp. SH7757 PCIe-PCI Bridge [PPB]
06:00.0 VGA compatible controller: Matrox Electronics Systems Ltd. G200eR2
08:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS 2008 [Falcon] (rev 03)
3f:08.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 QPI Link 0 (rev 04)
3f:09.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 QPI Link 1 (rev 04)
3f:0a.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Power Control Unit 0 (rev 04)
3f:0a.1 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Power Control Unit 1 (rev 04)
3f:0a.2 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Power Control Unit 2 (rev 04)
3f:0a.3 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Power Control Unit 3 (rev 04)
3f:0b.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 UBOX Registers (rev 04)
3f:0b.3 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 UBOX Registers (rev 04)
3f:0c.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Unicast Registers (rev 04)
3f:0c.1 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Unicast Registers (rev 04)
3f:0d.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Unicast Registers (rev 04)
3f:0d.1 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Unicast Registers (rev 04)
3f:0e.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Home Agent 0 (rev 04)
3f:0e.1 Performance counters: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Home Agent 0 (rev 04)
3f:0f.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 0 Target Address/Thermal Registers (rev 04)
3f:0f.1 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 0 RAS Registers (rev 04)
3f:0f.2 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 0 Channel Target Address Decoder Registers (rev 04)
3f:0f.3 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 0 Channel Target Address Decoder Registers (rev 04)
3f:0f.4 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 0 Channel Target Address Decoder Registers (rev 04)
3f:0f.5 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 0 Channel Target Address Decoder Registers (rev 04)
3f:10.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 1 Channel 0-3 Thermal Control 0 (rev 04)
3f:10.1 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 1 Channel 0-3 Thermal Control 1 (rev 04)
3f:10.2 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 1 Channel 0-3 ERROR Registers 0 (rev 04)
3f:10.3 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 1 Channel 0-3 ERROR Registers 1 (rev 04)
3f:10.4 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 1 Channel 0-3 Thermal Control 2 (rev 04)
3f:10.5 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 1 Channel 0-3 Thermal Control 3 (rev 04)
3f:10.7 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Integrated Memory Controller 1 Channel 0-3 ERROR Registers 3 (rev 04)
3f:13.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 R2PCIe (rev 04)
3f:13.1 Performance counters: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 R2PCIe (rev 04)
3f:13.4 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 QPI Ring Registers (rev 04)
3f:13.5 Performance counters: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 QPI Ring Performance Ring Monitoring (rev 04)
3f:16.0 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 System Address Decoder (rev 04)
3f:16.1 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Broadcast Registers (rev 04)
3f:16.2 System peripheral: Intel Corporation Xeon E7 v2/Xeon E5 v2/Core i7 Broadcast Registers (rev 04)

ich habe mir mal den Treiber besorgt, aber dass das Debian dieses nicht erkennt? kann das sein?

danke lg

thearona · Aug 10, 2023

schaut gut aus, zwei Einträge dürften von der Onboard Karte sein die anderen beiden von der PCI Nic. Da es der selbe Chipsatz ist, sollte die neue Karte ohne Treiber funktionieren.

Hast du unter Node > System > Network nachgeschaut, dort sollten die NICs eigentlich ersichtlich sein (min. 5 Einträge, vmbrX und 4 eno), geht auch über die cli mit "ip addr".

Woran merkst du, dass die NIC nicht funktioniert? Weil sie im iDRAC als Down angezeigt wird? In Proxmox musst du neue NICs manuell unter System > Network enablen, damit sie überhaupt aktiviert werden (sonst gibts auch keinen Link / LEDs) und apply nicht vergessen. Je nach Verwendungszweck musst du sie noch configurieren oder einem VMBR hinzufügen.

hackmann · Aug 10, 2023

danke, puh da stehe ich auf dem Schlauch.

Also hier mal ip a

Code:

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host noprefixroute
       valid_lft forever preferred_lft forever
2: eno1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP group default qlen 1000
    link/ether 54:9f:35:22:5f:36 brd ff:ff:ff:ff:ff:ff
    altname enp1s0f0
3: eno2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr1 state UP group default qlen 1000
    link/ether 54:9f:35:22:5f:38 brd ff:ff:ff:ff:ff:ff
    altname enp1s0f1
4: enp2s0f0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 00:0a:f7:82:76:9a brd ff:ff:ff:ff:ff:ff
5: enp2s0f1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 00:0a:f7:82:76:9b brd ff:ff:ff:ff:ff:ff
6: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 54:9f:35:22:5f:36 brd ff:ff:ff:ff:ff:ff
    inet 192.168.50.254/24 scope global vmbr0
       valid_lft forever preferred_lft forever
    inet6 fe80::569f:35ff:fe22:5f36/64 scope link
       valid_lft forever preferred_lft forever
7: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 54:9f:35:22:5f:38 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::569f:35ff:fe22:5f38/64 scope link
       valid_lft forever preferred_lft forever

dann Webgui

ja genau. die ersten beiden Nics werden mit eno1 und eno2 angezeigt. Woher weiss ich, welchen Namen ich vergeben soll? wie zum Beispiel "enp2s0f0" ? das muss ja später in die interfaces eingetragen werden.

Code:

auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno2 inet manual

iface enp2s0f0 inet manual

iface enp2s0f1 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.50.254/24
        gateway 192.168.50.253
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet manual
        bridge-ports eno2
        bridge-stp off
        bridge-fd 0
#bacula-192-168-50-248

auto vmbr2
iface vmbr2 inet manual
        bridge-ports ?????????
        bridge-stp off
        bridge-fd 0
#web-192-168-50-243
#------------------------------------------

auto vmbr3
iface vmbr3 inet manual
        bridge-ports ?????????
        bridge-stp off
        bridge-fd 0
#typo3-192-168-50-22

------------------------------------------

ich stehe gerade auf dem Schlauch!
entschuldige.

Was trage ich bei Bridge Ports ein, denn in der Conole sehe ich ja kein en03 oder eno4?

danke

thearona · Aug 10, 2023

enp2s0f0 & enp2s0f1 dürften die beiden neuen ports sein (sind auch down) und müssen entsprechend mit einem Leerzeichen auch im vmbr3 eingetragen werden (falls das so gewünscht ist). Zusätzlich musst du die beiden ports auch aktivieren (in der Weggui auswählen > bearbeiten > Auostart < hacken setzen) Zum Abschluss die Konfiguration noch speicher / aktivieren mittels "Konfiguration anwenden".

würde in der Konfig dann so aussehen:

Code:

auto vmbr3
iface vmbr3 inet manual
        bridge-ports enp2s0f0 enp2s0f1
        bridge-stp off
        bridge-fd 0
#typo3-192-168-50-22

hackmann · Aug 10, 2023

die enp2s0f0 enp2s0f1 sind die beiden ersten Karten, die der Server hat. Zusätzlich kommen nochmals 2 Dazu die pcie karte, da fehlt mir die Bridge.
Wenn ich bei vmbr3 enp2s0f0 enp2s0f1 eintrage, dann spreche ich aber nicht die PCIe Karte an, sondern die Karten, die auf dem Mainborad sind oder nicht?

karte habe ich mal ausgebaut und einen reboot gemacht "siehe bild"

vielen dank

hackmann · Aug 10, 2023

So, ich habs hingekommen "meine Herren

" Ok, war doch mein Fehler, ich habe das nicht ganz gepeilt,

Also, ich habe ersteinmal den treiber installiert

Code:

dpkg -i tg3_3.139j-1_amd64.deb

Code:

root@hauptserver:~# lsmod | grep tg3
tg3                   217088  0

Zuvor hatte ich mit dem Adapter das Proxmox eingerichtet, also wurde in der Webgui der Eintrag bridge-ports enp2s0f0 enp2s0f1 gemacht. Wenn ich die Karte rausnehme, bleibt der Eintrag erhalten. Ok, das kannte ich bisher noch nicht.

Bei Idrac ist es auf down, wenn kein Kabel eingestreckt wird, wenn ein Kabel in der Karte steckt, "wenn das Modul geladen wurde" steht das auf UP! Wusste ich auch nicht.

Also war das Problem der Treiber, denn die Eintrage bridge-ports enp2s0f0 enp2s0f1 hatte ich direkt nach der Installation von Proxmox aktivert, und da gingen die Anschlüsse nicht.

Vielen lieben dank für die Untzerstützung, heute mal wieder etwas gelernt.

danke

hackmann · Aug 10, 2023

hier nochmal die Einträge

Code:

auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno2 inet manual

iface enp2s0f0 inet manual

iface enp2s0f1 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.50.254/24
        gateway 192.168.50.253
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet manual
        bridge-ports eno2
        bridge-stp off
        bridge-fd 0


auto vmbr2
iface vmbr2 inet manual
        bridge-ports enp2s0f0
        bridge-stp off
        bridge-fd 0
#------------------------------------------

auto vmbr3
iface vmbr3 inet manual
        bridge-ports enp2s0f1
        bridge-stp off
        bridge-fd 0

Search

Search

Dell T320 PCIe

hackmann

Renowned Member

Attachments

thearona

New Member

hackmann

Renowned Member

thearona

New Member

hackmann

Renowned Member

Attachments

thearona

New Member

hackmann

Renowned Member

Attachments

hackmann

Renowned Member

hackmann

Renowned Member