Ja die 7,8GBit/s werden komplett ausgenutzt. D.h. ein 10GB großes Modell ist in ca. 1,5 Sek. im VRAM. Da Ollama das Modell nach 5 Minuten Inaktivität jedoch wieder rauswirft, hat das den Effekt, dass beider ersten Anfrage die Antwort um die...
So jetzt also nochmals ein mega DANKE!
Es läuft nun alles!!! :p
Kurzer erster check ergab:
im Idle verbraucht die karte laut "nvtop" nur 4W. Die Strommessung am Server ergab jedoch ca. 10-15W Anstieg zu vorher. Damit bin ich aber absolut...
ok... also die GPU ist drin und wird auch vom OS erkannt. Das pci Passthrough klappt noch nicht ganz, aber ich hab ein anderes Problem, welches ich zuerst lösen muss...
Nach Einbau der GPU brauchte der Server 3-5 Anläufe um zu booten. Hatte in...
So die 5060Ti ist angekommen und die Sammelschienen kommen heute auch. Habe mich übrigens für diese entschieden: https://www.phoenixcontact.com/de-de/produkte/verteilerklemme-ptfix-12x25-vt-3273302
Zwischenzeitlich hab ich auch nochmal...
So, der eigentliche Server Umzug ist geschehen und ich hab es mir letztlich doch einfacher gemacht aus Gründen der Downtime und leichtem Zeitmangel. Die Platten waren bereits ist 4k formatiert, also hab ich einfach alle in den neuen Server...
Ich denke ich werde es mal "riskieren" unabhängig deines Vorschlags :p
Worst Case wäre wohl, dass ein Netzteil den Geist aufgibt. Wenn schnelle Lastwechsel auftreten sollte im schlimmsten Fall ein Spannungseinbruch die Folge sein, weil das NT...
Tatsächlich ist mir an meinem alten Server vor rund 6 Monaten mal ein Netzteil gefreckt. Das war dann schon geil, dass das Ding einfach weiter lief und ich auf ebay in Ruhe ein neues NT gekauft hab und nach 3 Tagen dann auch noch ohne Downtime...
Pinbelegung ist nicht das Problem. Das messe ich vorher aus.
Und Aufgrund der maximalen Last (die nur spekuliert werden kann), werde ich sowieso keine GPU's mit mehr als einem 8P Stecker nutzen. Eigentlich liebäugelte ich gerade mit ner 5060 Ti...
Bin leider noch nicht zum Umzug gekommen, aber habe zumindest schonmal die Karte mit den neuen NVME's eingebaut. Auf der Sucher nach einer geeigneten Grafikkarte, kam dann leichte Ernüchterung in mir auf.
Nichts Themenrelevantes, aber vielleicht...
Was heißt "mit dessen Hilfe"? Eine Art Import-Funktion oder quasi abschreiben?
Mach ich ja, drum frag ich viel und handle erst dann ;)
Hmm.. joa stimmt eigentlich.
Die Netzwerkbrücken klickt man schnell wieder zusammen. Die Config-Dateien von...
Backups mach ich ja eh schon täglich und die werden auf eine USB-HDD geschrieben. Die müssten doch reichen und ich stell einfach die Backups im neuen System wieder her und weise denen beim restore direkt das neue NVMe-ZFS zu, richtig?
Aber wie...
Für die Nachwelt oder andere Interessierte:
Der Fujitsu Primergy TX2550 M4 bzw. das Mainboard D3386-A12 unterstützt tatsächlich nur auf den x16 Ports Bifurcation. Allerdings auf allen 3 Ports. Wenn also eine 2. CPU installiert ist, können...
Mit meinen Intel Platten bin ich derzeit ja auch mehr als zufrieden. Die Dinger habe ich auch gebraucht gekauft und sie laufen nun schon 4-5 Jahre bei mir im Dauerbetrieb. Klar, die Laufzeit ist schon langsam aber sicher ein Grund zum...
Nochmal eine Frage zu den NVMe... Wären hier auch Samsung PM983 eine Alternative zu den doch sehr teuren Micron? Immerhin auch Cache und PLP an Board sowie eine solide TBW.
Die würde ich dann im ZFS für die VM's nutzen wollen
Nee, was, wie?
Ich versuche halt lediglich mit so wenig Adaptern wie möglich auszukommen. Wenn ich dabei erstmal Lanes verschenke ist das ja nicht schlimm, solange ich sie auch gerade nicht brauch. Aufsplitten kann man ja später immer noch :)...
So verstehe ich das auch.
Ich habe auch gesehen, dass die beiden M.2 Slots auf dem Board nur SATA Anschlüsse sind, keine PCIe.
Demnach wäre vielleicht doch meine erste Idee sinnvoll:
x16 Slot mit *diesem* Adapter belegen und die beiden P3520...
Ich lass es mir mal durch den Kopf gehen. Denke zwar nicht, dass ich in Zukunft die Leistung wirklich brauche, aber man weiß ja nie...
Ich danke dir jedenfalls bis hierher schonmal für die wirklich lehrreichen Antworten und deine Zeit :D
Hmm... Hast du da konkrete Empfehlungen? Es scheint schwierig mit Serverhardware damit im Budget zu bleiben :(
Edit:
Praktisch bekommt man ein B550 Board mit Ryzen 7 3700X und 128GB ECC RAM zusammen locker für 500€. Wenigstens einen Port hat man...