Recent content by crally

Ja die 7,8GBit/s werden komplett ausgenutzt. D.h. ein 10GB großes Modell ist in ca. 1,5 Sek. im VRAM. Da Ollama das Modell nach 5 Minuten Inaktivität jedoch wieder rauswirft, hat das den Effekt, dass beider ersten Anfrage die Antwort um die genannten Sekunden länger dauert.Ab dann läuft es für 5...

So jetzt also nochmals ein mega DANKE! Es läuft nun alles!!! :p Kurzer erster check ergab: im Idle verbraucht die karte laut "nvtop" nur 4W. Die Strommessung am Server ergab jedoch ca. 10-15W Anstieg zu vorher. Damit bin ich aber absolut zufrieden. Die GPU hab ich nun an die ollama VM...

Jetzt hat sich dein Post wahrscheinlich mit meinem Edit überschnitten. Hast du mal meine letzten (editierten) Zeilen gelesen? Was sagst du dazu?

ok... also die GPU ist drin und wird auch vom OS erkannt. Das pci Passthrough klappt noch nicht ganz, aber ich hab ein anderes Problem, welches ich zuerst lösen muss... Nach Einbau der GPU brauchte der Server 3-5 Anläufe um zu booten. Hatte in der Zeit natürlich keinen Monitor dran. Dann fuhr...

So die 5060Ti ist angekommen und die Sammelschienen kommen heute auch. Habe mich übrigens für diese entschieden: https://www.phoenixcontact.com/de-de/produkte/verteilerklemme-ptfix-12x25-vt-3273302 Zwischenzeitlich hab ich auch nochmal nachgedacht und mich entschieden die 12V gar nicht an den...

So, der eigentliche Server Umzug ist geschehen und ich hab es mir letztlich doch einfacher gemacht aus Gründen der Downtime und leichtem Zeitmangel. Die Platten waren bereits ist 4k formatiert, also hab ich einfach alle in den neuen Server gepackt. Ich hatte vorher kurz versucht den Bootloader...

Ich denke ich werde es mal "riskieren" unabhängig deines Vorschlags :p Worst Case wäre wohl, dass ein Netzteil den Geist aufgibt. Wenn schnelle Lastwechsel auftreten sollte im schlimmsten Fall ein Spannungseinbruch die Folge sein, weil das NT nicht schnell genug hinterher kommt bzw. die Elkos...

Tatsächlich ist mir an meinem alten Server vor rund 6 Monaten mal ein Netzteil gefreckt. Das war dann schon geil, dass das Ding einfach weiter lief und ich auf ebay in Ruhe ein neues NT gekauft hab und nach 3 Tagen dann auch noch ohne Downtime einfach das NT tauschen konnte. Zudem ist der 24P...

Pinbelegung ist nicht das Problem. Das messe ich vorher aus. Und Aufgrund der maximalen Last (die nur spekuliert werden kann), werde ich sowieso keine GPU's mit mehr als einem 8P Stecker nutzen. Eigentlich liebäugelte ich gerade mit ner 5060 Ti, da sie P/L technisch recht interessant wirkt...

Bin leider noch nicht zum Umzug gekommen, aber habe zumindest schonmal die Karte mit den neuen NVME's eingebaut. Auf der Sucher nach einer geeigneten Grafikkarte, kam dann leichte Ernüchterung in mir auf. Nichts Themenrelevantes, aber vielleicht interessant zu lesen: Ich habe eine wichtige...

Was heißt "mit dessen Hilfe"? Eine Art Import-Funktion oder quasi abschreiben? Mach ich ja, drum frag ich viel und handle erst dann ;) Hmm.. joa stimmt eigentlich. Die Netzwerkbrücken klickt man schnell wieder zusammen. Die Config-Dateien von PVE kann ich ja trotzdem mal abspeichern. Und ich...

Backups mach ich ja eh schon täglich und die werden auf eine USB-HDD geschrieben. Die müssten doch reichen und ich stell einfach die Backups im neuen System wieder her und weise denen beim restore direkt das neue NVMe-ZFS zu, richtig? Aber wie mach ich ein Backup von Proxmox VE selbst? Einfach...

Für die Nachwelt oder andere Interessierte: Der Fujitsu Primergy TX2550 M4 bzw. das Mainboard D3386-A12 unterstützt tatsächlich nur auf den x16 Ports Bifurcation. Allerdings auf allen 3 Ports. Wenn also eine 2. CPU installiert ist, können insgesamt auch alle 3 Ports verwendet werden, sonst nur...

Mit meinen Intel Platten bin ich derzeit ja auch mehr als zufrieden. Die Dinger habe ich auch gebraucht gekauft und sie laufen nun schon 4-5 Jahre bei mir im Dauerbetrieb. Klar, die Laufzeit ist schon langsam aber sicher ein Grund zum Austausch... Ich habe mir nun zwei PM983 besorgt...

Nochmal eine Frage zu den NVMe... Wären hier auch Samsung PM983 eine Alternative zu den doch sehr teuren Micron? Immerhin auch Cache und PLP an Board sowie eine solide TBW. Die würde ich dann im ZFS für die VM's nutzen wollen