LXC ROCM AMD GPU passthrough

SyntaxError

Active Member
Nov 6, 2018
43
2
28
28
Germany
Hallo, ich habe einen usecase bei dem ich auf einem lxc pytorch ausführen möchte um ein neuronales Netz zu trainieren. Dafür würde ich gerne 1-2 AMD Grafikkarten in den lxc container durchreichen wollen um auf diesem rocm zu nutzen.

Hat jemand den gleichen usecase bzw. schon mal für rocm eine AMD GPU in ein LXC Container erfolgreich durchgereicht? Kann mir da jemand weiterhelfen?
 
Last edited:
Ich versuche Ollama mit ROCm in einem LXC zum Laufen zu bekommen. Leider macht er ab hier nicht mehr weiter...
Ist eine iGPU 5800U

Code:
llm_load_print_meta: rope_finetuned   = unknown
llm_load_print_meta: model type       = 7B
llm_load_print_meta: model ftype      = Q4_0
llm_load_print_meta: model params     = 6.74 B
llm_load_print_meta: model size       = 3.56 GiB (4.54 BPW)
llm_load_print_meta: general.name     = LLaMA v2
llm_load_print_meta: BOS token        = 1 '<s>'
llm_load_print_meta: EOS token        = 2 '</s>'
llm_load_print_meta: UNK token        = 0 '<unk>'
llm_load_print_meta: LF token         = 13 '<0x0A>'
llm_load_tensors: ggml ctx size =    0.22 MiB
llm_load_tensors: offloading 32 repeating layers to GPU
llm_load_tensors: offloading non-repeating layers to GPU
llm_load_tensors: offloaded 33/33 layers to GPU
llm_load_tensors:      ROCm0 buffer size =  3577.56 MiB
llm_load_tensors:        CPU buffer size =    70.31 MiB
 

About

The Proxmox community has been around for many years and offers help and support for Proxmox VE, Proxmox Backup Server, and Proxmox Mail Gateway.
We think our community is one of the best thanks to people like you!

Get your subscription!

The Proxmox team works very hard to make sure you are running the best software and getting stable updates and security enhancements, as well as quick enterprise support. Tens of thousands of happy customers have a Proxmox subscription. Get yours easily in our online shop.

Buy now!