LXC ROCM AMD GPU passthrough

[SyntaxError]

Hallo, ich habe einen usecase bei dem ich auf einem lxc pytorch ausführen möchte um ein neuronales Netz zu trainieren. Dafür würde ich gerne 1-2 AMD Grafikkarten in den lxc container durchreichen wollen um auf diesem rocm zu nutzen.

Hat jemand den gleichen usecase bzw. schon mal für rocm eine AMD GPU in ein LXC Container erfolgreich durchgereicht? Kann mir da jemand weiterhelfen?

 

[DocMAX]

Ich versuche Ollama mit ROCm in einem LXC zum Laufen zu bekommen. Leider macht er ab hier nicht mehr weiter...
Ist eine iGPU 5800U

llm_load_print_meta: rope_finetuned   = unknown
llm_load_print_meta: model type       = 7B
llm_load_print_meta: model ftype      = Q4_0
llm_load_print_meta: model params     = 6.74 B
llm_load_print_meta: model size       = 3.56 GiB (4.54 BPW)
llm_load_print_meta: general.name     = LLaMA v2
llm_load_print_meta: BOS token        = 1 '<s>'
llm_load_print_meta: EOS token        = 2 '</s>'
llm_load_print_meta: UNK token        = 0 '<unk>'
llm_load_print_meta: LF token         = 13 '<0x0A>'
llm_load_tensors: ggml ctx size =    0.22 MiB
llm_load_tensors: offloading 32 repeating layers to GPU
llm_load_tensors: offloading non-repeating layers to GPU
llm_load_tensors: offloaded 33/33 layers to GPU
llm_load_tensors:      ROCm0 buffer size =  3577.56 MiB
llm_load_tensors:        CPU buffer size =    70.31 MiB