llama.cpp

17c97fb0 - CUDA: mul_mat_vec_q max. batch size 8 -> 4 (#5370)