在 JetPack 4.6 上运行 Vulkan 后端的 llama.cpp

上文

由于 llama.cpp 加了太多新屎山, 我是懒得给 jetson 做 cuda 后端修改了(

我寻思 jetpack 4.6 对应的 l4t r32.7 支持 vulkan 1.2, 正好够到最低标准, 所以编译个 vulkan 后端的试试

参考同样使用 vulkan 后端的在安卓手机上运行 llama.cpp, 唯一区别是需要从源码编译 glslc:

# bash
git clone --depth=1 -b v2025.5 https://github.com/google/shaderc.git
cd shaderc && ./utils/git-sync-deps

cmake -B build -DCMAKE_BUILD_TYPE=Release -DSHADERC_SKIP_TESTS=ON
cd build/glslc && make -j$(nproc)

对比:

下载编译好的文件:

• llama.cpp-b7936-vulkan-jp46.tar.xz
• glslc