使用 Jetson TX1 低成本部署 LLM

买了块 Jetson TX1 开发板, 打算用来挂 LLM 做聊天机器人

先对比一下价格, 树莓派 5 的 2/5

刷好 JetPack 4.6.1 后编译 llama.cpp, 我已将修改后的代码和编译好的 llama-server 上传至 GitHub:

• https://github.com/Z841973620/llama.cpp-tegra.git
• llama-server

使用 llama-bench 对树莓派 5, Jetson Nano 和 Jetson TX1 进行测试, 模型使用 DeepSeek-R1-Distill-Qwen-1.5B, 结果如下图:

可以看出 Jetson Nano 成绩与树莓派 5 相当, Jetson TX1 遥遥领先