8月6日，摩尔线程宣布其MUSA架构成功适配llama.cpp，进一步融入全球AI生态圈。llama.cpp是一个纯C/C++实现的项目，旨在简化大语言模型推理，并在多种硬件环境下提供高性能支持。该工具大幅降低了大语言模型推理门槛，支持包括LLaMA、Mistral、Qwen等主流模型及多模态模型。摩尔线程的MTT S80/S3000/S4000 GPU用户可通过官方容器镜像使用llama.cpp。此外，今年4月MUSA SDK升级至4.0.1版本，扩展了对Intel处理器+Ubuntu系统及海光处理器+麒麟系统的支持。

IT之家报道，越南开发者Binh Pham利用树莓派Zero（Raspberry Pi Zero）实现了本地运行大语言模型（LLM）。通过改造，该设备被改造成一个小型USB驱动器，运行llama.cpp和llamafile，提供离线轻量级聊天体验。然而，树莓派Zero的硬件限制（如ARMv6架构和512MB内存）使得移植过程充满挑战。Pham需对llama.cpp进行大量修改并移除现代硬件优化。最终测试显示，处理速度较慢，Tiny15M模型每token耗时223毫秒，Lamini-T5-Flan-77M模型为2.5秒。尽管创新，但在实际应用中可能不具备实用价值。