树莓派 Zero不甘平庸：8 年老设备成功运行大型语言模型
树莓派 Zero：8 年老设备挑战极限，成功运行大型语言模型
2月18日消息，近年来，个人电脑或系统上运行大型语言模型（LLM）的趋势越来越显著，越来越多的用户选择在自己的设备上部署这些模型。
注意到，越南开发者BinhPham近期完成了一个引人注目的技术革新实验。他利用树莓派Zero（Raspberry Pi Zero），将其改造成了一个便携式USB驱动器，从而实现了在本地环境中运行大型语言模型（LLM）的功能，且无需依赖其他硬件设施。这一成就归功于llama.cpp和llamafile的巧妙结合，这些工具通过提供一套指令集和一系列轻量级软件包，共同打造了一种离线环境下运行的轻量级聊天机器人的可能性。 这个项目的成功不仅展示了树莓派Zero作为计算平台的强大潜力，还证明了即使在资源受限的情况下，也能实现较为复杂的AI应用。对于那些需要在没有网络连接或无法负担云服务成本的环境中工作的开发人员来说，这样的解决方案无疑是一个福音。它不仅降低了使用AI技术的门槛，也拓宽了其应用场景。此外，这也提醒我们，开源社区的力量是无穷的，通过协作与共享，我们可以推动技术的边界不断向前迈进。
然而，由于树莓派 Zero 已经问世八年，其硬件性能有限，因此将 llama.cpp 移植到该设备并非易事。首先，Pham 将设备连接到 USB 接口，并为其 3D 打印了一个外壳。
在解决了硬件问题之后，项目由于树莓派Zero W仅512MB的内存限制而变得更加复杂。Pham在尝试将llama.cpp编译到该设备时遭遇了失败，之前也从未有人尝试过在树莓派Zero或One上编译此软件。
树莓派Zero的CPU使用的是ARMv6架构，这无疑给开发带来了不少挑战。为了解决这个问题，Pham不得不对llama.cpp中的ARMv8指令集进行转换，并且去除了所有针对现代硬件的优化或注释。这种做法虽然解决了兼容性的问题，但也意味着性能可能无法达到最佳状态。尽管如此，Pham的努力无疑为那些受限于旧硬件的用户提供了宝贵的解决方案，这也再次证明了在技术领域面对限制时创新与适应能力的重要性。
在成功调整了llama.cpp源代码之后，Pham开始专注于提升软件的性能和用户体验。他开发了一种基于文本文件输入的大型语言模型（LLM）实现方式，这些文本文件充当主要的提示，而LLM则依据这些提示生成故事，并最终以完整的故事文件形式输出。 这样的创新不仅展示了技术上的进步，也体现了开发者对用户需求的深刻理解。通过简化输入方式，Pham使得更多非技术背景的用户也能轻松使用这一工具。这无疑将推动文本生成技术在更广泛的领域内得到应用，如教育、娱乐等。此外，这也预示着未来软件开发的一个重要趋势：更加注重用户体验和界面友好性，以促进技术的普及和应用。
Pham进行了一系列基准测试，以评估不同规模模型的性能。他设定了64个token的限制，测试对象涵盖了从15M到136M参数量不等的模型。结果显示，Tiny15M模型在处理每个token时仅需223毫秒，相比之下，Lamini-T5-Flan-77M模型需要2.5秒，而SmolLM2-136M模型则需要2.2秒。这表明，尽管参数量增加，模型的处理速度并未显著提升，反而有所下降。这一发现提醒我们，在追求更大模型的同时，还需要关注其效率问题。未来的研究或许应更加注重如何在提高模型容量的同时保持或提高处理速度。
这些token处理速度显示，该设备在很多实际应用场景中可能会显得不够高效。虽然这个项目颇具创新性，但在实际应用中，利用陈旧的轻量级硬件来运行本地LLM似乎并不十分实用。相比之下，采用更为复杂的模型，比如在树莓派5上运行Deepseek，可能是一个更优的选择。 在我看来，尽管创新技术总是值得鼓励，但在推广和应用时必须考虑其实用性和效率。使用更为先进的硬件可以显著提升性能，从而更好地满足用户需求。此外，这也为未来的技术发展提供了更多的可能性。