奔腾2 CPU+128MB内存：Llama大模型惊艳亮相，速度超乎想象！
【震撼登场：Llama大模型横空出世，性能惊艳动人！】
数界探索
12月30日消息，据媒体报道，EXOLabs近日发布了一段视频，展示了在一台拥有26年历史的Windows 98奔腾2 PC上运行大型语言模型（LLM）的情况。
这台主频为350MHz的电脑成功启动并进入了Windows 98系统。随后，EXO启动了一个基于Andrej Karpathy的Llama2.c定制的纯C推理引擎，并要求大型语言模型（LLM）生成关于“SleepyJoe”的故事。令人惊讶的是，尽管硬件配置相对较低，但生成速度却相当快。 这样的技术成就在今天看来似乎有些不可思议，但在2024年的今天，我们见证了技术的迅猛发展，以及人工智能在各种硬件平台上的广泛应用。即使是较旧的硬件，通过优化算法和代码，也能够展现出惊人的性能。这不仅展示了技术进步带来的可能性，也提醒我们在追求高性能的同时，不应忽视对现有资源的充分利用和优化。
EXO Labs的这一壮举并非偶然，该组织自称为“民主化AI”而生，由牛津大学的研究人员和工程师组成，他们认为，少数大型企业控制AI对文化、真理和社会的其他基本方面是不利的。
因此，EXO集团希望建立开放的基础设施，训练前沿模型，并使任何人在任何地方都能运行它们。最近在Windows 98系统上进行的一次AI演示，展示了即便是在资源极其有限的情况下，也能完成许多令人惊讶的任务。 这次演示不仅证明了技术进步可以跨越硬件限制，还强调了软件优化的重要性。它提醒我们，即使是多年前的操作系统，通过创新的技术手段，依然能够支持复杂的AI应用。这无疑为未来在更广泛的计算环境中部署AI技术提供了新的视角。在2024年12月的今天，这样的成就显得尤为珍贵，它激励着科技界继续探索和突破现有技术的边界。
EXOLabs在文章中详述了在Windows 98系统上运行Llama的过程。他们购入了一台旧的Windows 98电脑作为项目的基础平台，但在操作过程中遇到了诸多挑战。
将数据传输到老设备上就是一个不小的挑战，他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98确实是一项艰巨的任务。最近，EXO发现了一段名为“llama2.c”的代码，由Andrej Karpathy编写，这段代码仅700行纯C语言代码便能够运行Llama2架构模型的推理。Karpathy曾是特斯拉的AI主管，同时也是OpenAI的创始团队成员之一。 这一发现无疑令人振奋。尽管Llama2模型本身是基于现代硬件和软件环境设计的，但Karpathy的代码展示了如何通过简洁而高效的编程技巧，将复杂的深度学习模型压缩到基本的C语言环境中。这不仅为学术研究提供了新的可能性，也为那些无法升级其计算平台的开发者带来了希望。同时，这也提醒我们，在追求技术进步的同时，不应忘记兼容性和可访问性的重要性。
通过使用旧版的Borland C 5.02 IDE和编译器，并进行一些轻微的调整，代码可以被制作成兼容Windows 98的可执行文件并在该系统上运行。在GitHub上可以找到已完成代码的链接。这种做法不仅展现了技术的传承与创新，还提醒我们即使在快速发展的科技领域，了解和掌握旧有的工具和技术仍然具有重要意义。这不仅是对过去的一种致敬，也是对未来的一种准备，因为在某些情况下，这些“古老”的技术可能仍然是解决问题的最佳途径。
使用260KLLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度。根据EXO的博客，升级到15MLLM后，生成速度略高于1 tok/s，而Llama 3.21B的速度则慢得多，为0.0093 tok/s。