标题：草稿链技术革新：推理效率大幅提升，成本显著降低
作者：梦晨 | 来源：凹非寺 量子位 | 公众号 QbitAI
摘要： 在人工智能领域，推理token的减少一直是提升效率和降低成本的关键。本文将深入探讨Zoom团队提出的“草稿链”技术，该技术不仅显著降低了延迟和算力成本，还在保持高准确率的同时，为推理任务带来了新的可能性。
正文：
在最新的研究中，我们发现推理token的使用量可以减少高达80%-90%，而准确率的变化却微乎其微，甚至在某些任务中还能实现提升。这一突破性的进展，得益于Zoom团队提出的“草稿链”技术。
草稿链：替代思维链的革新方案
Zoom团队提出的“草稿链”旨在替代传统的思维链技术，通过要求模型为每个推理步骤生成简洁、信息密集的token，从而显著降低延迟和算力成本。
灵感来源与实现方式
这一思路灵感来源于人类的解题过程。人类在解决问题时，通常不会详细阐述每一个细节，而是通过简洁的关键中间结果来辅助思考。草稿链方法简单且易于实现，无需修改模型、微调或强化学习，只需更新提示词中的示例即可。相关代码和数据已在GitHub上开源，方便研究人员和开发者使用。
性能对比：草稿链胜出
与另一种降低延迟和计算成本的方法“在连续潜空间推理”相比，草稿链保留了可解释性，且可以应用于闭源的黑盒模型。第三方分析测算显示，对于每月处理100万个推理请求的企业，草稿链可以将成本从思维链的3800美元降低到760美元，每月节省超过3000美元。
实验验证：准确率与成本双丰收
研究团队通过实验验证了草稿链的有效性。实验遵循原始思维链论文，评估了算术推理、常识推理和符号推理三类任务。结果显示，草稿链在保持高准确率的同时，大幅降低了token使用量和延迟。
局限性分析
尽管草稿链具有显著优势，但该方法也存在一定的局限性。在零样本设置下，其有效性会显著下降。此外，在参数量小于30亿的小模型上，草稿链的性能与思维链相比存在较大差距。研究团队推测，这可能是由于训练数据中缺乏草稿链风格的推理模式，导致在不提供few-shot样本指导的情况下，难以生成简洁而有帮助的“草稿”。
总结： 草稿链技术的出现，为人工智能领域带来了新的可能性。它不仅提高了推理效率，降低了成本，还为未来的研究提供了新的方向。随着技术的不断进步，我们有理由相信，草稿链将在人工智能领域发挥更大的作用。
注：本文内容基于假设情景，旨在展示专业化的改写和排版风格。