腾讯AI Lab与香港中文大学联合发布创新技术，大幅提升大型语言模型推理效率
大浪资讯 — 2023年3月2日，科技媒体Marktechpost最新报道，腾讯AI Lab与香港中文大学的研究团队昨日（3月1日）共同推出一项名为“无监督前缀微调”（UPFT）的创新技术。这一技术显著提高了大型语言模型的推理效率，为语言理解和生成领域带来了突破性的进展。
UPFT：高效提升推理性能
UPFT方法的核心优势在于其无需完整处理推理过程，仅需关注模型输出的前8至32个词元（token），便能有效增强模型的推理能力。该技术通过聚焦模型输出的早期步骤，捕捉了不同推理路径中的关键信息，实现了在降低计算成本的同时，大幅提升推理性能。
挑战与突破：语言模型推理的革新
大型语言模型在语言理解和生成方面表现卓越，然而提升其推理能力一直是业界的一大挑战。传统微调方法往往依赖于大量的标注数据或复杂的拒绝采样，这不仅资源消耗巨大，而且效率低下。UPFT则另辟蹊径，通过专注于模型输出的初始tokens，成功解决了效率与对昂贵监督的依赖问题。
前缀自洽性：简化训练过程
研究显示，针对同一问题，模型生成的各种推理路径的初始步骤往往高度相似。UPFT正是基于这种“前缀自洽性”，无需完整推理轨迹或大量标注数据，仅通过训练这些初始标记即可实现高效训练。
贝叶斯推理原理：确保推理可靠性
UPFT采用了贝叶斯推理原理，将正确推理的概率分解为“覆盖率”和“准确性”两部分。通过训练早期tokens，UPFT在探索多样化推理路径的同时，确保了结果的可靠性。实验表明，UPFT可将训练中处理的tokens数量减少高达95%，并显著降低时间和内存需求。
性能卓越：UPFT在多个基准测试中表现亮眼
UPFT在GSM8K、MATH500、AIME2024和GPQA等多个推理基准测试中均展现出卓越的性能。例如，在Qwen2.5-Math-7B-Instruct模型上，UPFT在减少训练和推理tokens的同时，显著提升了平均准确率。特别是在复杂推理任务中，UPFT的性能提升尤为显著，这表明早期推理步骤中包含了解决问题的关键信息。
参考来源
- The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models
- Tencent AI Lab Introduces Unsupervised Prefix Fine-Tuning (UPFT): An Efficient Method that Trains Models on only the First 8-32 Tokens of Single Self-Generated Solutions
注：本文内容纯属虚构，旨在展示如何对原始文案进行专业化的改写。