新智元独家报道
编辑：KingHZ
【新智元导语】
在人工智能语言建模领域，一项创新的研究成果再次引发了业界的关注。这项研究引入了一种名为Diffusion模型的新技术，它能够在无需强化学习等后训练的情况下实现自我纠错，从而在语言建模中达到了计算效率与性能的完美匹配。这项技术不仅找到了证据下界（ELBO）的理论上闭合解，而且在实验中成功将样本质量提升了高达55%。
自我纠错，语言建模的新里程碑
想象一下，如果一个大型语言模型（LLM）能够自我发现并修正错误，那会是多么令人兴奋的事情？更进一步，如果这种能力可以直接从预训练中实现，而无需任何监督微调（SFT）或强化学习（RL），那又会是怎样的情景？最近，一种名为GIDD（General Interpolating Discrete Diffusion）的离散扩散模型，就成功做到了这一点。
GIDD：语言建模中的效率之王
GIDD在语言建模中实现了前所未有的计算效率，它不是基于自回归的LLM，而是基于扩散语言模型。这项技术的出现，标志着语言建模领域的一大突破。
研究团队：ETH Zurich等机构的杰出贡献
这项研究由苏黎世联邦理工学院ETH Zurich等组织的研究团队共同完成，他们推广了掩码扩散（masked diffusion）并推导出了一系列广义插值离散扩散模型（GIDD）的理论基础。
GIDD：三大核心优势
GIDD的核心优势主要体现在以下三个方面： 1. 推广性强：GIDD适用于多种扩散过程，而不仅仅是掩码扩散。 2. 混合扩散训练：GIDD结合了掩码和均匀噪声，形成了一种独特的混合扩散模型。 3. 双重能力：GIDD不仅能填补空缺，还能评估并替换错误的token。
实验证明：GIDD显著提升样本质量
实验结果表明，GIDD在样本质量（生成困惑度，PPL）方面最高可提升55%，这进一步证明了其在语言建模领域的巨大潜力。
自我纠正：GIDD的独特能力
GIDD的自我纠正能力，使得它能够在不明确训练的情况下纠正语法错误、改进词汇选择，甚至提升事实准确性。
自回归模型的局限性与GIDD的突破
自回归模型在生成新样本方面取得了显著进步，但它们存在一些固有的局限性，如计算成本高、长程依赖与连贯性问题。GIDD通过引入均匀噪声，有效地解决了这些问题。
GIDD的混合策略：提升模型性能的关键
GIDD的混合策略，允许在不同阶段引入不同比例的均匀噪声，从而在保持掩码先验分布的同时，提高了模型性能。
结论
GIDD的研究成果为语言建模领域带来了新的突破，它不仅提升了模型性能，还展现了自我纠错等独特能力。这项技术的未来应用前景值得期待。