中国大型公司推出全新架构：突破Context无限长难题，引领Agent时代
突破传统，开创智能化商业新纪元
日月开新元，万象启新篇。
1月15日，MiniMax近日发布了新一代01系列模型，包括基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。这一系列模型采用了多项创新技术，通过大规模应用线性注意力机制，打破了Transformer传统架构中的记忆瓶颈。在综合性能方面，这些模型已经能够与GPT-4o、Claude-3.5等国际领先模型相媲美。更重要的是，MiniMax的新一代模型能够高效处理高达400万token的输入，这使得其可输入长度达到了GPT-4o的32倍，Claude-3.5-Sonnet的20倍。 这一突破不仅展示了MiniMax在自然语言处理领域的深厚积累，也标志着中国在人工智能领域取得的重大进展。线性注意力机制的应用不仅提升了模型处理长文本的能力，也为未来的大规模语言模型提供了新的发展方向。希望随着这类技术的不断进步，我们能看到更多实用且高效的AI工具，为各行各业带来更大的价值。
目前，MiniMax-01系列开源模型现已应用于MiniMax的海螺AI产品，并在全球范围内正式发布。企业和个人开发者可以访问MiniMax开放平台来使用相关的API接口。
以架构创新实现高效超长文本输入
2017年，具有里程碑意义的论文《AttentionIsAllYouNeed》正式发布，Transformer架构应运而生，并逐渐发展成为该领域的主流技术。从2023年开始，自然语言处理领域掀起了一股创新浪潮，对新型模型架构的需求日益增长。
MiniMax-01系列模型首次将线性注意力机制应用于大规模商用模型，并使其整体性能跻身世界顶级行列。得益于这一创新设计，该系列模型在处理长输入时展现出极高的效率，接近线性复杂度。综合考虑ScalingLaw、与MoE的结合、结构设计、训练优化和推理优化等多个方面，MiniMax决定采用4560亿的模型参数量，其中每次激活459亿，能够高效处理高达400万token的上下文。这将有效替代传统的Transformer架构，并开启超长文本输入的新时代。
MiniMax-02模型发布后，在全球范围内引起了广泛讨论。国际媒体和人工智能专家对该模型进行了详细分析，对其技术创新和应用前景给予了极高评价。他们深入探讨了该模型的技术细节及其可能带来的变革。
性能比肩国际领军模型
除了采用创新架构外，MiniMax对01系列模型的训练和推理系统进行了全面升级。此次重构涵盖了更高效的MoE全对全通信优化、支持更长序列的处理，以及通过高效Kernel实现推线性注意力层。这些改进使模型性能达到了与全球顶尖闭源模型相抗衡的水平。
在业界主流的文本和多模态理解任务处理表现上，MiniMax-01系列模型大多情况下可以追平海外公认最先进的两个模型，GPT-4o-1120以及Claude-3.5-sonnet-1022。过往的模型能力评测中，Google的自研模型Gemini有着显著的长文优势。而在01系列模型参评的长文任务下，相较于Gemini等一众全球顶级模型，MiniMax-01随着输入长度变长，性能衰减最慢，效果及其出众。
多项任务评测结果显示，MiniMax-01系列模型的核心性能在全球范围内始终处于领先地位。（图源MiniMax-01系列模型技术报告） 这一结果充分展示了MiniMax-01系列模型在技术创新和实际应用中的卓越表现。在全球竞争激烈的AI领域，MiniMax-01系列能够持续保持其领先优势，不仅反映了其研发团队深厚的技术积累，也表明了该模型在复杂任务处理上的强大能力。随着人工智能技术的不断进步，MiniMax-01系列模型无疑将继续为行业树立新的标杆。
▲ MiniMax-01系列模型长上下文处理能力全球领先。（图源MiniMax-01系列模型技术报告）
加速AI Agent时代到来
2025年，随着人工智能技术的迅猛发展，AI将迎来一个至关重要的转折点。AIAgent有望在新的一年中成为最具影响力的产品形态，推动AI从传统的“工具”角色向更具有互动性和协作性的“伙伴”角色转变。在AIAgent的时代，智能体需要处理的任务将变得更加复杂，涉及的数据量也会日益庞大。这要求单个智能体具备更强的记忆能力，同时多个智能体之间也需要更好地协同工作，以确保上下文信息的连贯性和完整性。 因此，提升长上下文处理能力和多模态处理能力，将是AIAgent能否为各行各业提供更加丰富、高效和智能化解决方案的关键所在。面对这一挑战，技术开发者和研究者们需要不断创新，以满足日益增长的需求。只有这样，才能真正实现AI与人类社会的深度融合，让智能助手真正成为我们生活和工作中不可或缺的伙伴。
MiniMax在GitHub上发布了Text-01和VL-01模型的完整权重，以鼓励更多开发者进行有意义且具有突破性的研究。MiniMax认为此举有望激发更多关于长上下文的研究与应用，从而加速智能代理（Agent）时代的到来。此外，开源也有助于推动他们未来在模型开发方面进行更多的创新和更高水平的研究工作。
凭借开放、得益于开源模型在共享和协作方面的优势，AI产业的创新活力被极大激发，正在成为推动新质生产力发展的关键引擎。MiniMax凭借其在LinearAttention架构上的创新、计算能力的优化，以及训练和推理一体化设计，在行业内提供了极具性价比的服务。具体而言，MiniMax的标准定价为：输入token 1元/百万token，输出token 8元/百万token。 这一举措不仅降低了开发者的使用门槛，还显著提升了AI应用的普及率。MiniMax通过技术创新和合理定价策略，展示了其在多模态理解和文本处理领域的领先地位，有望在未来进一步促进AI技术的发展与应用。