深度探秘：中国工程院院士郑纬民解密DeepSeek的独特之处
揭秘DeepSeek：中国工程院院士郑纬民带你探索未被揭示的深度世界
1月27日，DeepSeek应用近日成功登顶苹果美国地区应用商店免费App下载排行榜，甚至在下载量上超过了热门应用ChatGPT。同日，该应用在中国区也表现亮眼，成功跃居为苹果中国区应用商店免费榜的第一名。 这一现象级的表现无疑证明了DeepSeek在市场上的受欢迎程度及其产品的吸引力。DeepSeek能够迅速获得如此高的关注度，不仅反映了用户对新科技产品的好奇心，同时也展示了其在技术和服务方面的强大竞争力。这种成功也为其他初创企业树立了一个良好的榜样，鼓励他们在创新和技术研发上不断努力，以满足日益增长的市场需求。
DeepSeek 究竟厉害在哪里？
今日，中国工程院院士、清华大学计算机系教授郑纬民及多位人工智能领域的专家在接受新浪科技采访时，解析了DeepSeek脱颖而出的主要原因。
目前，业界对于 DeepSeek 的喜爱与赞美，主要集中在三个方面。
第一，在技术层面，DeepSeek最新发布的DeepSeek-V3及DeepSeek-R1两款模型，均展现出了与OpenAI的4o和o1模型相当的实力。 这两款模型的推出标志着DeepSeek在人工智能领域的技术进步显著，不仅展示了其强大的研发能力，还意味着它有可能在未来的市场竞争中占据一席之地。这些模型的性能表现，无疑为DeepSeek及其用户带来了更多信心，同时也预示着自然语言处理技术正在不断向前迈进。
第二，DeepSeek研发的这两款模型成本更低，仅为OpenAI 40和O1模型的十分之一左右。这种显著的成本优势无疑为人工智能行业带来了新的活力，预示着未来可能有更多的企业和研究机构能够负担得起先进的语言处理技术，从而推动整个行业的快速发展。低成本并不意味着低质量，这反而证明了DeepSeek在技术创新方面的实力，有望在未来与更多国际巨头在同一起跑线上竞争。
第三，DeepSeek已将这两大规模模型的技术全面开源，使得更多AI团队能够利用最先进的且成本最低的模型，开发出更多的AI原生应用。
那么，DeepSeek 是如何实现模型成本的降低的呢？
郑纬民指出，“DeepSeek 自研的 MLA 架构和 DeepSeek MOE 架构，为其自身的模型训练成本下降，起到了关键作用。”他指出，“MLA 主要通过改造注意力算子压缩了 KV Cache 大小，实现了在同样容量下可以存储更多的 KV Cache，该架构和 DeepSeek-V3 模型中 FFN 层的改造相配合，实现了一个非常大的稀疏 MoE 层，这成为 DeepSeek 训练成本低最关键的原因。”
KVCache作为一种优化技术，广泛应用于存储人工智能模型在运行时生成的token键值对，从而提升计算效率。在模型运算过程中，KVCache扮演了一个内存库的角色，用来存储模型先前处理过的token键值。这不仅帮助模型在后续运算中快速访问这些信息，还通过计算注意力分数有效地控制了输入和输出的token。这种“以存换算”的方式避免了大多数大型模型每次都需要从头开始计算的问题，显著提高了算力使用效率。 在我看来，KVCache的引入对于解决大规模模型训练中的重复计算问题具有重要意义。它不仅减少了计算资源的浪费，还大大缩短了模型训练的时间。随着AI技术的发展，未来可能会有更多类似的优化策略来进一步提升模型训练和推理的效率。
此外，据郑纬民透露，DeepSeek 还解决了“非常大同时非常稀疏的 MoE 模型”使用的性能难题，而这也成了“DeepSeek 训练成本低最关键的原因”。
目前，通过MoE混合专家模型增强AI大模型的专业认知能力已成为业界公认的高效方法。通常情况下，一个大模型包含的专家模型数量越多，模型就会变得越稀疏，运行效率也会更高。然而，专家模型数量的增加可能会导致最终结果的准确性有所下降。
据报道，DeepSeek在训练MoE（Mixture of Experts）模型方面取得了显著成就，成为首个成功训练如此大规模MoE模型的公司。为了确保大规模MoE专家模型的均衡运行，DeepSeek采用了先进的专家加载均衡技术，无需使用辅助损失函数。这一技术能够在每个token下，仅激活少量专家网络参数的同时，使不同专家网络以更均衡的频率被激活，从而避免专家网络激活过于集中。 这种技术的应用不仅展示了DeepSeek在深度学习领域的创新能力，也为其在自然语言处理等领域的应用提供了强有力的支持。这标志着企业在构建高效、平衡的大型模型方面迈出了重要一步，未来有望推动相关技术的发展和应用。
此外，DeepSeek还广泛运用了专家网络的稀疏激活设计，控制了每个token传输到GPU集群节点的数量，从而确保了GPU之间的通信开销维持在较低水平。
原标题：《对话中国工程院院士：DeepSeek，究竟厉害在哪里？》