联想AI服务器新突破:本地部署DeepSeek,小于1TB容量实现高达100并发处理,性能显著提升

admin231970-01-01 08:00:00

【技术前沿】联想创新突破,打造企业级大模型部署新标杆

(2023年3月3日,科技资讯) 联想集团近日宣布,其基于联想问天WA7780 G3服务器的技术创新成果再次惊艳业界。这是首次在单机部署中实现DeepSeek-R1/V3 671B大模型,仅以实际768GB的显存容量,便达到了低于行业公认的1TB显存标准,为100名并发用户提供流畅的使用体验,满足了千人大规模企业的应用需求,从而在行业内部树立了企业级大模型部署的新标杆。

技术创新,引领行业新方向

在业界普遍认为1TB显存是千亿参数大模型运行基准的背景下,联想的研发团队通过专家并行优化、智能访存架构升级以及PCIe 5.0全互联架构的创新,显著提升了显存利用率,实现了性能的飞跃。

性能卓越,测试数据令人信服

联想的实测数据显示,在512 token的标准测试环境下,该系统可支持100个并发用户持续获得每秒10 token的稳定输出,首token响应时间更是压缩至30秒以内。即便在处理4K长序列的复杂场景中,也能保持25个并发用户的同等性能表现。

高效优化,突破显存限制

特别值得一提的是,这台服务器仅配备了8张96GB显存的GPU卡。而DeepSeek-R1大模型的模型参数需要占用约700GB显存,这意味着在未进行优化的情况下,仅能支持2至3个用户接入。然而,通过联想在万全异构智算平台上的精心优化,成功突破了这一限制。

未来展望,持续优化与突破

联想基础设施业务群与联想研究院先进计算实验室将继续携手合作,依托联想万全异构智算平台,对DeepSeek平台从AI预训练、后训练到推理的全流程进行持续优化。未来,他们将致力于为客户提供性能更优、性价比更高的产品和解决方案,加速DeepSeek大模型的落地应用。

结语

此次联想的突破性进展,不仅为企业提供了科学选型指南,也为整个行业带来了新的启示。随着技术的不断进步,我们有理由相信,未来将有更多创新成果涌现,推动人工智能技术的发展和应用。

(本文来源:网易科技报道,更多资讯和深度内容,敬请关注我们。


排版说明: - 文章标题加粗,并置于文章开头,以突出重点。 - 段落之间留有适当的空白,增强阅读体验。 - 链接文本保持原文,以保留原文信息。 - 结尾添加版权声明和关注提示,引导读者互动。