华为发布全新DeepSeek系列模型,引领AI技术风潮-大浪资讯

admin72025-02-05 17:48:35

华为发布全新DeepSeek系列模型,引领AI技术风潮

深度探索未来:华为全新DeepSeek系列模型震撼发布!

   2月5日,华为发布消息称,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2和Janus-Pro现已在昇腾社区上线,用户可以一键获取DeepSeek系列模型,并在昇腾硬件平台上实现即插即用。

华为发布全新DeepSeek系列模型,引领AI技术风潮

   据了解,DeepSeek-V3的第一个版本将于2024年发布并同时开源,这是一个自主研发的MoE模型,拥有671B参数,激活部分为37B,并在14.8T tokens的数据上完成了预训练。

华为发布全新DeepSeek系列模型,引领AI技术风潮

   据DeepSeek介绍,DeepSeek-V3多项评测成绩超越了Qwen2.5-72B和Llama-3.1-405B 等其他开源模型,并在性能上和世界顶尖的闭源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。

华为发布全新DeepSeek系列模型,引领AI技术风潮

   以下是Deepseek-V3为例,展示在昇腾社区如何快速获取模型及应用。

华为发布全新DeepSeek系列模型,引领AI技术风潮

   一、硬件要求

华为发布全新DeepSeek系列模型,引领AI技术风潮

   部署DeepSeek-V3模型需配置4台Atlas 800I A2(8*64G)服务器资源

华为发布全新DeepSeek系列模型,引领AI技术风潮

   二、模型调用实践

   1、权重转换

   GPU:

   NPU:

   2、加载镜像

   在昇腾社区/开发资源下载适配DeepSeek-V3的镜像包:

   mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

   完成之后,通过执行 `docker images` 命令,可以轻松地确认和查找具体的镜像名称及其对应的标签。这种方法不仅简便快捷,而且能够帮助用户有效地管理和组织他们的Docker环境。在日常的开发和运维工作中,这种能力显得尤为重要,它能够确保团队成员之间的协作更加顺畅,避免了由于镜像版本不一致导致的问题。此外,熟悉这些基本的Docker命令对于任何想要深入理解和掌握容器技术的人来说都是不可或缺的第一步。

   3、容器启动

   提供的MindIE镜像已内置DeepSeek-V3模型的推理脚本。请从可信赖的来源下载权重文件,并将其放置于模型代码的主目录内。随后,请将模型文件夹的所有权更改为1001,并设置执行权限为750。最后,启动容器以运行环境。

   4、服务化测试

   配置服务化环境变量,启用内存池扩展段功能,即虚拟内存特性。

   修改服务化参数

   拉起服务化

   出现“Daemon start success!”,则认为服务成功启动。