AMD锐龙AI处理器挑战极限:DeepSeek轻松本地运行,支持高达70B参数-大浪资讯

admin82025-02-12 18:22:48

AMD锐龙AI处理器挑战极限:DeepSeek轻松本地运行,支持高达70B参数

AMD锐龙AI处理器:突破极限,DeepSeek助力数据驱动未来

   2月12日的最新消息显示,DeepSeek热度不减,众多用户纷纷加入体验行列。然而,由于服务器压力过大,经常出现无法响应的情况。因此,选择在本地进行部署成为了一个更优的选择,这样可以根据个人或团队的具体硬件配置来决定部署的规模。 这种现象反映了当前技术产品在面对大规模用户时所面临的挑战。一方面,这表明DeepSeek受到了市场的广泛欢迎,产品本身具有较高的吸引力;另一方面,也凸显了现有基础设施可能需要进一步升级以应对未来更大的需求量。对于用户而言,在本地部署无疑能够提供更加稳定和个性化的使用体验。

AMD锐龙AI处理器挑战极限:DeepSeek轻松本地运行,支持高达70B参数

   AMD是最早在x86处理器领域引入AI能力的厂商之一,锐龙7040系列率先集成了独立的NPU AI引擎。随后的锐龙8040系列、锐龙AI 300系列以及锐龙AIMAX 300系列都不断增强其AI性能。

AMD锐龙AI处理器挑战极限:DeepSeek轻松本地运行,支持高达70B参数

   AMD锐龙AI处理器配备了当前业界领先的NPU,其算力达到50TOPS(每秒50万亿次操作),无疑是运行DeepSeek的最佳选项。

AMD锐龙AI处理器挑战极限:DeepSeek轻松本地运行,支持高达70B参数

   如果你拥有一台锐龙AI笔记本,那么现在你完全可以通过LMStudio,在本地轻松部署并体验DeepSeekR1精简版推理模型。这种技术的进步使得更多用户能够以更低的成本和更高的效率享受到AI带来的便利,大大降低了使用AI技术的门槛。这不仅意味着更多的创意和可能性将在个人电脑上得以实现,也预示着AI技术正逐渐走向普及化和日常化。

AMD锐龙AI处理器挑战极限:DeepSeek轻松本地运行,支持高达70B参数

   具体操作方式如下:

   1、安装AMD Adrenalin 25.1.1或更新版显卡驱动。

   2、打开lmstudio.ai/ryzenai,并下载LM Studio 0.3.8或更新版本。

   3、安装启动LM Studio,可以直接跳过引导屏幕。

   4、点击“发现”(discover)标签页。

   5、选择适合自己的DeepSeek R1 Distill。具体如何选择见后。

   6、在软件页面右侧,勾选“Q4 K M”量化模式,然后点击“下载”。

   7、下载完成后,回到聊天设置页面,从下拉菜单中选择DeepSeekR1distill,并确认勾选“手动调整参数”选项。

   8、在“GPU卸载”(GPU offload)中,将滑块移到最大值。

   9、点击“模型加载”(model load)。

   10、好了,可以在本地体验DeepSeek R1推理模型了!

   不同参数规模的大模型,决定了其性能和体积,因此不同的硬件设备需要选择最适合自己的参数量。

   如果是顶级的锐龙AIMAX395处理器,搭配64GB、128GB内存,最高可以支持DeepSeek-R1-Distill-Llama-70B。需要注意的是,如果使用64GB内存,则应将可变显存设置为较高值。

   搭配32GB内存,可变显存自定义为24GB,则能支持到DeepSeek-R1-Distill-Qwen-32B。

   如果是锐龙AI HX 370、AI 365处理器,搭配24GB、32GB内存,可以支持DeepSeek-R1-Distill-Qwen-14B。

   如果是锐龙7040/8040系列,需要搭配32GB内存,才能支持到DeepSeek-R1-Distill-Qwen-14B。

   另外,AMD推荐将所有Distill运行在Q4 K M量化模式。

   如果你使用的是台式机,那么AMDRX7000系列显卡也已经支持本地部署DeepSeekR1。

   其中,RX7900XTX旗舰显卡最高支持DeepSeek-R1-Distill-Qwen-32B,RX7900XT、7900GRE、7800XT、7700XT、7600XT均可以支持到DeepSeek-R1-Distill-Qwen-14B,而RX7600以及新发布的RX7650GRE则适合运行DeepSeek-R1-Distill-Llama-8B。