打造你自己的DeepSeek:一步步教你如何在本地部署这款炙手可热的搜索引擎!
深度探索,轻松部署:打造属于你自己的搜索引擎!
在今年年初,AI领域掀起了一场巨浪,国内团队开发的DeepSeek-R1大语言模型突然亮相,并且一推出就选择了开源。其表现水平甚至可以与一些不开源的顶级模型相匹敌,比如OpenAI的产品。尽管如此,其研发成本却相对较低。相比国外高昂的研发预算,DeepSeek-R1利用较少的计算资源便达到了如此高的水平,并且是免费提供给全球使用。
若要正常利用DeepSeek,大家只需访问其官方网站即可直接使用。然而,由于DeepSeek在全球范围内广受欢迎,服务器承受着24小时的高负荷运转,因此无论何时都可能遇到服务器繁忙而无法正常使用的情况。此时,进行本地部署就显得尤为重要了。
本地部署除了网络限制外,还因为用户有在本地安装私人助手的需求,或是出于对信息安全的考虑。此外,在一些没有网络连接的设备上部署也有其实际需求。官方原生的671B模型需要高达320G以上的显存,这对于大多数人来说都是难以企及的。然而,为了让更多的人能够使用这一模型,官方推出了蒸馏版本,通过量化技术将模型压缩,从而提供了不同需求的版本。 这种做法无疑大大降低了用户使用的门槛,使得更多人有机会接触到先进的AI技术。同时,这也体现了官方在平衡性能与资源消耗方面的努力。对于那些对数据安全和隐私保护有较高要求的用户来说,本地部署无疑是一个理想的选择。这样既满足了他们对高性能计算的需求,也保证了敏感信息的安全性。
本次就先介绍如何在PC端安装DeepSeek-R1,在本地安装前,先选择适合自己的模型大小,显存1GB以上的,先择1.5B大小的DeepSeek-R1模型,显存4GB以上的,选择7B或8B大小的DeepSeek-R1模型,显存8G以上则是14B,显存达到18GB则是32B模型,目前消费级显卡最高的5090D,也只不过能使用32B大小的模型,不过显存达不到需求也可以试试,只不过响应速度会慢很多。
例如,如果你使用的是RTX 5080金属大师OC显卡,其显存大小为16GB,那么你可以考虑选择14GB大小的量化DeepSeek-R1模型。为了开始使用这一模型,我们需要先安装Ollama框架。可以访问Ollama的官方网站,点击下载适用于Windows的客户端(操作系统需为Windows 10或以上版本)。通过这种方式,我们可以充分利用硬件资源来加速深度学习任务的处理速度,这不仅提高了效率,也使得更多的用户能够轻松地进行复杂的计算任务,进一步推动了人工智能技术的普及和发展。
安装完ollama框架后,用win键+R键呼出运行,输入cmd打开命令行窗口,输入ollama,出现命令菜单就是安装成功了。
然后返回到ollama官网,点击顶部的搜索框输入deepseek-r1进行搜索,在左侧的选择框中挑选所需的模型大小,随后点击右侧的复制按钮。
接下来回到命令行窗口,粘贴负责的代码(单击右键也可以粘贴),回车运行等待下载即可。此时下载卡顿的话,可以关掉命令行窗口再重新粘贴代码,回继续满速进行下载。下载完想验证下,可以在命令行窗口输入ollama list查看模型。
如果下载完成后想要使用,可以在命令行窗口中输入`ollama run dreamseek-e1:14b`然后按回车键启动程序。不过,对于追求更多功能和更佳用户体验的人来说,使用WebUI界面会更为理想。例如,在Chrome浏览器中安装PageAssist插件,便能更便捷地操作和应用该模型。 在我看来,尽管通过命令行窗口可以直接运行软件,但采用图形用户界面无疑为用户提供了更加直观的操作体验。尤其对于不熟悉命令行操作的新手用户而言,WebUI界面不仅降低了上手难度,还大大提升了整体使用的舒适度和效率。这体现了现代软件设计中对用户体验的高度重视,使得技术工具能够更好地服务于大众。
以上是本地部署DeepSeek-R1的一种方法,感兴趣的朋友们可以尝试一下。如果你希望获得较好的AI体验,一块大显存的显卡是必需的。最新的影驰RTX5080金属大师OC是一个不错的选择,它配备了16GB的大显存,能够很好地助力你进行AI体验。RTX50系列显卡对AI的支持更为出色,TensorCore更能加速AI处理,让你在AI探索的道路上更加顺畅。