OrangePi AI Studio成功实现Deepseek-R1模型蒸馏，开创AI技术新篇章
OrangePi AI Studio引领AI技术风向，开启模型蒸馏新时代
2025年蛇年春节，DeepSeek强势出圈，以五分之一的训练成本超越了OpenAIGPT-4的性能，重塑AI世界新秩序。DeepSeek向全世界开源，为全球的数据科学家、AI爱好者乃至中小开发者提供了一条通向尖端技术的道路。
DeepSeek是一个集成了多种先进AI技术的开发平台，致力于为用户提供高效且便捷的AI模型训练、部署和应用服务。它涵盖了自然语言处理（NLP）、计算机视觉（CV）、语音识别等众多领域，并提供了丰富的预训练模型和工具，帮助用户快速构建和优化AI应用。 从我的角度来看，DeepSeek在AI技术的整合与应用方面展现了强大的实力。该平台不仅降低了开发者入门AI项目的门槛，还大大提高了工作效率。通过提供多样化的预训练模型，DeepSeek让用户能够更加专注于创新和优化，而不是从零开始构建基础模型。这无疑将加速AI技术在各个行业的普及和应用，推动整个社会向着智能化方向发展。
DeepSeek正在激发AI应用的新一轮热潮。今天，我们将为大家介绍如何使用手头的设备来运行DeepSeek。我们选用的设备是OrangePiAIStudio。 请注意，以上信息更新至2025年02月11日。
OrangePi AI Studio：高算力人工智能算力卡
OrangePiAIStudio结合了昇腾AI技术，集成了“ARMcore，AIcore，Vectorcore，Imagecore”四大核心功能，为用户提供强大的基础计算能力和卓越的AI算力与编解码能力，完美适应训练和推理一体化的AI任务需求。该设备配备了48GB/96GB LPDDR4X内存，其运行速度高达4266Mbps。 在我看来，OrangePiAIStudio的推出标志着AI硬件领域的一个重要里程碑。它不仅在硬件配置上实现了全面升级，还通过整合多种核心功能，极大地提升了设备的整体性能。这种设计思路不仅能提高工作效率，还能降低用户的使用成本，为推动AI技术的应用和发展提供了强有力的支持。此外，如此高的内存速度意味着在处理大规模数据时能够获得更流畅的操作体验，这对于科研人员和开发者来说无疑是一个巨大的福音。
OrangePiAIStudio集成了Type-C(USB4.0)、电源接口、电源按键和LED指示灯等功能模块，适用于OCR识别、目标识别、人脸识别、搜索推荐、大模型多模态处理、内容审核、VR智能应用、数字医疗以及物联网等多种AI应用场景。
OrangePiAIStudio目前支持Ubuntu 22.04.5以及内核版本为Linux 5.15.0.126的操作系统。为了进一步扩大用户群体，该平台计划在未来支持Windows系统，以应对市场上对强大计算能力的迫切需求。此举有望降低用户在学习、开发和运营方面的成本，使更多人能够轻松地利用这一工具进行创新工作。 这样的扩展不仅展现了OrangePiAIStudio致力于满足不同用户需求的决心，也体现了技术社区对跨平台支持的重视。通过引入更广泛的软件生态系统，OrangePiAIStudio不仅能够吸引更多的开发者加入，还可以促进技术创新，加速人工智能领域的进步。这对于那些希望减少学习曲线、提高效率的用户来说无疑是一个好消息。同时，这也预示着未来可能会有更多的硬件和软件兼容性解决方案出现，进一步推动整个行业的发展。
实操指南：OrangePi AI Studio运行Deepseek
1.1.1. 硬件连接
使用USB4数据线连接OpiaiStudio和Ubuntu PC。启动Ubuntu PC，根据用户手册中的驱动安装步骤安装驱动程序。
在成功配置好OapiaStudio与PC之间的连接后，我发现了一个有趣的现象：当PC处于开机状态时，设备的左右两侧指示灯会持续亮起，而中间的指示灯则呈现闪烁状态。这不仅体现了现代科技产品的精妙设计，也展示了其在用户界面反馈上的创新。这种设计不仅能帮助用户快速判断设备的工作状态，还增强了整体的用户体验。通过这样的细节，我们可以看到制造商在追求产品功能性和美观性的同时，也在不断优化用户的交互体验。这无疑为其他科技公司树立了一个良好的榜样，促使他们在未来的设计中更加注重这些细微之处。
1.1.2. 下载docker镜像
1)首先在Ubuntu电脑中安装Docker软件，这是一个非常实用的操作系统工具，能极大地简化容器化应用的部署过程。完成Docker安装后，可以通过运行`docker -v`命令来检查版本号，如果能够看到版本信息，那就证明安装过程顺利且成功了。这不仅标志着用户已经掌握了基本的容器技术，也为后续的开发和测试工作打下了良好的基础。 这样的安装流程对于开发者来说是一个很好的起点，因为它不仅教会了如何安装和验证软件，还为未来更深入地探索Docker的功能和优势铺平了道路。通过这种方式，开发者可以更高效地构建、测试和部署应用程序，同时还能享受到容器化带来的隔离性和一致性。
2) 打开下面的链接，再点击ATB-Models下载选项：
https://www.hiascend.com/developer/download/community/result?module=ie%2Bpt%2Bcann
3) 然后点击镜像版本中的1.0.0-300I-Duo-py311-openeuler24.03-lts对应的下载选项。
4) 点击1.0.0-300I-Duo-py311-openeuler24.03-lts右侧的立即下载后会显示下面的安装步骤：
a)使用root用户执行以下命令以获得登录权限，随后输入密码进行登录。不同的账户所显示的下载地址会有所不同，请根据实际情况填写对应的地址。
b) 然后下载镜像即可。
# docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts
c) 下载好的镜像如下所示：
1.1.3. 使用docker镜像的方法
1) 在任意位置创建一个名为start-docker.sh的启动脚本，内容如下所示：
2) 然后查看下docker镜像的IMAGE ID。
3) 然后依次执行如下命令启动并进入容器：
a. 首先运行start-docker.sh脚本创建运行容器，此命令只需执行一次。74a5b9615370是我们上一步中查询到的docker镜像ID，mindIE 是我们自定义的容器名，可以自行更改，之后进入docker容器的时候需要使用这个名字。
b. 然后运行下面的命令进入容器命令行。
# docker exec -it deepseek bash
1.1.4. DeepSeek-R1-Distill-Qwen-14B
1)依次执行以下命令，下载DeepSeek-R1-Distill-Qwen-14B模型权重，并将其放置在/models目录下。如若无法下载，请参照国内模型网站下载方法一节中的说明，通过国内模型网站进行下载。
2)对于配置了32GB或更低内存的电脑，在使用过程中确实需要增加内存交换分区的大小，否则在进行模型权重转换或执行推理程序时可能会因为内存不足而导致程序意外退出。这一调整步骤必须在物理机器上完成，无法通过Docker容器来实现。 在我看来，随着人工智能应用的需求日益增长，设备硬件的性能限制变得越来越明显。尤其是在处理大型模型和复杂的计算任务时，适当的硬件优化显得尤为重要。建议用户在升级系统配置时，不仅要关注处理器和显卡等核心组件的选择，还要考虑到内存容量和交换机制的重要性，以确保系统运行的稳定性和效率。此外，对于软件开发者而言，了解并适应不同硬件环境下的性能瓶颈也是提升应用程序兼容性和用户体验的关键。
3)使用`chown`命令将 `/models/DeepSeek-R1-Distill-Qwen-14B` 目录及其所有文件的所有者和组更改为 `root` 用户和 `root` 组。在许多情况下，将敏感文件或目录的所有权设置为 `root` 是一种常见的安全措施，以确保这些资源不会被普通用户访问或修改。然而，这也意味着任何需要访问该目录或其内容的应用程序都必须运行在 `root` 权限下，这可能会增加系统安全风险。因此，在执行此类操作时，需要谨慎考虑其潜在的安全影响，并确保采取适当的保护措施来管理权限和访问控制。
# chown root:root -R /models/DeepSeek-R1-Distill-Qwen-14B
4) 推理DeepSeek-R1-Distill-Qwen-14B模型的命令如下所示：
5)经过推理成功后，在输出的结尾部分，您可以发现Question和Answer，结果如下所示： 请将上述段落修改为意思相近的原创内容，确保新闻的主要内容保持不变，其中若包含数据、日期及中文固定表达方式则需保持不变，且不得歪曲事实；同时，这并不是在回答问题，直接用中文提供修改后的内容即可。
6) 纯模型能够正常推理后，我们修改mindie server配置。
7)在部署服务器时，我们首先需要调整模型目录下 `config.json` 文件的访问权限至 640，否则将面临无法正常启动服务器服务的问题。这表明当前的系统设置对文件权限管理有着严格的要求，即使是配置文件的微小访问权限设置不当，也可能导致整个系统的运行受阻。这一现象提醒我们在进行软件或系统部署前，细致地检查和调整所有必要的配置项是多么重要。正确的权限设置不仅能够确保系统的稳定运行，还能提升安全性，防止未经授权的访问。因此，在项目初期就应重视这些细节，避免后期可能出现的麻烦。
# chmod 640 /models/DeepSeek-R1-Distill-Qwen-14B/config.json
8) 执行以下命令启动MindIE Server服务，如果最后有如下的输出，表示启动成功。
9) 接着拉取聊天机器人案例代码。
# git clone https://gitee.com/toolsmanhehe/chat_robot.git
10) 安装依赖。
11) 启动聊天机器人demo程序。启动后，会打印如下信息，复制其中的url到浏览器打开。
a)首先，程序会自动检索当前设备上MindIE中执行的模型信息，并将其显示出来。
b) 如果提示暂不支持，请核对MindIE Server中的“modelName”字段。
c)最近，一项技术更新使用户能够通过主程序所在的计算机网络访问特定的服务。首先，系统会输出两个IP地址。其中，第一个IP地址仅限于启动主程序的计算机使用，而第二个IP地址则允许在同一局域网内的其他设备进行访问。 这一调整不仅提升了系统的可访问性，同时也加强了对敏感信息的安全控制。通过限制直接访问，确保了只有在同一网络环境中的设备才能获取服务，从而在一定程度上减少了外部攻击的风险。不过，这也意味着用户需要确保所在网络的安全性，以避免潜在的安全威胁。此技术的应用为用户提供便利的同时，也促使我们更加重视网络安全和个人隐私保护的重要性。
12) 浏览器打开上面的链接后我们可以看到下面这个页面，左侧提供了一些问题，点击可以直接提问。
.1.5. DeepSeek-R1-Distill-Qwen-1.5B
13)在进行模型下载的过程中，我们可以先尝试按照常规步骤，即下载DeepSeek-R1-Distill-Qwen-14B模型权重，并将其放置于 `/models` 目录下。若遇到网络问题导致下载不成功，建议参考国内模型网站提供的方法进行下载。这样的方式不仅能确保我们能够顺利获取所需模型资源，同时也能避免因网络限制带来的不便。随着人工智能技术的不断发展，模型下载与部署变得日益重要，选择合适的下载途径对于提高工作效率至关重要。希望每位开发者都能顺利获取到所需的模型资源，为推动技术进步贡献一份力量。
14)对于配备32GB或更少内存的计算机，建议增加内存交换分区的容量，以避免在进行权重转换和运行推理程序时因内存不足而崩溃。此步骤最好在物理机上操作，因为目前它并不支持在Docker容器中完成。 我认为这一建议对用户来说非常重要，尤其是在处理大型模型和深度学习任务时。随着技术的进步，软件对硬件的要求也在不断提高。因此，合理地调整系统设置，比如增加内存交换分区，可以有效提升系统的稳定性和性能。此外，强调在物理机上执行这一步骤也说明了在某些情况下，虚拟化环境可能无法提供必要的底层硬件控制，从而影响到具体的操作效果。这提醒我们在选择开发和测试环境时，要充分考虑其对实际应用的影响。
15)使用chown命令将/models/DeepSeek-R1-Distill-Qwen-1.5B目录及其所有子文件夹和文件的所有者和组更改为root用户和root组。
# chown root:root -R /models/DeepSeek-R1-Distill-Qwen-1.5B
16) 推理DeepSeek-R1-Distill-Qwen-14B模型的命令如下所示：
17) 推理成功后，在输出的最后，可以找到Question和Answer，结果如下所示：
18) 纯模型能够正常推理后，我们修改mindie server配置。
19)我们需要先调整模型目录下的config.json文件的权限为640，否则server服务将无法启动。
# chmod 640 /models/DeepSeek-R1-Distill-Qwen-1.5B/config.json
20)运行以下命令以启动MindIEServer服务。若最终显示如下信息，则表明启动成功。
21) 接着拉取聊天机器人案例代码。
# git clone https://gitee.com/toolsmanhehe/chat_robot.git
22) 安装依赖。
23)启动聊天机器人演示程序。启动后，会显示一段包含网址的信息，请将该网址复制到浏览器中打开。
a)首先，程序会自动检索当前设备上MindIE中执行的模型信息，并将其显示出来。
b) 如果提示暂不支持，请核对MindIE Server中的“modelName”字段。
c)最近，一项技术更新使用户能够通过主程序所在的计算机网络访问特定的服务。首先，系统会输出两个IP地址。其中，第一个IP地址仅限于启动主程序的计算机使用，而第二个IP地址则允许在同一局域网内的其他设备进行访问。 这一调整不仅提升了系统的可访问性，同时也加强了对敏感信息的安全控制。通过限制直接访问，确保了只有在同一网络环境中的设备才能获取服务，从而在一定程度上减少了外部攻击的风险。不过，这也意味着用户需要确保所在网络的安全性，以避免潜在的安全威胁。此技术的应用为用户提供便利的同时，也促使我们更加重视网络安全和个人隐私保护的重要性。
24)在浏览器中打开上述链接后，我们能看到一个页面，页面左侧列出了一些问题，点击这些问题即可直接进行询问。