DeepSeek AI最新发布的多模态大模子Janus-Pro,以及之前发布的大型道话模子DeepSeek-R1、DeepSeek-V3及DeepSeek-V2,已经发布,就在AI范围引起了强烈反响,多项革命技艺显耀升迁了模子的性能与恶果。DeepSeek系列模子首发即支捏昇腾平台,神州数码旗下神州鲲泰推理工作器产物搭载昇腾硬件,可全面支捏DeepSeek系列模子的快速部署,可为用户带来更快、更高效、更方便的AI诞生和期骗体验。

2025年2月4日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro肃肃上线昇腾社区,支捏一键得回DeepSeek系列模子,支捏昇腾硬件平台上开箱即用,推理快速部署,带来更快、更高效、更方便的AI诞生和期骗体验,迎接雄伟诞生者体验使用。

底下以Deepseek-V3为例,

演示在昇腾社区如何高效得回模子及使用

1硬件条件

部署DeepSeek-V3模子需竖立4台KunTai A924推理工作器(每台搭载8张昇腾推理卡)

2模子调用现实

一、 权重调养

GPU:

NPU:

二、 加载镜像

在昇腾社区/诞生资源下载适配DeepSeek-V3的镜像包:

mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

完成之后,请使用docker images号召阐发查找具体镜像称呼与标签。

三、 容器运转

提供的MindIE镜像预置了DeepSeek-V3模子推理剧本,从您信任的起原自行得回权重后,放弃在从上述下载的模子代码的主目次下,修改模子文献夹属组为1001,现实权限为750,运转容器。

四、 工作化测试

竖立工作化环境变量,expandable_segments-使能内存池扩张段功能,即凭空内存特点。

修改工作化参数

拉起工作化

图片出现“Daemon start success!”,则以为工作到手运转。

更深刻了解DeepSeek系列模子在昇腾上的使用法子及教悔文档,可登录昇腾社区模子库专区学习了解!