检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景描述 本方案介绍了在ModelArts的Lite Server上使用昇腾计算资源开展DeepSeek R1和DeepSeek V3模型推理部署的详细过程。推理框架使用MindIE。 资源规划 本方案推荐用户使用W8A8量化权重，需要2台Ascend Snt9B资源。Snt9B资源的单卡显存不低于64GB。
保存Notebook实例 通过预置的镜像创建Notebook实例，在基础镜像上安装对应的自定义软件和依赖，在管理页面上进行操作，进而完成将运行的实例环境以容器镜像的方式保存下来。镜像保存后，默认工作目录是根目录“/”路径。 保存的镜像中，安装的依赖包不丢失，持久化存储的部分（home/ma-user
镜像 通过预置的镜像创建Notebook实例，在基础镜像上安装对应的自定义软件和依赖，在管理页面上进行操作，进而完成将运行的实例环境以容器镜像的方式保存下来。镜像保存后，默认工作目录是根目录“/”路径。 保存的镜像中，安装的依赖包不丢失，持久化存储的部分（home/ma-user
inv_freq = self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）
inv_freq = self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）
单击“发布”弹出“选择云服务区域”，选择区域后单击“确定”进入发布数据集页面，填写相关信息。 如果选择ModelArts已有的数据集发布，则参见表1配置数据集信息。 图1 发布数据集（ModelArts） 表1 参数说明（ModelArts） 参数 说明 资产标题 在AI Gallery显示的资产名称，建议按照您的目的设置。
建议根据业务情况及使用习惯，选择OBS使用方法。 如果您的数据量较小（小于100MB）或数据文件少（少于100个），建议您使用控制台上传数据。控制台上传无需工具下载或多余配置，在少量数据上传时，更加便捷高效。 如果您的数据量较大或数据文件较多，建议选择OBS Browser+或obsutil工具上传。OBS B
数据集导入节点的输出列表。 是 DatasetImportOutput或者DatasetImportOutput的列表 properties 数据集导入相关的配置信息。 是 ImportDataInfo title title信息，主要用于前端的名称展示。 否 str description 数据集导入节点的描述信息。
通过Function Calling扩展大语言模型交互能力 Function Calling介绍 在Dify中配置支持Function Calling的模型使用 通过Function Calling扩展大语言模型对外部环境的理解
使用python3.6-torch1.4版本镜像环境安装MMCV报错 问题现象 日志报错中存在AssertionError: MMCV==1.2.5 is used but incompatible. Please install mmcv>=1.3.1, <=1.5.0。 原因分析
专属资源池训练 资源选择推荐 步骤总览 资源购买 基本配置 调试与训练 FAQ 父主题： 历史待下线案例
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.905）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.911）
数据集创建节点的输出列表。 是 CreateDatasetOutput或者CreateDatasetOutput的列表 properties 数据集创建相关的配置信息。 是 DatasetProperties title title信息，主要用于前端的名称展示。 否 str description 数据集创建节点的描述信息。
预处理说明。 Step2 修改训练超参配置 以 llama2-70b 和 llama2-13b 预训练 为例，执行脚本为 0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均
header和request body？ 问题现象 部署在线服务完成且在线服务处于“运行中”状态时，通过ModelArts console的调用指南tab页签可以获取到推理请求的地址，但是不知道如何填写推理请求的header及body。 原因分析 在线服务部署完成且服务处于运行中状态后，可以通过
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU训练指导（6.3.905）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.910）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
