检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
inv_freq = self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6
inv_freq = self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3
inv_freq = self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
--tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-parallel-size：${PP}流水线并行数，需要与训练脚本中的PP值配置一样。 --load-dir：加载转换模型权重路径。 --save-dir :
--tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-parallel-size：${PP}流水线并行数，需要与训练脚本中的PP值配置一样。 --load-dir：加载转换模型权重路径。 --save-dir :
name_cn String 配额名称(中文)。 unit_cn String 数量单位(中文)。 name_en String 工作空间ID，系统生成的32位UUID，不带橫线。默认的工作空间id为'0'。 unit_en String 数量单位(英文)。 used_quota Integer
“Manifest文件”：存储Manifest文件的OBS路径。 “数据标注状态”：已标注。 “高级特征选项 ”：默认关闭，可通过勾选高级选项提供增强功能。 “按标签导入”：系统将自动获取此数据集的标签，您可以单击“添加标签”添加。此字段为可选字段，您也可以在导入数据集后，在标注数据操作时，添加或删除标签。 “只导
明和训练的数据集预处理说明。 步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
--tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-parallel-size：${PP}流水线并行数，需要与训练脚本中的PP值配置一样。 --load-dir：加载转换模型权重路径。 --save-dir :
Cluster节点池：为帮助您更好地管理Kubernetes集群内的节点，ModelArts支持通过节点池来管理节点。节点池是集群中具有相同配置的一组节点，一个节点池包含一个节点或多个节点，您可以创建、更新和删除节点池。 管理Lite Cluster节点：节点是容器集群组成的基本元
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： OBS操作相关故障
inv_freq = self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）
inv_freq = self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）
单击“发布”弹出“选择云服务区域”，选择区域后单击“确定”进入发布数据集页面，填写相关信息。 如果选择ModelArts已有的数据集发布，则参见表1配置数据集信息。 图1 发布数据集（ModelArts） 表1 参数说明（ModelArts） 参数 说明 资产标题 在AI Gallery显示的资产名称，建议按照您的目的设置。
训练的数据集预处理说明。 Step2 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
明和训练的数据集预处理说明。 步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
inv_freq = self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启。 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6
inv_freq = self.inv_freq.npu() 问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查【配置环境变量】章节中，高精度模式的环境变量是否开启 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6
name 否 String 工作空间名称。长度限制为4-64字符，支持中文、大小写字母、数字、中划线和下划线。同时'default'为系统预留的默认工作空间名称，用户无法自己创建名为'default'的工作空间。 description 否 String 工作空间描述，默认为空。长度限制为0-256字符。
name_cn String 配额名称（中文）。 unit_cn String 数量单位（中文）。 name_en String 工作空间ID，系统生成的32位UUID，不带橫线。默认的工作空间id为'0'。 unit_en String 数量单位(英文)。 请求示例 PUT http
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
