检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
专业版。 使用PyCharm ToolKit提交训练作业，社区版和专业版都支持。 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 已创建当前使用账号的访问密钥，并获得对应的AK和SK。如果未创建，请参见创建访问密钥（AK和SK）。
当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置接续训练，加载中断生成的checkpoint，中间不需要改动任何参数。可以通过训练脚本中的SAVE_INTERVAL参数来指定间隔多少step保存checkpoint。 如果要使用自动重启功能，资源规格必须选择八卡规格。 当
当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置接续训练，加载中断生成的checkpoint，中间不需要改动任何参数。可以通过训练脚本中的SAVE_INTERVAL参数来指定间隔多少step保存checkpoint。 如果要使用自动重启功能，资源规格必须选择八卡规格。 当
当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置接续训练，加载中断生成的checkpoint，中间不需要改动任何参数。可以通过训练脚本中的SAVE_INTERVAL参数来指定间隔多少step保存checkpoint。 如果要使用自动重启功能，资源规格必须选择八卡规格。 当
String MRS集群ID。可登录MRS控制台查看。 cluster_mode String MRS集群运行模式。可选值如下： 0：普通集群 1：安全集群 cluster_name String MRS集群名称。可登录MRS控制台查看。 database_name String 导入表格数据集，数据库名字。
vpc String vpc id。 subnet String 子网id。 securityGroups Array of strings 安全组id集合。 表10 CreatingStep 参数 参数类型 描述 step Integer 创建步长。 type String 批量创建类型。可选值如下：
environ["NCCL_DEBUG"] = "INFO"，查看NCCL DEBUG信息。 问题现象1 日志中还未出现NCCL DEBUG信息时已卡死。 解决方案1 检查代码，检查是否有参数中未传入“master_ip”和“rank”参数等问题。 问题现象2 分布式训练的日志中，发现有的节点含有GDR信息，而有的
String MRS集群ID。可登录MRS控制台查看。 cluster_mode String MRS集群运行模式。可选值如下： 0：普通集群 1：安全集群 cluster_name String MRS集群名称。可登录MRS控制台查看。 database_name String 导入表格数据集，数据库名字。
vpc String vpc id。 subnet String 子网id。 securityGroups Array of strings 安全组id集合。 表11 CreatingStep 参数 参数类型 描述 step Integer 创建步长。 type String 批量创建类型。可选值如下：
Issues 下图展示了低优先级的动态shape问题，在NPU上动态shape可能导致频繁的算子编译从而影响训练性能，可以按照html中的提示在训练脚本开头加上如下红框中的两行代码（分布式训练请确保分布式训练的每个进程都可以使能这两行代码）。 图13 动态shape分析 schedule 下发维度通常包含如下几类问题
长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用，不添加表示不使用。 --quantization：推理量化参数。当使用量化功能，则在推理服务启动脚本中增加该参数，如果未使用量化功能，则无需配置。根据使用的量化方式配置，可选择awq或smoothquant方式。
inv_freq = self.inv_freq.npu() 问题6：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查启动推理服务章节中，高精度模式的环境变量是否开启。 问题7：使用autoAWQ进行qwen-7b模型量化时报错 使用autoAWQ进行qw
path: /etc/localtime 根据config.yaml创建pod。 kubectl apply -f config.yaml 检查pod启动情况，执行下述命令。如果显示“1/1 running”状态代表启动成功。 kubectl get pod -A 进入容器，{po
l登录”。 图9 远程登录 在CloudShell中设置密码等参数后，单击“连接”即可登录节点，CloudShell介绍可参见远程登录Linux弹性云服务器（CloudShell方式） 。 配置kubectl工具。 登录ModelArts管理控制台，在左侧菜单栏中选择“AI专属资源池
inv_freq = self.inv_freq.npu() 问题6：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查启动推理服务章节中，高精度模式的环境变量是否开启。 问题7：使用autoAWQ进行qwen-7b模型量化时报错 使用autoAWQ进行qw
长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用，不添加表示不使用。 --quantization：推理量化参数。当使用量化功能，则在推理服务启动脚本中增加该参数，如果未使用量化功能，则无需配置。根据使用的量化方式配置，可选择awq或smoothquant方式。
inv_freq = self.inv_freq.npu() 问题6：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查步骤六中4. 配置环境变量章节中，高精度模式的环境变量是否开启。 问题7：使用autoAWQ进行qwen-7b模型量化时报错 使用auto
tent字段输出思考内容，然后在content中输出回答内容。 content Str 模型的回答内容。 当调用失败时，可以根据错误码调整脚本或运行环境。 表3 常见错误码 错误码 错误内容 说明 400 Bad Request 请求包含语法错误。 403 Forbidden 服务器拒绝执行。
inv_freq = self.inv_freq.npu() 问题6：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号 检查步骤六中4. 配置环境变量章节中，高精度模式的环境变量是否开启。 问题7：使用autoAWQ进行qwen-7b模型量化时报错 使用auto
--train-instance-type String 否 训练作业选择的资源规格。 --output String 否 训练的输出信息，指定后，训练作业将会把训练脚本中指定输出参数对应训练容器的输出目录上传到指定的OBS路径。如果需要指定多个参数，可以使用--output output1=obs://bucket/output1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
