检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建标注任务 基于数据集创建标注任务。 dataset.create_label_task(self, task_name=None, task_type=None, **kwargs) 示例代码 示例一：基于图像类型的数据集创建物体检测标注任务。 from modelarts.session
用户结束kernelgateway进程后报错Server Connection Error，如何恢复？ 问题现象 当kernelgateway进程被结束后，出现如下报错，以及选不到Kernel。 图1 报错Server Connection Error截图 图2 选不到Kernel
附录：训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
附录：训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
系统容器异常退出 问题现象 在训练创建后出现“系统容器异常退出”的故障。 [ModelArts Service Log]2022-10-11 19:18:23,267 - file_io.py[1ine:748] - ERROR: stat:404 errorCode:NoSuchKey
精度问题诊断 逐个替换模型，检测有问题的模型 该方式主要是通过模型替换，先定位出具体哪个模型引入的误差，进一步诊断具体的模型中哪个算子或者操作导致效果问题，模型替换原理如下图所示。通过设置开关选项（是否使用onnx模型），控制模型推理时，模型使用的是onnx模型或是mindir的模型。
使用ma-cli obs-copy命令复制OBS数据 使用ma-cli obs-copy [SRC] [DST]可以实现本地和OBS文件或文件夹的相互复制。 $ma-cli obs-copy -h Usage: ma-cli obs-copy [OPTIONS ] SRC
配置IAM权限 使用华为云主账号创建一个开发者用户组user_group，将开发者账号加入用户组user_group中。具体操作请参见Step1 创建用户组并加入用户。 创建自定义策略。 使用华为云主账号登录控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入IAM服务。
创建标注团队的成员 功能介绍 创建标注团队的成员。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workforces/
创建标注团队 功能介绍 创建标注团队。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workforces 表1 路径参数
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
昇腾云服务6.3.907版本说明 本文档主要介绍昇腾云服务6.3.907版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 西南-贵阳一 PyTorch： swr.cn-southwest-2
"max_tokens": 50,"temperature":0}”，单击“预测”即可看到预测结果。 图9 预测-openai 在线服务的更多内容介绍请参见文档查看服务详情。 Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题： 主流开源大模型基于Standard适配PyTorch
示例：创建DDP分布式训练（PyTorch+GPU） 本文介绍三种使用训练作业来启动PyTorch DDP训练的方法及对应代码示例。 使用PyTorch预置框架功能，通过mp.spawn命令启动 使用自定义镜像功能 通过torch.distributed.launch命令启动 通过torch
基于AIGC模型的GPU推理业务迁移至昇腾指导 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理
guided-decoding 什么是guided-decoding Guided Decoding是一种用于生成文本的策略，通过提供额外的上下文或约束，来引导模型生成更符合预期的结果。 比如使用openai启动服务，通过配置guided_json参数使用JSON Schema的架构来举例。
昇腾云服务6.3.905版本说明 本文档主要介绍昇腾云服务6.3.905版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud
上传数据和算法至OBS（首次使用时需要） 前提条件 已经在OBS上创建好并行文件系统，请参见创建并行文件系统。 已经在obsutil安装和配置，请参见obsutils安装和配置。 准备数据 单击下载动物数据集至本地，并解压。 通过obsutil将数据集上传至OBS桶中。 ./obsutil
创建Workflow模型注册节点 功能介绍 通过对ModelArts模型管理的能力进行封装，实现将训练后的结果注册到模型管理中，便于后续服务部署、更新等步骤的执行。主要应用场景如下： 注册ModelArts训练作业中训练完成的模型。 注册自定义镜像中的模型。 属性总览 您可以使用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
