检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务为例介绍ModelArts API的使用流程。 概述 创建数据集并进行标注的流程如下： 调用认证鉴权接口获取用户Token，在后续的请求中需要将Token放到请求消息头中作为认证。 调用创建数据集接口创建一个图像分类类型的数据集。 调用查询数据集详情接口根据数据集ID查询数据集的详情。
在Notebook中添加自定义IPython Kernel 使用场景 当前Notebook默认内置的引擎环境不能满足用户诉求，用户可以新建一个conda env按需搭建自己的环境。本小节以搭建一个“python3.6.5和tensorflow1.2.0”的IPython Kernel为例进行展示。
排到队的剩余时间，单位为秒。 end_timestamp Integer 实例排队的预计停止时间，13位时间戳。 rank Integer 实例在队列中的排位。 表18 user字段数据结构说明 参数 参数类型 说明 id String 用户ID。 name String 用户名。 表19 repository字段数据结构说明
训练集的数据质量对于模型的精度有很大影响，建议训练集音频的采样率和采样精度保持一致。 标注质量对于最终的模型精度有极大的影响，标注过程中尽量不要出现误标情况。 文本分类对数据集的要求 文件格式要求为txt或者csv，文件大小不能超过8MB。 以换行符作为分隔符，每行数据代表一个标注对象。
16:30:30间产生费用 包年/包月：2023/04/18 16:30:30 约束限制 专属资源池计费模式为“按需计费”。 只有订购实例状态是“使用中”的资源才能变更资费。 计费模式变更只支持以专属资源池为粒度进行整体变更，不支持以规格为粒度进行部分变更。 一个专属资源池的所有节点，必须为
路径，如果不指定该参数，则表示配置文件为空。配置文件是一个YAML格式的文件，里面的参数就是命令的option参数。此外，如果用户在命令行中同时指定YAML_FILE配置文件和option参数，命令行中指定的option参数的值将会覆盖配置文件相同的值。 $ma-cli ma-job
针对您自己在本地或使用其他工具开发的算法，支持上传至ModelArts中统一管理。同时，您可以订阅AI Gallery中的算法构建模型。 不管是您创建的算法，还是您订阅的算法，支持在ModelArts中快速创建训练作业，获得您想要的模型。 发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东
create_dir=False))) # 指定metric的输出路径，相关指标信息由作业脚本代码根据指定的数据格式自行输出（示例中需要将metric信息输出到训练输出目录下的metrics.json文件中） ], spec=wf.steps.JobSpec( resource=wf
查看SFS Turbo的VPC网段的安全组是否被限制了。 在所选专属资源池中新建一个未挂载的SFS Turbo的训练作业，当训练作业处于“运行中”时，通过Cloud Shell功能登录训练作业worker-0实例，使用curl {sfs-turbo-endpoint}:{port}命令检查port是否正常打开，SFS
"INFO"，查看NCCL DEBUG信息。 问题现象1 日志中还未出现NCCL DEBUG信息时已卡死。 解决方案1 检查代码，检查是否有参数中未传入“master_ip”和“rank”参数等问题。 问题现象2 分布式训练的日志中，发现有的节点含有GDR信息，而有的节点无GDR信息，导致卡死的原因可能为GDR。
在Swin-Transformer目录下，创建运行脚本run.sh。 脚本中的"SRC_DATA_PATH=${imagenet数据集在obs中分享链接}"，需要替换为上一步中的imagenet21k_whole文件夹分享链接。 脚本中的"https://${bucket_name}.obs.cn-north-4
查询数据处理任务版本的结果展示 功能介绍 查询数据处理任务版本的结果展示。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/
--device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 Step4 进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
通过JobStep来定义一个训练节点，输入数据来源为OBS，并将训练结果输出到OBS中 job_step = wf.steps.JobStep( name="training_job", # 训练节点的名称，命名规范(只能包含英文字母、数字、下划线（_）、中划线（-），并且只能以英文字母开头，长度限制为64
单节点功能，如训练、推理等在ModelArts相应服务中调试通过。 根据节点功能选择相应的代码模板，进行内容的补充。 根据DAG结构编排节点，完成Workflow的编写。 导入Workflow Data包 在编写Workflow过程中，相关对象都通过Workflow包进行导入，梳理如下：
ME=pytorch Dockerfile中的"https://${bucket_name}.obs.cn-north-4.myhuaweicloud.com/${folder_name}/pytorch.tar.gz"，需要替换为1中pytorch.tar.gz在OBS上的路径（需将文件设置为公共读）。
照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0.6
AOM aom:alarm:put 调用AOM的接口，获取Notebook相关的监控数据和事件，展示在ModelArts的Notebook中。 建议配置。 VPC接入 VPC vpc:ports:create vpc:ports:get vpc:ports:delete vpc:subnet:get
finetune全量微调示例中挂载了8张卡davinci0~davinci7。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 Step5 进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
--device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 Step4 进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
