检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明请参见表1。 不同类型标签列数据产生的评估结果说明请参见评估结果说明。 图1 模型评估报告 同一个自动学习项目可以训练多次,每次训练会注册一个新的模型一个版本。如第一次训练版本号为“0.0.1”,下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行模型部署的操作。
查询镜像组列表 GET /v1/{project_id}/images/group modelarts:image:listGroup - √ √ 注册自定义镜像 POST /v1/{project_id}/images modelarts:image:register - √ √ 删除自定义镜像
像时基础镜像太大的问题,所以镜像中未安装任何组件;如果需使用OBS SDK相关功能,推荐使用ModelArts SDK进行文件复制等操作,详细操作请参考文件传输。 镜像一:conda3-cuda10.2-cudnn7-ubuntu18.04 表12 conda3-cuda10.2-cudnn7-ubuntu18
约束与限制 您能创建的ModelArts资源的数量与配额有关系,具体请参见服务配额。 更详细的限制请参见具体API的说明。 基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不
值,并在后续节点中使用。 针对部署在公共资源池的服务,可以通过access_address属性从输出中获取注册在公网的推理地址。 针对部署在专属资源池的服务,除了可以获取注册在公网的推理地址,还能通过cluster_inner_access_address属性从输出中获取内部使用
d Acyclic Graph,DAG)的开发,整个DAG的执行就是有序的任务执行模板,依次执行从数据标注、数据集版本发布、模型训练、模型注册到服务部署环节。如果想了解更多关于Workflow您可以参考Workflow简介。 图1 自动学习操作流程 图2 Workflow运行流程
训练作业权限 表1 训练作业(新版)细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建训练作业 POST /v2/{project_id}/training-jobs modelarts:trainJob:create swr:repository:listTags
"is_shared" : false, "service_id" : "195c1f2d-136d-40af-a0f3-db5717d2634a", "shared_count" : 0, "tenant" : "b575785bcece44beb23597770fb819f9"
、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。用户可通过Notebook中创建.ipynb文件,并编辑以下代码可实现Notebook环境中的数据与OBS中的数据进行相互传递。 import moxing as mox # OBS存放数据路径
在Workflow中使用大数据能力(DLI/MRS) 功能介绍 该节点通过调用MRS服务,提供大数据集群计算能力。主要用于数据批量处理、模型训练等场景。 应用场景 需要使用MRS Spark组件进行大量数据的计算时,可以根据已有数据使用该节点进行训练计算。 使用案例 在华为云MR
开发环境的应用示例 本节通过调用一系列API,以创建开发环境实例为例介绍ModelArts API的使用流程。 概述 创建开发环境实例的流程如下: 调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调用查询支持的镜像列表接口查看开发环境的镜像类型和版本。
、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。用户可通过Notebook中创建.ipynb文件,并编辑以下代码可实现Notebook环境中的数据与OBS中的数据进行相互传递。 import moxing as mox # OBS存放数据路径
、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。用户可通过Notebook中创建.ipynb文件,并编辑以下代码可实现Notebook环境中的数据与OBS中的数据进行相互传递。 import moxing as mox # OBS存放数据路径
使用自定义镜像创建的训练作业一直处于运行中 问题现象 使用自定义镜像创建训练作业,训练作业的“状态”一直处于“运行中”。 原因分析及处理办法 日志打印如下内容,表示自定义镜像的CPU架构与资源池节点的CPU架构不一致。 standard_init_linux.go:215: exec
日志提示“max_pool2d_with_indices_out_cuda_frame failed with error code 0” 问题现象 pytroch1.3镜像中,去升级了pytroch1.4的版本,导致之前在pytroch1.3跑通的代码报错如下: “Runtim
SEED 1234 随机种子数。每次数据采样时,保持一致。 SAVE_INTERVAL 10 表示训练间隔多少step,则会保存一次权重文件。 模型参数设置规定 TP张量并行 、PP流水线并行、CP context并行的参数设置:TP×PP×CP的值要被NPU数量(word_size)整除。
训练作业的日志出现detect failed(昇腾预检失败) 问题现象 训练启动的日志出现如下相关错误: time="2023-05-27T07:07:08Z" level=error msg="detect failed, error: dsmi-checker detect failed
查询Notebook支持的可切换规格列表 功能介绍 查询创建Notebook实例支持的可切换的规格列表。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
查询DevServer实例详情 功能介绍 查询DevServer实例详情。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{pr
获取动态挂载OBS实例详情 功能介绍 获取动态挂载OBS实例详情。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{projec