华为云用户手册

  • 响应示例 状态码: 200 OK { "sample_count" : 2, "samples" : [ { "sample_id" : "012f99f3cf405860130b6ed2350c2228", "sample_type" : 0, "labels" : [ { "name" : "car", "type" : 0, "property" : { } } ], "source" : "https://test-obs.obs.xxx.com:443/image/aifood/%E5%86%B0%E6%BF%80%E5%87%8C/36502.jpg?AccessKeyId=RciyO7RHmhNTfOZVryUH&Expires=1606296688&x-image-process=image%2Fresize%2Cm_lfit%2Ch_200&Signature=icyvHhFew9vnmy3zh1uZMP15Mbg%3D", "metadata" : { "@modelarts:import_origin" : 0 }, "sample_time" : 1589190552106, "sample_status" : "MANUAL_ANNOTATION", "labelers" : [ { "email" : "xxx@xxx.com", "worker_id" : "5d8d4033b428fed5ac158942c33940a2", "role" : 0 } ] }, { "sample_id" : "0192f3acfb000666033a0f85c21577c7", "sample_type" : 0, "labels" : [ { "name" : "car", "type" : 0, "property" : { } } ], "source" : "https://test-obs.obs.xxx.com:443/image/aifood/%E5%86%B0%E6%BF%80%E5%87%8C/36139.jpg?AccessKeyId=RciyO7RHmhNTfOZVryUH&Expires=1606296688&x-image-process=image%2Fresize%2Cm_lfit%2Ch_200&Signature=RRr9r2cghLCXk%2B0%2BfHtYJi8eZ4k%3D", "metadata" : { "@modelarts:import_origin" : 0 }, "sample_time" : 1589190543327, "sample_status" : "MANUAL_ANNOTATION", "labelers" : [ { "email" : "xxx@xxx.com", "worker_id" : "a2abd3f27b4e92c593c15282f8b6bd29", "role" : 0 } ] } ] }
  • URI GET /v2/{project_id}/datasets/{dataset_id}/data-annotations/samples 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 email 否 String 标注团队成员邮箱。 high_score 否 String 置信度上界,默认为1。 label_name 否 String 标签名。 label_type 否 Integer 标注类型。可选值如下: 0:图像分类 1:物体检测 3: 图像分割 100:文本分类 101:命名实体 102:文本三元组 200:声音分类 201:语音内容 202:语音分割 400:表格数据集 600:视频标注 900:自由格式 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 locale 否 String 语言。可选值如下: zh-cn:中文 en-us:英文(默认值) low_score 否 String 置信度下界,默认为0。 offset 否 Integer 分页列表的起始页,默认为0。 order 否 String 指定查询的排序顺序。可选值如下: asc:递增排序 desc:递减排序(默认值) preview 否 Boolean 是否支持预览。可选值如下: true:支持预览 false:不支持预览 process_parameter 否 String 图像缩略设置,同OBS缩略图设置,详见OBS缩略图设置。如:image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 sample_state 否 String 样本状态。可选样本状态如下: __ALL__:已标注 __NONE__:未标注 __UNCHECK__:待验收 __ACCEPTED__:验收通过 __REJECTED__:已驳回 __UNREVIEWED__:待审核 __REVIEWED__:已审核 __WORKFORCE_SAMPLED__:已采样 __WORKFORCE_SAMPLED_UNCHECK__:采样待验收 __WORKFORCE_SAMPLED_CHECKED__:采样已验收 __WORKFORCE_SAMPLED_ACCEPTED__:采样已通过 __WORKFORCE_SAMPLED_REJECTED__:采样已驳回 __AUTO_ANNOTATION__:待确认 sample_type 否 Integer 样本文件类型。可选值如下: 0:图像 1:文本 2:音频 4:表格 6:视频 9:自由格式(默认值) search_conditions 否 String URL编码后的多维筛选条件(多个SearchCondition之间为and的关系)。 version_id 否 String 数据集版本ID。
  • URI GET /v1/{project_id}/resourceflavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 continue 否 String 分页查询时上一页位置。 labelSelector 否 String 标签筛选。 limit 否 Integer 分页数目。
  • 响应示例 状态码: 200 OK。 { "kind" : "ResourceFlavorList", "apiVersion" : "v1", "metadata" : { }, "items" : [ { "kind" : "ResourceFlavor", "apiVersion" : "v1", "metadata" : { "name" : "modelarts.vm.cpu8u32g", "labels" : { } }, "spec" : { "cpuArch" : "x86", "cpu" : "8", "memory" : "32Gi", "type" : "Dedicate", "billingCode" : "modelarts.vm.cpu.8ud", "billingModes" : [ 0 ] }, "status" : { "phase" : { "cn-north-7a" : "soldout", "cn-north-7b" : "soldout", "cn-north-7c" : "normal" } } } ] } 状态码: 401 Authorization failed. { "error_code" : "ModelArts.50001000", "error_msg" : "token is invalid" } 状态码: 404 Not found. { "error_code" : "ModelArts.50005101", "error_msg" : "Resourceflavor not found." }
  • 请求示例 查询某个数据集的特征分析任务历史列表 GET https://{endpoint}/v2/{project_id}/processor-tasks?offset=0&limit=10&sort_by=create_time&order=desc&source_type=DATASET&source=X6c3N3eztX7cr3Arvqu&task_type=sys_data_analyse&return_result=false&query_current=false 查询某个数据集指定版本列表的最新特征分析任务结果 GET https://{endpoint}/v2/{project_id}/processor-tasks?offset=0&limit=100&source_type=DATASET&source=X6c3N3eztX7cr3Arvqu&version_id=XwTuRqI9En7xuZskW70%2CJ4Eh2FDEWH1qnDlD3hQ&task_type=sys_data_analyse&return_result=true&query_current=true
  • URI GET /v2/{project_id}/processor-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 offset 否 Integer 分页列表的起始页,默认为0。 order 否 String 指定查询的排序顺序。可选值如下: asc:递增排序 desc:递减排序(默认值) query_current 否 Boolean 是否只查询数据集版本最新的任务。可选值如下: true:只查询数据集版本最新的任务 false:查询数据集版本的所有任务(默认值) return_result 否 Boolean 是否返回任务结果。可选值如下: true:返回任务结果(默认值) false:不返回任务结果 sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) name:按任务名称排序 duration_seconds:按运行时间排序 source 否 String 指定查询的数据源所在路径。可选值如下: 如果type是OBS,source为OBS路径; 如果type是TASK,source为任务ID; 如果type是DATASET,source为dataset_id; 如果type是CUSTOM且是资源租户调用,source为真实用户的project_id, 否则不需要这个字段 source_type 否 String 指定查询的数据源类型,不传默认是查询所有的数据源。可选值如下: OBS:数据来源于OBS TASK:数据处理任务 DATASET:数据集 CUSTOM:资源租户调用 status 否 Integer 指定查询的任务状态,不传则默认是查询所有状态的任务。可选值如下: 0:初始化 1:运行中 2:已完成 3:失败 4:停止 task_name 否 String 模糊匹配名称。 task_type 否 String 任务类型,即数据处理模板ID。可选值如下: sys_data_analyse:特征分析 sys_data_cleaning:数据清洗 sys_data_augmentation:数据增强 sys_data_validation:数据校验 sys_data_selection:数据筛选 version_id 否 Array 指定查询数据集的版本ID列表。 workspace_id 否 String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
  • 响应示例 状态码: 200 OK { "count" : 1, "tasks" : [ { "task_id" : "ddwRJeTnjpiq4dNUZOq", "name" : "V001", "data_source" : { "type" : "DATASET", "source" : "X6c3N3eztX7cr3Arvqu" }, "inputs" : [ { "type" : "DATASET", "source" : "X6c3N3eztX7cr3Arvqu" } ], "template" : { "id" : "sys_data_analyse", "name" : "data analyse template name", "operator_params" : [ { "id" : "sys_data_analyse", "params" : { "op_list" : [ ], "task_type" : "image_classification", "manifest_path" : "s3://test-obs/classify/output/dataset-3026-X6c3N3eztX7cr3Arvqu/annotation/V001/V001.manifest", "file_path" : "s3://test-obs/classify/output/dataset-3026-X6c3N3eztX7cr3Arvqu/annotation/evaluation/V001", "is_normed" : false } } ] }, "status" : 2, "duration_seconds" : 11, "create_time" : 1606372570023, "version_id" : "J4Eh2FDEWH1qnDlD3hQ", "version_name" : "V001", "is_current" : true } ] }
  • 功能介绍 查询处理任务列表,包括“特征分析”任务和“数据处理”两大类任务。可通过指定“task_type”参数来单独查询某类任务的列表。 “特征分析”是指基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,并绘制可视化曲线,帮助处理数据集。 “数据处理”是指从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。“数据处理”又分为“数据校验”、“数据清洗”、“数据选择”和“数据增强”四类。 “数据校验”表示对数据集进行校验,保证数据合法。 “数据清洗”表示对数据进行去噪、纠错或补全的过程。 “数据选择”表示从全量数据中选择数据子集的过程。 “数据增强”表示通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。
  • 响应示例 状态码: 200 OK { "count" : 2, "versions" : [ { "task_version_id" : "qSaudx2sbPvthHygckA", "task_id" : "kM7j9TSa611ZzBThzSr", "version_name" : "V002", "description" : "", "status" : 0, "create_time" : 1606377874450, "inputs" : [ { "type" : "DATASET", "source" : "PYc9H2HGv5BJNwBGXyK", "version_id" : "Osc8SZ7TZStiRV4vYkZ", "name" : "dataset-test", "version_name" : "V0010" } ], "work_path" : { "type" : "DATASET", "path" : "PYc9H2HGv5BJNwBGXyK", "name" : "dataset-test", "version_name" : "V0011", "output_path" : "/test-obs/classify/output/qSaudx2sbPvthHygckA/" }, "template" : { "id" : "sys_data_validation", "name" : "name to translate", "operator_params" : [ { "name" : "MetaValidation", "advanced_params_switch" : false, "params" : { "task_type" : "image_classification", "dataset_type" : "manifest", "source_service" : "select", "filter_func" : "data_validation_select", "image_max_width" : "1920", "image_max_height" : "1920", "total_status" : "[0,1,2]" } } ] }, "duration_seconds" : 151 }, { "task_version_id" : "YHFWU18zXuNbqxtzegG", "task_id" : "kM7j9TSa611ZzBThzSr", "version_name" : "V001", "description" : "", "status" : 2, "create_time" : 1606375407276, "inputs" : [ { "type" : "DATASET", "source" : "PYc9H2HGv5BJNwBGXyK", "version_id" : "yoJ5ssClpNlOrsjjFDa", "name" : "dataset-test", "version_name" : "V009" } ], "work_path" : { "type" : "DATASET", "path" : "PYc9H2HGv5BJNwBGXyK", "name" : "dataset-test", "version_id" : "Osc8SZ7TZStiRV4vYkZ", "version_name" : "V0010", "output_path" : "/test-obs/classify/output/YHFWU18zXuNbqxtzegG/" }, "template" : { "id" : "sys_data_validation", "name" : "name to translate", "operator_params" : [ { "name" : "MetaValidation", "advanced_params_switch" : false, "params" : { "task_type" : "image_classification", "dataset_type" : "manifest", "source_service" : "select", "filter_func" : "data_validation_select", "image_max_width" : "1920", "image_max_height" : "1920", "total_status" : "[0,1,2]" } } ] }, "duration_seconds" : 812, "origin_sample_count" : 18, "add_sample_count" : 0, "modified_sample_count" : 0, "unmodified_sample_count" : 18, "deleted_sample_count" : 0 } ] }
  • URI GET /v2/{project_id}/processor-tasks/{task_id}/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为100。 offset 否 Integer 分页列表的起始页,默认为0。 order 否 String 指定查询的排序顺序。可选值如下: asc:递增排序 desc:递减排序(默认值) sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) version_name:按任务版本名称排序
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 count Integer 结果总数。 has_more Boolean 是否已返回全部结果。 results Array of DescProcessorTaskVersionResultsResp objects 分页展示的结果。 表4 DescProcessorTaskVersionResultsResp 参数 参数类型 描述 new_source String 处理后样本的地址。 origin_source String 样本的原地址。 result_description Array of objects 样本的处理描述。 result_property Integer 样本的处理状态。可选值如下: -1:全部 0:保留 1:修改 2:删除 3:新增 sample_id String 样本ID,通过OBS路径的md5生成。 signed_new_source String 签名后的处理后样本地址。 signed_origin_source String 签名后的原样本地址。 version_id String 数据处理任务的版本ID。
  • 响应示例 状态码: 200 OK { "count" : 3, "results" : [ { "sample_id" : "0ac9aee517acbef965f547bb5a3268af", "version_id" : "7PoIhUzSk92OglQrTxr", "origin_source" : "s3://test-obs/classify/data/animals/8.jpg", "new_source" : "obs://test-obs/classify/output/7PoIhUzSk92OglQrTxr/Data/8.jpg", "signed_origin_source" : "https://test-obs.obs.xxx.com:443/classify/data/animals/8.jpg?AccessKeyId=I5IZ9R29S1W9WACNJJ0J&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jQ5yFSR1TfKXjeawutgyAnMranimalsNaSkeSBOKK...&Signature=GbnVBZ5JxUWhiAulUzpV9TD835Q%3D", "signed_new_source" : "https://test-obs.obs.xxx.com:443/classify/output/7PoIhUzSk92OglQrTxr/Data/8.jpg?AccessKeyId=I5IZ9R29S1W9WACNJJ0J&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jQ5yFSR1TfKXjeawutgyAnMranimalsNaSkeSBOKK...&Signature=Q5stFFFfVx9kykR49S8PPBlFqe0%3D", "result_property" : 3, "result_description" : [ [ "use AddNoise augmentation" ], [ "result_description to translate" ] ] }, { "sample_id" : "196799b2d731727b1800b70851fc60b0", "version_id" : "7PoIhUzSk92OglQrTxr", "origin_source" : "s3://test-obs/classify/data/animals/2.jpg", "new_source" : "obs://test-obs/classify/output/7PoIhUzSk92OglQrTxr/Data/2.jpg", "signed_origin_source" : "https://test-obs.obs.xxx.com:443/classify/data/animals/2.jpg?AccessKeyId=QEKFB6WFGZWC2YUP2JPK&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jdUZcXVRCNOHjWNNWiuu2E9Q...&Signature=6yvhJufi5kQO6UjToQgR0ztP%2Bis%3D", "signed_new_source" : "https://test-obs.obs.xxx.com:443/classify/output/7PoIhUzSk92OglQrTxr/Data/2.jpg?AccessKeyId=QEKFB6WFGZWC2YUP2JPK&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jdUZcXVRCNOHjWNNWiuu2E...&Signature=Zr%2BAEBDJwKS%2FpS6vzxK7MSzjblA%3D", "result_property" : 3, "result_description" : [ [ "use AddNoise augmentation" ], [ "result_description to translate" ] ] }, { "sample_id" : "1dc7351b78dcb24850f71d20267edd0e", "version_id" : "7PoIhUzSk92OglQrTxr", "origin_source" : "s3://test-obs/classify/data/animals/import_1603716822103/test-obs/classify/output/E8ZLnTQvPBVtbZ6QsAp/Data/13.jpg", "new_source" : "obs://test-obs/classify/output/7PoIhUzSk92OglQrTxr/Data/13.jpg", "signed_origin_source" : "https://test-obs.obs.xxx.com:443/classify/data/animals/import_1603716822103/test-obs/classify/output/E8ZLnTQvPBVtbZ6QsAp/Data/13.jpg?AccessKeyId=W6TSX9F1BRS8AUBDYKPY&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jVVFic8iObvdqZLuWxyIHlAjbJPCTX...&Signature=WV73XnoMkBDoSuVe%2BFSUaP1GxKw%3D", "signed_new_source" : "https://test-obs.obs.xxx.com:443/classify/output/7PoIhUzSk92OglQrTxr/Data/13.jpg?AccessKeyId=W6TSX9F1BRS8AUBDYKPY&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jVVFic8iObvdqZLuWxyIHlAjbJPCTXeYXkQh8z...&Signature=%2FYsgrsbyrz5ZQrndrQ9QyoHluYQ%3D", "result_property" : 3, "result_description" : [ [ "use AddNoise augmentation" ], [ "result_description to translate" ] ] } ], "has_more" : true }
  • URI GET /v2/{project_id}/processor-tasks/{task_id}/versions/{version_id}/results 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String 数据处理任务的版本ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 offset 否 Integer 分页列表的起始页,默认为0。 process_parameter 否 String 图像缩略设置,同OBS缩略图设置,详见OBS缩略图设置。如:image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 result_property 否 String 样本状态,不传或传-1默认返回全部样本。可选值如下: -1:全部 0:保留 1:修改 2:删除 3:新增
  • 响应示例 状态码: 200 OK。 { "kind" : "PoolList", "apiVersion" : "v2", "items" : [ { "kind" : "Pool", "apiVersion" : "v2", "metadata" : { "name" : "auto-pool-os-86c13962597848eeb29c5861153a391f", "creationTimestamp" : "2022-09-16T03:10:40Z", "labels" : { "os.modelarts/name" : "auto-pool-os", "os.modelarts/workspace.id" : "0", "os.modelarts/resource.id" : "maos-auto-pool-os-72w8d" }, "annotations" : { "os.modelarts/description" : "", "os.modelarts/billing.mode" : "0" } }, "spec" : { "type" : "Dedicate", "scope" : [ "Train", "Infer" ], "resources" : [ { "flavor" : "modelarts.vm.cpu.4ud", "count" : 2 } ], "network" : { "name" : "network-maos-86c13962597848eeb29c5861153a391f" } }, "status" : { "phase" : "Running", "root" : "auto-pool-os-86c13962597848eeb29c5861153a391f", "scope" : [ { "scopeType" : "Train", "state" : "Enabled" }, { "scopeType" : "Infer", "state" : "Enabled" } ], "resources" : { "available" : [ { "flavor" : "modelarts.vm.cpu.4ud", "count" : 2, "azs" : [ { "az" : "cn-north-7c", "count" : 2 } ] } ] } } } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 apiVersion String API版本。可选值如下: v2 kind String 资源类型。可选值如下: PoolList:资源池列表 items Array of PoolModel objects 资源池列表。 表4 PoolModel 参数 参数类型 描述 apiVersion String API版本。可选值如下: v2 kind String 资源类型。可选值如下: Pool:资源池 metadata PoolMetadata object 资源池的metadata信息。 spec PoolSpecModel object 资源池的期望信息。 status PoolStatus object 资源池的状态信息。 表5 PoolMetadata 参数 参数类型 描述 name String 系统自动生成的pool名称,相当于pool ID。 creationTimestamp String 时间戳,例如"2021-11-01T03:49:41Z"。 labels PoolMetaLabels object 资源池的标签信息。 annotations PoolMetaAnnotations object 资源池的注释信息。 表6 PoolMetaLabels 参数 参数类型 描述 os.modelarts/workspace.id String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 os.modelarts/name String 用户指定的pool名称。 os.modelarts/resource.id String 资源池的主资源id,通常提供给cbc使用。 os.modelarts/tenant.domain.id String 资源池的租户id,记录资源池创建在哪个租户账号下。 表7 PoolMetaAnnotations 参数 参数类型 描述 os.modelarts/description String 资源池的描述信息。 os.modelarts/billing.mode String 计费模式。可选值如下: 0:按需计费 1:包周期计费 os.modelarts/period.num String 包周期订购周期,比如2。 os.modelarts/period.type String 包周期订购类型。可选值如下: 2:月 3:年 4:小时 os.modelarts/auto.renew String 是否自动续费.可选值如下: 0:不自动续费,默认值 1:自动续费 os.modelarts/promotion.info String 用户在cbc选择的折扣信息。 os.modelarts/service.console.url String 订购订单支付完成后跳转的url地址。 os.modelarts/order.id String 订单id,包周期资源池创建或者计费模式变更的时候该参数必需。 os.modelarts/flavor.resource.ids String 每种规格对应的resourceId,主要和cbc交互使用。 os.modelarts/tms.tags String 创建的时候由用户指定的TMS标签。 表8 PoolSpecModel 参数 参数类型 描述 type String 资源池类型。可选值如下: Dedicate:物理资源池,独立的网络,支持网络打通,定制驱动,定制作业类型。 scope Array of strings 资源池支持的作业类型。至少选择一种,物理资源池支持全部选择。可选值如下: Train:训练作业 Infer:推理作业 Notebook:Notebook作业 resources Array of resources objects 资源池中的资源规格信列表,包括资源规格和相应规格的资源数量。 network network object 资源池网络参数。物理资源池时必选。 jobFlavors Array of strings 资源池支持的作业规格信息列表,内容为作业规格名称。 driver PoolDriver object 资源池的驱动信息。 controlMode Integer 资源池的受限状态。可选值如下: 0:代表不受限 1:转包周期受限 2:规格变更受限 4:服务受限 8:冻结 16:公安冻结(不可退订) 另外状态是可以叠加的,比如9代表转包周期受限+冻结状态。 表9 resources 参数 参数类型 描述 flavor String 资源规格,比如:modelarts.vm.gpu.tnt004。 count Integer 相应规格资源数量。 azs Array of PoolNodeAz objects az列表信息。 表10 PoolNodeAz 参数 参数类型 描述 az String 可用区名称。 count Integer 指定可用区扩容时,指定可用区的节点数。 表11 network 参数 参数类型 描述 name String 网络名称;用户接口通过指定网络名称创建网络,系统会自动创建子网,用户无法创建子网。默认将创建在第一个子网下。 表12 PoolDriver 参数 参数类型 描述 gpuVersion String GPU驱动版本,物理资源池中含有GPU规格时可填,例如:"440.33"。 npuVersion String NPU驱动版本,物理资源池中含有ascend规格时可填,例如:"C78"。 updateStrategy String 驱动升级策略。可选值如下: force:强制升级,立即升级节点驱动,可能影响节点上正在运行的作业 idle:安全升级,待节点上没有作业运行时进行驱动升级 表13 PoolStatus 参数 参数类型 描述 phase String 资源池集群状态。可选值如下: Creating:创建中 Running:运行中 Abnormal:资源池不正常 Deleting:删除中 Error:资源池错误 message String 资源池处于当前状态的提示信息。 resources resources object 资源池中不同状态的资源量。 scope Array of scope objects 资源池业务状态信息。 driver driver object 资源池驱动信息。 parent String 资源池父节点名称,物理池为空。 root String 资源池根节点名称,物理池为自己的名称。 表14 resources 参数 参数类型 描述 creating PoolResourceFlavorCount object 状态为创建中状态的资源量。 available PoolResourceFlavorCount object 状态为可用状态的资源量。 abnormal PoolResourceFlavorCount object 状态为非正常状态的资源量。 deleting PoolResourceFlavorCount object 状态为删除中状态的资源量。 表15 PoolResourceFlavorCount 参数 参数类型 描述 flavor String 资源规格名称,比如:modelarts.vm.gpu.tnt004。 count Integer 规格保障使用量。 maxCount Integer 资源规格的弹性使用量,物理池该值和count相同。 azs Array of azs objects 资源所在的AZ的数量。 nodePool String 节点池名称。比如:nodePool-1。 表16 azs 参数 参数类型 描述 az String AZ的名称。 count Integer AZ的资源数量。 表17 scope 参数 参数类型 描述 scopeType String 业务类型。可选值如下: Train:训练任务 Infer:推理任务 Notebook:Notebook作业 state String 业务状态。可选值如下: Enabling:启动中 Enabled:已启动 Disabling:关闭中 Disabled:已关闭 表18 driver 参数 参数类型 描述 gpu PoolDriverStatus object GPU驱动信息。 npu PoolDriverStatus object NPU驱动信息。 表19 PoolDriverStatus 参数 参数类型 描述 version String 当前驱动版本。 state String 当前驱动状态。可选值如下: Creating:创建中 Upgrading:升级中 Running:运行中 Abnormal:不正常
  • URI GET /v2/{project_id}/pools 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 workspaceId 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 labelSelector 否 String 标签筛选。 status 否 String 资源池状态。状态为空时,返回当前有效的资源池,包括创建中和创建成功的资源池。可选值如下: created: 创建成功的资源池。 failed:创建失败的资源池,创建失败的资源池记录保留3天。 creating:创建中的资源池。
  • URI GET /v1/{project_id}/pools/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页查询返回的最大条目数,默认为200。 offset 否 Integer 分页列表的起始页,默认为0。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 tags Array of PoolTag objects 资源标签的列表。 表4 PoolTag 参数 参数类型 描述 key String 资源类型的标签 values Array of strings 资源类型的标签值 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。 状态码: 401 表6 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。 状态码: 403 表7 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。
  • 响应示例 状态码: 200 OK。 { "kind" : "NodeList", "apiVersion" : "v2", "metadata" : { }, "items" : [ { "kind" : "Node", "apiVersion" : "v2", "metadata" : { "name" : "os-node-created-zlncn", "creationTimestamp" : "2022-09-16T05:32:44Z" }, "spec" : { "flavor" : "modelarts.vm.cpu.4ud" }, "status" : { "phase" : "Available", "az" : "cn-north-7c", "privateIp" : "192.168.0.1", "resources" : { "cpu" : "3920m", "memory" : "6270Mi" }, "availableResources" : { "cpu" : "2970m", "memory" : "4558Mi" } } }, { "kind" : "Node", "apiVersion" : "v2", "metadata" : { "name" : "os-node-created-4s522", "creationTimestamp" : "2022-09-16T03:20:53Z" }, "spec" : { "flavor" : "modelarts.vm.cpu.4ud" }, "status" : { "phase" : "Available", "az" : "cn-north-7c", "privateIp" : "192.168.0.2", "resources" : { "cpu" : "3920m", "memory" : "6270Mi" }, "availableResources" : { "cpu" : "2970m", "memory" : "4558Mi" } } }, { "kind" : "Node", "apiVersion" : "v2", "metadata" : { "name" : "os-node-created-v7hfj", "creationTimestamp" : "2022-09-16T09:16:37Z" }, "spec" : { "flavor" : "modelarts.vm.cpu.4ud" }, "status" : { "phase" : "Available", "az" : "cn-north-7c", "privateIp" : "192.168.0.3", "resources" : { "cpu" : "3920m", "memory" : "6270Mi" }, "availableResources" : { "cpu" : "3720m", "memory" : "5670Mi" } } } ] } 状态码: 404 Not Found。 { "error_code" : "ModelArts.50015001", "error_msg" : "pool not found" }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 apiVersion String API版本。可选值如下: v2 kind String 资源类型。可选值如下: NodeList:节点列表 metadata NodeListMetadata object 资源列表的metadata信息。 items Array of Node objects 节点列表。 表4 NodeListMetadata 参数 参数类型 描述 continue String 分页查询时,下一次查询位置。 remainingItemCount Long 剩余资源个数。 表5 Node 参数 参数类型 描述 apiVersion String API版本。可选值如下: v2 kind String 资源类型。可选值如下: Node:节点 metadata metadata object 节点metadata信息。 spec NodeSpec object 节点期望信息。 status NodeStatus object 节点状态信息。 表6 metadata 参数 参数类型 描述 name String 节点名称。 creationTimestamp String 创建时间。 表7 NodeSpec 参数 参数类型 描述 flavor String 节点规格。 表8 NodeStatus 参数 参数类型 描述 phase String 节点当前状态。可选值如下: Available:节点可用 Creating:节点创建中 Deleting:节点删除中 Abnormal:节点不正常 Checking: 节点自检中 az String 节点所在的可用区。 privateIp String 节点的IP地址。 resources NodeResource object 节点资源量信息。 availableResources NodeResource object 节点可用资源量信息。 表9 NodeResource 参数 参数类型 描述 cpu String CPU资源量。 memory String 内存资源量。 nvidia.com/gpu String GPU节点的GPU资源量。 huawei.com/ascend-snt3 String 昇腾节点的NPU资源量。 huawei.com/ascend-snt9 String 昇腾节点的NPU资源量。 状态码: 404 表10 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。
  • URI GET /v2/{project_id}/pools/{pool_name}/nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 表2 Query参数 参数 是否必选 参数类型 描述 continue 否 String 分页查询时上一页位置。 limit 否 Integer 分页单次查询返回数。
  • 响应示例 状态码: 200 OK { "current" : 0, "data" : [ { "description" : "api-test", "feature" : "DEFAULT", "flavor" : "modelarts.vm.cpu.free", "id" : "f9937afa-ca78-45b6-bc12-7ecf42553c48", "image" : { "id" : "e1a07296-22a8-4f05-8bc8-e936c8e54090", "name" : "notebook2.0-mul-kernel-cpu-cp36", "swr_path" : "swr.xxxxx.com/atelier/notebook2.0-mul-kernel-cpu-cp36:3.3.2-release_v1", "type" : "BUILD_IN" }, "lease" : { "create_at" : 1638841805439, "duration" : 3600000, "enable" : true, "update_at" : 1638841805439 }, "name" : "notebook_5ee4bf0e", "status" : "CREATING", "token" : "58ba50c6-e8ff-245c-4840-49e51aa70737", "volume" : { "category" : "EVS", "ownership" : "MANAGED", "mount_path" : "/home/ma-user/work/", "capacity" : 50 }, "workspace_id" : "0" }, { "description" : "api-test", "feature" : "NOTEBOOK", "flavor" : "modelarts.vm.cpu.2u", "id" : "f9937afa-4451-42db-a76b-72d624749f66", "image" : { "id" : "e1a07296-22a8-4f05-8bc8-e936c8e54090", "name" : "notebook2.0-mul-kernel-cpu-cp36", "swr_path" : "swr.xxxxx.com/atelier/notebook2.0-mul-kernel-cpu-cp36:3.3.2-release_v1", "type" : "BUILD_IN" }, "lease" : { "create_at" : 1638841744515, "duration" : 3600000, "enable" : true, "update_at" : 1638841744515 }, "name" : "notebooks_test", "status" : "CREATING", "token" : "3eff13f2-3d70-5456-6dc7-e3f99f562022", "volume" : { "category" : "EVS", "ownership" : "MANAGED", "mount_path" : "/home/ma-user/work/", "capacity" : 50 }, "workspace_id" : "0" } ], "pages" : 1, "size" : 10, "total" : 2 }
  • URI GET /v1/{project_id}/notebooks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 feature 否 String 实例类别,默认为NOTEBOOK。枚举值如下: DEFAULT:CodeLab免费规格实例,每个用户最多只能创建一个。 NOTEBOOK:计费规格实例。 limit 否 Integer 每一页的数量,默认值10。 name 否 String 实例名称,支持模糊匹配查询,限制128个字符,支持大小写字母、数字、中划线和下划线。 pool_id 否 String 专属资源池ID。 offset 否 Integer 分页记录的起始位置偏移量,默认值0。 owner 否 String 实例归属的用户ID,长度为32位小写字母、数字,在大账号/有admin权限场景下生效,值通常为当前登录用户ID。 sort_dir 否 String 排序方式,ASC升序,DESC降序,默认DESC。 sort_key 否 String 排序的字段,多个字段使用(“,”)逗号分割。 status 否 String 实例状态。枚举值如下: INIT:初始化 CREATING:创建中 STARTING:启动中 STOPPING:停止中 DELETING:删除中 RUNNING:运行中 STOPPED:已停止 SNAPSHOTTING:快照中(保存镜像时的状态) CREATE_FAILED:创建失败 START_FAILED:启动失败 DELETE_FAILED:删除失败 ERROR:错误 DELETED:已删除 FROZEN:冻结 workspaceId 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
  • 响应示例 状态码: 200 OK。 { "kind" : "NodePoolList", "apiVersion" : "v2", "items" : [ { "kind" : "NodePool", "apiVersion" : "v2", "metadata" : { "name" : "modelarts.vm.2u4g.dcc-Default" }, "spec" : { "resources" : { "nodePool" : "modelarts.vm.2u4g.dcc-Default", "flavor" : "modelarts.vm.2u4g.dcc", "count" : 1, "maxCount" : 1, "network" : { "vpc" : "277e9abc-0e6b-431a-9232-cfd25d5fc566", "subnet" : "03796378-c356-4c14-826b-e4913aa9c8b9", "securityGroups" : [ "0a15b48d-06f1-41e4-b782-ade90087bf59" ] } } }, "status" : { "resources" : { "available" : { "nodePool" : "modelarts.vm.2u4g.dcc-Default", "flavor" : "modelarts.vm.2u4g.dcc", "count" : 1, "maxCount" : 1, "azs" : [ { "az" : "cn-north-7c", "count" : 1 } ] } } } }, { "kind" : "NodePool", "apiVersion" : "v2", "metadata" : { "name" : "nodepool-1" }, "spec" : { "resources" : { "nodePool" : "nodepool-1", "flavor" : "modelarts.vm.2u4g.dcc", "count" : 1, "maxCount" : 1, "network" : { "vpc" : "277e9abc-0e6b-431a-9232-cfd25d5fc566", "subnet" : "03796378-c356-4c14-826b-e4913aa9c8b9", "securityGroups" : [ "0a15b48d-06f1-41e4-b782-ade90087bf59" ] } } }, "status" : { "resources" : { "available" : { "nodePool" : "nodepool-1", "flavor" : "modelarts.vm.2u4g.dcc", "count" : 1, "maxCount" : 1, "azs" : [ { "az" : "cn-north-7c", "count" : 1 } ] } } } } ] }
  • 响应示例 状态码: 200 OK。 { "kind" : "NodeList", "apiVersion" : "v2", "metadata" : { }, "items" : [ { "kind" : "Node", "apiVersion" : "v2", "metadata" : { "name" : "node-dly-4", "creationTimestamp" : "2024-01-29T09:28:26Z" }, "spec" : { "flavor" : "modelarts.vm.2u4g.dcc" }, "status" : { "phase" : "Available", "az" : "cn-north-7c", "privateIp" : "192.168.1.132", "resources" : { "cpu" : "1930m", "memory" : "1912Mi" } } } ] } 状态码: 400 Bad request { "error_code" : "ModelArts.50004000", "error_msg" : "Bad request. invalid nodepool name" }
  • 请求示例 查询节点池的节点列表。 GET https://{endpoint}/v2/{project_id}/pools/{pool_name}/nodepools/{nodepool_name}/nodes { "kind" : "NodeList", "apiVersion" : "v2", "metadata" : { }, "items" : [ { "kind" : "Node", "apiVersion" : "v2", "metadata" : { "name" : "node-dly-4", "creationTimestamp" : "2024-01-29T09:28:26Z", "labels" : { "os.modelarts.node/cluster" : "dly-lite", "os.modelarts.node/nodepool" : "nodepool-1" } }, "spec" : { "flavor" : "modelarts.vm.2u4g.dcc", "hostNetwork" : { "vpc" : "277e9abc-0e6b-431a-9232-cfd25d5fc566", "subnet" : "03796378-c356-4c14-826b-e4913aa9c8b9", "securityGroups" : [ "0a15b48d-06f1-41e4-b782-ade90087bf59" ] } }, "status" : { "phase" : "Available", "az" : "cn-north-7c", "privateIp" : "192.168.1.132", "resources" : { "cpu" : "1930m", "memory" : "1912Mi" } } } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 apiVersion String API版本。可选值如下: v2 kind String 资源类型。可选值如下: NodeList:节点列表 metadata NodeListMetadata object 资源列表的metadata信息。 items Array of Node objects 节点列表。 表4 NodeListMetadata 参数 参数类型 描述 continue String 分页查询时,下一次查询位置。 remainingItemCount Long 剩余资源个数。 表5 Node 参数 参数类型 描述 apiVersion String API版本。可选值如下: v2 kind String 资源类型。可选值如下: Node:节点 metadata metadata object 节点metadata信息。 spec NodeSpec object 节点期望信息。 status NodeStatus object 节点状态信息。 表6 metadata 参数 参数类型 描述 name String 节点名称。 creationTimestamp String 创建时间。 表7 NodeSpec 参数 参数类型 描述 flavor String 节点规格。 表8 NodeStatus 参数 参数类型 描述 phase String 节点当前状态。可选值如下: Available:节点可用 Creating:节点创建中 Deleting:节点删除中 Abnormal:节点不正常 Checking: 节点自检中 az String 节点所在的可用区。 privateIp String 节点的IP地址。 resources NodeResource object 节点资源量信息。 availableResources NodeResource object 节点可用资源量信息。 表9 NodeResource 参数 参数类型 描述 cpu String CPU资源量。 memory String 内存资源量。 nvidia.com/gpu String GPU节点的GPU资源量。 huawei.com/ascend-snt3 String 昇腾节点的NPU资源量。 huawei.com/ascend-snt9 String 昇腾节点的NPU资源量。 状态码: 400 表10 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。
  • URI GET /v2/{project_id}/pools/{pool_name}/nodepools/{nodepool_name}/nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 nodepool_name 是 String 节点池名称。 表2 Query参数 参数 是否必选 参数类型 描述 continue 否 String 分页查询时上一页位置。 limit 否 String 分页单次查询返回数。
  • 响应示例 状态码: 200 OK。 { "kind" : "NetworkList", "apiVersion" : "v1", "metadata" : { }, "items" : [ { "kind" : "Network", "apiVersion" : "v1", "metadata" : { "name" : "network-7a03-86c13962597848eeb29c5861153a391f", "creationTimestamp" : "2022-09-16T09:44:59Z", "labels" : { "os.modelarts/name" : "network-7a03", "os.modelarts/workspace.id" : "0" }, "annotations" : { } }, "spec" : { "cidr" : "192.168.128.0/17", "connection" : { } }, "status" : { "phase" : "Active", "connectionStatus" : { } } } ] }
  • URI GET /v1/{project_id}/networks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 labelSelector 否 String 标签筛选。 limit 否 Integer 分页单次查询返回数。 continue 否 String 分页查询时上一页位置。
共100000条