华为云用户手册

  • URI GET /v2/{project_id}/workflows/{workflow_id}/executions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 limit 否 String 分页参数limit,表示单次查询的条目数上限。假如要查询20~29条记录,offset为20,limit为10。 sort_by 否 String 排序依据字段,例如sort_by=create_time,则表示以条目的创建时间进行排序。 offset 否 String 分页参数offset,表示单次查询的条目偏移数量。假如要查询20~29条记录,offset为20,limit为10。 labels 否 String 执行记录标签。 status 否 String 执行记录状态。 scene_id 否 String 场景ID。 order 否 String 排序的方式。该字段必须与sort_by同时使用。 缺省值: desc 枚举值: asc:表示升序排列, desc:降序排列。
  • URI GET /v2/{project_id}/workforces/{workforce_id}/workers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 offset 否 Integer 分页列表的起始页,默认为0。 order 否 String 指定排序顺序。可选值如下: asc:递增排序 desc:递减排序(默认值) sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) email:按邮件排序
  • 响应示例 状态码: 200 OK { "total_number" : 3, "workers" : [ { "email" : "xxx@xxx.com", "worker_id" : "b1e4054407ecb36a7bcde70f52ba37f2", "workforce_id" : "gyb7IaAvkLc5IhEY2dv", "status" : 0, "role" : 2, "description" : "", "create_time" : 1606356324223, "update_time" : 1606356324223 }, { "email" : "xxx@xxx.com", "worker_id" : "8c15ad080d3eabad14037b4eb00d6a6f", "workforce_id" : "gyb7IaAvkLc5IhEY2dv", "status" : 0, "role" : 0, "description" : "", "create_time" : 1591783804629, "update_time" : 1591783804629 }, { "email" : "xxx@xxx.com", "worker_id" : "2880f38d660dd68ca6ab578b5a1d9558", "workforce_id" : "gyb7IaAvkLc5IhEY2dv", "status" : 0, "role" : 0, "description" : "", "create_time" : 1575104629439, "update_time" : 1575104629439 } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 count Integer 团队标注任务总数。 worker_tasks Array of WorkerTask objects 分页查询到的团队标注任务列表。 表4 WorkerTask 参数 参数类型 描述 create_time Long 团队标注成员任务创建时间。 dataset_id String 成员任务关联的数据集ID。 dataset_type Integer 团队标注成员任务标注类型。 email String 团队标注成员邮箱。 email_status Integer 团队标注成员任务邮件通知状态。可选值如下: 0:表示未发送过 1:表示邮箱格式错误 2:表示邮箱地址不可达, 3:表示发送成功 last_notify_time Long 团队标注成员任务邮件最近一次通知时间戳。 pass_rate Double 团队标注成员任务验收审核通过率。 role Integer 团队标注成员角色。 sample_stats SampleStats object 团队标注成员任务样本统计信息。 score Double 团队标注成员任务样本验收审核平均评分。 task_id String 成员任务关联的团队标注任务ID。 task_status Integer 团队标注成员任务状态。可选值如下: 6:已创建。 0:启动中。 1:运行中。 2:验收中。 3:通过,即团队标注任务已完成。 4:驳回,即需要重新修改标注和审核工作。 update_time Long 团队标注成员任务更新时间。 worker_id String 团队标注成员ID。 workforce_task_name String 成员任务关联的团队标注任务名称。 表5 SampleStats 参数 参数类型 描述 accepted_sample_count Integer owner验收通过样本数目。 auto_annotation_sample_count Integer 智能标注待确认样本数目。 deleted_sample_count Integer 已删除的样本数目。 rejected_sample_count Integer owner验收不通过的样本数目。 sampled_sample_count Integer 待owner验收且被抽样的样本数目。 total_sample_count Integer 样本总数量。 unannotated_sample_count Integer 未标注样本数。 uncheck_sample_count Integer reviewer审核通过待owner验收的样本数目。 unreviewed_sample_count Integer labeler标注完未被reviewer审核的样本数目。
  • 响应示例 状态码: 200 OK { "count" : 2, "worker_tasks" : [ { "email" : "xxx@xxx.com", "worker_id" : "8c15ad080d3eabad14037b4eb00d6a6f", "role" : 0, "task_id" : "tY330MHxV9dqIPVaTRM", "workforce_task_name" : "task-cd60", "dataset_id" : "WxCREuCkBSAlQr9xrde", "sample_stats" : { "total_sample_count" : 309, "unannotated_sample_count" : 308, "unreviewed_sample_count" : 0, "uncheck_sample_count" : 1, "sampled_sample_count" : 0, "rejected_sample_count" : 0, "accepted_sample_count" : 0, "auto_annotation_sample_count" : 0 }, "create_time" : 1606224714358, "update_time" : 1606224878490, "email_status" : 3, "last_notify_time" : 0, "dataset_type" : 1, "task_status" : 1 }, { "email" : "xxx@xxx.com", "worker_id" : "8c15ad080d3eabad14037b4eb00d6a6f", "role" : 0, "task_id" : "MJVjCQDMso95a8dvUm4", "workforce_task_name" : "task-2720", "dataset_id" : "OY82gjEHxt9w1efgrhS", "sample_stats" : { "total_sample_count" : 50005, "unannotated_sample_count" : 50005, "unreviewed_sample_count" : 0, "uncheck_sample_count" : 0, "sampled_sample_count" : 0, "rejected_sample_count" : 0, "accepted_sample_count" : 0, "auto_annotation_sample_count" : 0 }, "create_time" : 1605949737134, "update_time" : 1605949737134, "email_status" : 3, "last_notify_time" : 0, "dataset_type" : 0, "task_status" : 2 } ] }
  • URI GET /v2/{project_id}/workforces/worker-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 offset 否 Integer 分页列表的起始页,默认为0。 order 否 String 排序方式。可选值如下: asc:递增排序 desc:递减排序(默认值) search_content 否 String 模糊匹配名称,默认为空。 sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) workforce_task_name:按任务名称排序
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 offset 否 Integer 查询作业的页数,最小为0。例如设置为0,则表示从第一页开始查询。 limit 否 Integer 查询作业的每页条目数。最小为1,最大为50。 sort_by 否 String 查询作业排列顺序的指标。默认使用create_time排序。 order 否 String 查询作业排列顺序,默认为“desc”,降序排序。也可以选择对应的“asc”,升序排序。 group_by 否 String 查询作业要搜索的分组条件。 filters 否 Array of Filter objects 查询作业要过滤的一系列条件。 表3 Filter 参数 是否必选 参数类型 描述 key 否 String 分组条件键值。 operator 否 String 分组条件键值键关系,支持between(范围)、like(类似)、in(包含)、not(非)。 value 否 Array of strings 分组条件键对应值。
  • 请求示例 查询训练作业。设置查询训练作业限制个数为1,查询作业名称中包含trainjob的所有训练作业数据。 POST https://endpoint/v2/{project_id}/training-job-searches?limit=1 { "offset" : 0, "limit" : 1, "filters" : [ { "key" : "name", "operator" : "like", "value" : [ "trainjob" ] }, { "key" : "create_time", "operator" : "between", "value" : [ "", "" ] }, { "key" : "phase", "operator" : "in", "value" : [ "" ] }, { "key" : "algorithm_name", "operator" : "like", "value" : [ "" ] }, { "key" : "kind", "operator" : "in", "value" : [ ] }, { "key" : "user_id", "operator" : "in", "value" : [ "" ] } ] }
  • 响应示例 状态码: 200 ok { "total" : 5059, "count" : 1, "limit" : 1, "offset" : 0, "sort_by" : "create_time", "order" : "desc", "group_by" : "", "workspace_id" : "0", "ai_project" : "default-ai-project", "items" : [ { "kind" : "job", "metadata" : { "id" : "3faf5c03-aaa1-4cbe-879d-24b05d997347", "name" : "trainjob--py14_mem06-byd-108", "description" : "", "create_time" : 1636447346315, "workspace_id" : "0", "user_name" : "ei_modelarts_q00357245_01" }, "status" : { "phase" : "Abnormal", "secondary_phase" : "CreateFailed", "duration" : 0, "start_time" : 0, "node_count_metrics" : [ [ 1636447746000, 0 ], [ 1636447755000, 0 ], [ 1636447756000, 0 ] ], "tasks" : [ "worker-0" ] }, "algorithm" : { "code_dir" : "obs://test-crq/economic_test/py_minist/", "boot_file" : "obs://test-crq/economic_test/py_minist/minist_common.py", "inputs" : [ { "name" : "data_url", "local_dir" : "/home/ma-user/modelarts/inputs/data_url_0", "remote" : { "obs" : { "obs_url" : "/test-crq/data/py_minist/" } } } ], "outputs" : [ { "name" : "train_url", "local_dir" : "/home/ma-user/modelarts/outputs/train_url_0", "remote" : { "obs" : { "obs_url" : "/test-crq/train_output/" } } } ], "engine" : { "engine_id" : "pytorch-cp36-1.4.0-v2", "engine_name" : "PyTorch", "engine_version" : "PyTorch-1.4.0-python3.6-v2" } }, "spec" : { "resource" : { "policy" : "economic", "flavor_id" : "modelarts.vm.pnt1.large.eco", "flavor_name" : "Computing GPU(Pnt1) instance", "node_count" : 1, "flavor_detail" : { "flavor_type" : "GPU", "billing" : { "code" : "modelarts.vm.gpu.pnt1.eco", "unit_num" : 1 }, "flavor_info" : { "cpu" : { "arch" : "x86", "core_num" : 8 }, "gpu" : { "unit_num" : 1, "product_name" : "GP-Pnt1", "memory" : "8GB" }, "memory" : { "size" : 64, "unit" : "GB" } } } } } } ] }
  • URI GET /v2/{project_id}/datasets/{dataset_id}/tasks 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 offset 否 Integer 分页列表的起始页,默认为0。 task_name 否 String 根据任务名称过滤。 type 否 String 任务类型,不传则默认返回智能标注(主动学习或预标注)任务列表。可选值如下: auto-label:主动学习 pre-label:预标注 auto-grouping:自动分组
  • 响应示例 状态码: 200 OK { "tasks" : [ { "dataset_id" : "OBegCXHxTJ2JHRAZWr0", "task_id" : "14cyxyu6UXaNT3lrPFl", "type" : 1, "create_time" : "2020-11-03 15:22:39", "status" : 3, "code" : "ModelArts.4996", "message" : "prelabel task execute successfully.", "elapsed_time" : 531, "result" : { "service_id" : "ee2ade80-0967-4ef3-b6da-e8c873017b9a", "service_name" : "prelabel_infer_1604388201993_xubo_cls_snt9_2_993", "hard_select_tasks" : [ { "hard_select_task_id" : "86711ab3-8ceb-4b0e-bd52-8545b184a2a7", "dataset_id" : "OBegCXHxTJ2JHRAZWr0", "dataset_name" : "xubo_cls_snt9_2", "task_status" : "import_dataset_completed", "time" : 262, "create_at" : 0, "update_at" : 0 } ] }, "progress" : 100.0, "total_sample_count" : 246, "annotated_sample_count" : 38, "unconfirmed_sample_count" : 208, "model_id" : "c717a39f-c64f-45df-a9d3-be9ed79cdcb4", "model_name" : "auto-deploy-50041602581620628", "model_version" : "0.0.1", "config" : { "ambiguity" : false, "name" : "5fXxR01TyUoiobqNEd9", "worker_server_num" : 0, "inf_config_list" : [ { "specification" : "modelarts.vm.cpu.2u", "weight" : 0, "instance_count" : 1 } ], "collect_sample" : false, "confidence_scope" : "0.0-0.5", "algorithm_type" : "supervisory", "image_brightness" : false, "image_colorfulness" : false } }, { "dataset_id" : "OBegCXHxTJ2JHRAZWr0", "task_id" : "5QPy73VwnwHi5NqvbcP", "type" : 0, "create_time" : "2020-10-31 16:11:37", "status" : 3, "code" : "ModelArts.4996", "message" : "task executed successfully.", "elapsed_time" : 397, "result" : { "train_job_name" : "BNFURaEyftGNMITaBiv", "train_job_id" : "74679", "version_id" : "89745" }, "progress" : 100.0, "total_sample_count" : 246, "annotated_sample_count" : 38, "unconfirmed_sample_count" : 198, "model_name" : "Supervisory", "model_version" : "0.0.1", "config" : { "ambiguity" : false, "worker_server_num" : 0, "collect_sample" : false, "algorithm_type" : "fast", "image_brightness" : false, "image_colorfulness" : false } } ], "total_count" : 2, "exist_running_deploy_task" : false }
  • 功能介绍 分页查询智能任务列表,包括“智能标注”和“自动分组”两大类智能任务。可通过指定“type”参数来单独查询某类任务的列表。 “智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。 “预标注”表示选择用户模型管理里面的模型进行智能标注。 “自动分组”是指先使用聚类算法对未标注图片进行聚类,再根据聚类结果进行处理,可以分组打标或者清洗图片。
  • URI GET /v1/{project_id}/services 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 service_id 否 String 服务ID,在创建服务时即可在返回体中获取,也可通过查询服务列表接口获取当前用户拥有的服务,其中service_id字段即为服务ID。默认不过滤服务ID。 service_name 否 String 服务名称,由用户创建时指定,默认不过滤服务名。 model_id 否 String 模型ID,在创建AI应用时即可在返回体中获取,也可通过查询AI应用列表接口获取当前用户拥有的AI应用,其中model_id字段即为模型ID。默认不过滤模型ID。 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 infer_type 否 String 推理方式,默认不过滤推理方式。取值包含: real-time:在线服务 batch:批量服务 edge: 边缘服务 status 否 String 服务状态,默认不过滤服务状态,取值包含: running:运行中,服务正常运行。 deploying:部署中,服务正在部署,包含打镜像和调度资源部署。 concerning:告警,后端实例部分存在异常。 failed:失败,服务部署失败,失败原因可以看事件和日志标签页。 stopped:停止。 finished:只有批量服务会有这个状态,表示运行完成。 stopping: 停止中。 deleting: 删除中。 pending: 待启动,仅在线有这个状态。 waiting: 资源排队中,仅在线服务有这个状态。 offset 否 Integer 分页列表的起始页,默认为0。 limit 否 Integer 指定每一页返回的最大条目数,默认为1000。 sort_by 否 String 指定排序字段,枚举值如下: publish_at: 服务发布时间,默认值 service_name: 服务名称 transition_at:更新时间 order 否 String 排序方式,枚举值如下: asc : 递增排序 desc: 递减排序,默认值 tags 否 String 标签,默认不过滤标签。
  • 响应示例 状态码: 200 服务列表 { "total_count" : 1, "count" : 1, "services" : [ { "failed_times" : 1, "owner" : "b575785bcece44beb23597770fb819f9", "infer_type" : "real-time", "service_name" : "mnist", "description" : "", "project" : "b575785bcece44beb23597770fb819f9", "invocation_times" : 50, "publish_at" : 1243143243, "workspace_id" : 0, "is_shared" : false, "service_id" : "195c1f2d-136d-40af-a0f3-db5717d2634a", "shared_count" : 0, "tenant" : "b575785bcece44beb23597770fb819f9", "status" : "running" } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 tags Array of CombineTmsTags objects 标签的融合结构,相同key合并。 表4 CombineTmsTags 参数 参数类型 描述 key String 标签的key。 values Array of strings 相同key的标签value合并后的列表。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。 状态码: 401 表6 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。 状态码: 403 表7 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。
  • 响应示例 状态码: 200 OK { "labels" : [ { "name" : "Rabbits", "type" : 0, "property" : { "@modelarts:color" : "#3399ff" } }, { "name" : "Bees", "type" : 0, "property" : { "@modelarts:color" : "#3399ff" } } ], "metadata" : { }, "labelers" : [ "human/test_123/test_123", "human/xxx@xxx.com", "human/xxx@xxx.com" ] }
  • 响应示例 状态码: 200 OK { "sample_count" : 2, "samples" : [ { "sample_id" : "012f99f3cf405860130b6ed2350c2228", "sample_type" : 0, "labels" : [ { "name" : "car", "type" : 0, "property" : { } } ], "source" : "https://test-obs.obs.xxx.com:443/image/aifood/%E5%86%B0%E6%BF%80%E5%87%8C/36502.jpg?AccessKeyId=RciyO7RHmhNTfOZVryUH&Expires=1606296688&x-image-process=image%2Fresize%2Cm_lfit%2Ch_200&Signature=icyvHhFew9vnmy3zh1uZMP15Mbg%3D", "metadata" : { "@modelarts:import_origin" : 0 }, "sample_time" : 1589190552106, "sample_status" : "MANUAL_ANNOTATION", "labelers" : [ { "email" : "xxx@xxx.com", "worker_id" : "5d8d4033b428fed5ac158942c33940a2", "role" : 0 } ] }, { "sample_id" : "0192f3acfb000666033a0f85c21577c7", "sample_type" : 0, "labels" : [ { "name" : "car", "type" : 0, "property" : { } } ], "source" : "https://test-obs.obs.xxx.com:443/image/aifood/%E5%86%B0%E6%BF%80%E5%87%8C/36139.jpg?AccessKeyId=RciyO7RHmhNTfOZVryUH&Expires=1606296688&x-image-process=image%2Fresize%2Cm_lfit%2Ch_200&Signature=RRr9r2cghLCXk%2B0%2BfHtYJi8eZ4k%3D", "metadata" : { "@modelarts:import_origin" : 0 }, "sample_time" : 1589190543327, "sample_status" : "MANUAL_ANNOTATION", "labelers" : [ { "email" : "xxx@xxx.com", "worker_id" : "a2abd3f27b4e92c593c15282f8b6bd29", "role" : 0 } ] } ] }
  • URI GET /v2/{project_id}/datasets/{dataset_id}/data-annotations/samples 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 email 否 String 标注团队成员邮箱。 high_score 否 String 置信度上界,默认为1。 label_name 否 String 标签名。 label_type 否 Integer 标注类型。可选值如下: 0:图像分类 1:物体检测 3: 图像分割 100:文本分类 101:命名实体 102:文本三元组 200:声音分类 201:语音内容 202:语音分割 400:表格数据集 600:视频标注 900:自由格式 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 locale 否 String 语言。可选值如下: zh-cn:中文 en-us:英文(默认值) low_score 否 String 置信度下界,默认为0。 offset 否 Integer 分页列表的起始页,默认为0。 order 否 String 指定查询的排序顺序。可选值如下: asc:递增排序 desc:递减排序(默认值) preview 否 Boolean 是否支持预览。可选值如下: true:支持预览 false:不支持预览 process_parameter 否 String 图像缩略设置,同OBS缩略图设置,详见OBS缩略图设置。如:image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 sample_state 否 String 样本状态。可选样本状态如下: __ALL__:已标注 __NONE__:未标注 __UNCHECK__:待验收 __ACCEPTED__:验收通过 __REJECTED__:已驳回 __UNREVIEWED__:待审核 __REVIEWED__:已审核 __WORKFORCE_SAMPLED__:已采样 __WORKFORCE_SAMPLED_UNCHECK__:采样待验收 __WORKFORCE_SAMPLED_CHECKED__:采样已验收 __WORKFORCE_SAMPLED_ACCEPTED__:采样已通过 __WORKFORCE_SAMPLED_REJECTED__:采样已驳回 __AUTO_ANNOTATION__:待确认 sample_type 否 Integer 样本文件类型。可选值如下: 0:图像 1:文本 2:音频 4:表格 6:视频 9:自由格式(默认值) search_conditions 否 String URL编码后的多维筛选条件(多个SearchCondition之间为and的关系)。 version_id 否 String 数据集版本ID。
  • URI GET /v1/{project_id}/resourceflavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 continue 否 String 分页查询时上一页位置。 labelSelector 否 String 标签筛选。 limit 否 Integer 分页数目。
  • 响应示例 状态码: 200 OK。 { "kind" : "ResourceFlavorList", "apiVersion" : "v1", "metadata" : { }, "items" : [ { "kind" : "ResourceFlavor", "apiVersion" : "v1", "metadata" : { "name" : "modelarts.vm.cpu8u32g", "labels" : { } }, "spec" : { "cpuArch" : "x86", "cpu" : "8", "memory" : "32Gi", "type" : "Dedicate", "billingCode" : "modelarts.vm.cpu.8ud", "billingModes" : [ 0 ] }, "status" : { "phase" : { "cn-north-7a" : "soldout", "cn-north-7b" : "soldout", "cn-north-7c" : "normal" } } } ] } 状态码: 401 Authorization failed. { "error_code" : "ModelArts.50001000", "error_msg" : "token is invalid" } 状态码: 404 Not found. { "error_code" : "ModelArts.50005101", "error_msg" : "Resourceflavor not found." }
  • 功能介绍 查询处理任务列表,包括“特征分析”任务和“数据处理”两大类任务。可通过指定“task_type”参数来单独查询某类任务的列表。 “特征分析”是指基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,并绘制可视化曲线,帮助处理数据集。 “数据处理”是指从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。“数据处理”又分为“数据校验”、“数据清洗”、“数据选择”和“数据增强”四类。 “数据校验”表示对数据集进行校验,保证数据合法。 “数据清洗”表示对数据进行去噪、纠错或补全的过程。 “数据选择”表示从全量数据中选择数据子集的过程。 “数据增强”表示通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。
  • 请求示例 查询某个数据集的特征分析任务历史列表 GET https://{endpoint}/v2/{project_id}/processor-tasks?offset=0&limit=10&sort_by=create_time&order=desc&source_type=DATASET&source=X6c3N3eztX7cr3Arvqu&task_type=sys_data_analyse&return_result=false&query_current=false 查询某个数据集指定版本列表的最新特征分析任务结果 GET https://{endpoint}/v2/{project_id}/processor-tasks?offset=0&limit=100&source_type=DATASET&source=X6c3N3eztX7cr3Arvqu&version_id=XwTuRqI9En7xuZskW70%2CJ4Eh2FDEWH1qnDlD3hQ&task_type=sys_data_analyse&return_result=true&query_current=true
  • URI GET /v2/{project_id}/processor-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 offset 否 Integer 分页列表的起始页,默认为0。 order 否 String 指定查询的排序顺序。可选值如下: asc:递增排序 desc:递减排序(默认值) query_current 否 Boolean 是否只查询数据集版本最新的任务。可选值如下: true:只查询数据集版本最新的任务 false:查询数据集版本的所有任务(默认值) return_result 否 Boolean 是否返回任务结果。可选值如下: true:返回任务结果(默认值) false:不返回任务结果 sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) name:按任务名称排序 duration_seconds:按运行时间排序 source 否 String 指定查询的数据源所在路径。可选值如下: 如果type是OBS,source为OBS路径; 如果type是TASK,source为任务ID; 如果type是DATASET,source为dataset_id; 如果type是CUSTOM且是资源租户调用,source为真实用户的project_id, 否则不需要这个字段 source_type 否 String 指定查询的数据源类型,不传默认是查询所有的数据源。可选值如下: OBS:数据来源于OBS TASK:数据处理任务 DATASET:数据集 CUSTOM:资源租户调用 status 否 Integer 指定查询的任务状态,不传则默认是查询所有状态的任务。可选值如下: 0:初始化 1:运行中 2:已完成 3:失败 4:停止 task_name 否 String 模糊匹配名称。 task_type 否 String 任务类型,即数据处理模板ID。可选值如下: sys_data_analyse:特征分析 sys_data_cleaning:数据清洗 sys_data_augmentation:数据增强 sys_data_validation:数据校验 sys_data_selection:数据筛选 version_id 否 Array 指定查询数据集的版本ID列表。 workspace_id 否 String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
  • 响应示例 状态码: 200 OK { "count" : 1, "tasks" : [ { "task_id" : "ddwRJeTnjpiq4dNUZOq", "name" : "V001", "data_source" : { "type" : "DATASET", "source" : "X6c3N3eztX7cr3Arvqu" }, "inputs" : [ { "type" : "DATASET", "source" : "X6c3N3eztX7cr3Arvqu" } ], "template" : { "id" : "sys_data_analyse", "name" : "data analyse template name", "operator_params" : [ { "id" : "sys_data_analyse", "params" : { "op_list" : [ ], "task_type" : "image_classification", "manifest_path" : "s3://test-obs/classify/output/dataset-3026-X6c3N3eztX7cr3Arvqu/annotation/V001/V001.manifest", "file_path" : "s3://test-obs/classify/output/dataset-3026-X6c3N3eztX7cr3Arvqu/annotation/evaluation/V001", "is_normed" : false } } ] }, "status" : 2, "duration_seconds" : 11, "create_time" : 1606372570023, "version_id" : "J4Eh2FDEWH1qnDlD3hQ", "version_name" : "V001", "is_current" : true } ] }
  • 响应示例 状态码: 200 OK { "count" : 2, "versions" : [ { "task_version_id" : "qSaudx2sbPvthHygckA", "task_id" : "kM7j9TSa611ZzBThzSr", "version_name" : "V002", "description" : "", "status" : 0, "create_time" : 1606377874450, "inputs" : [ { "type" : "DATASET", "source" : "PYc9H2HGv5BJNwBGXyK", "version_id" : "Osc8SZ7TZStiRV4vYkZ", "name" : "dataset-test", "version_name" : "V0010" } ], "work_path" : { "type" : "DATASET", "path" : "PYc9H2HGv5BJNwBGXyK", "name" : "dataset-test", "version_name" : "V0011", "output_path" : "/test-obs/classify/output/qSaudx2sbPvthHygckA/" }, "template" : { "id" : "sys_data_validation", "name" : "name to translate", "operator_params" : [ { "name" : "MetaValidation", "advanced_params_switch" : false, "params" : { "task_type" : "image_classification", "dataset_type" : "manifest", "source_service" : "select", "filter_func" : "data_validation_select", "image_max_width" : "1920", "image_max_height" : "1920", "total_status" : "[0,1,2]" } } ] }, "duration_seconds" : 151 }, { "task_version_id" : "YHFWU18zXuNbqxtzegG", "task_id" : "kM7j9TSa611ZzBThzSr", "version_name" : "V001", "description" : "", "status" : 2, "create_time" : 1606375407276, "inputs" : [ { "type" : "DATASET", "source" : "PYc9H2HGv5BJNwBGXyK", "version_id" : "yoJ5ssClpNlOrsjjFDa", "name" : "dataset-test", "version_name" : "V009" } ], "work_path" : { "type" : "DATASET", "path" : "PYc9H2HGv5BJNwBGXyK", "name" : "dataset-test", "version_id" : "Osc8SZ7TZStiRV4vYkZ", "version_name" : "V0010", "output_path" : "/test-obs/classify/output/YHFWU18zXuNbqxtzegG/" }, "template" : { "id" : "sys_data_validation", "name" : "name to translate", "operator_params" : [ { "name" : "MetaValidation", "advanced_params_switch" : false, "params" : { "task_type" : "image_classification", "dataset_type" : "manifest", "source_service" : "select", "filter_func" : "data_validation_select", "image_max_width" : "1920", "image_max_height" : "1920", "total_status" : "[0,1,2]" } } ] }, "duration_seconds" : 812, "origin_sample_count" : 18, "add_sample_count" : 0, "modified_sample_count" : 0, "unmodified_sample_count" : 18, "deleted_sample_count" : 0 } ] }
  • URI GET /v2/{project_id}/processor-tasks/{task_id}/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为100。 offset 否 Integer 分页列表的起始页,默认为0。 order 否 String 指定查询的排序顺序。可选值如下: asc:递增排序 desc:递减排序(默认值) sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) version_name:按任务版本名称排序
  • 响应示例 状态码: 200 OK { "count" : 3, "results" : [ { "sample_id" : "0ac9aee517acbef965f547bb5a3268af", "version_id" : "7PoIhUzSk92OglQrTxr", "origin_source" : "s3://test-obs/classify/data/animals/8.jpg", "new_source" : "obs://test-obs/classify/output/7PoIhUzSk92OglQrTxr/Data/8.jpg", "signed_origin_source" : "https://test-obs.obs.xxx.com:443/classify/data/animals/8.jpg?AccessKeyId=I5IZ9R29S1W9WACNJJ0J&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jQ5yFSR1TfKXjeawutgyAnMranimalsNaSkeSBOKK...&Signature=GbnVBZ5JxUWhiAulUzpV9TD835Q%3D", "signed_new_source" : "https://test-obs.obs.xxx.com:443/classify/output/7PoIhUzSk92OglQrTxr/Data/8.jpg?AccessKeyId=I5IZ9R29S1W9WACNJJ0J&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jQ5yFSR1TfKXjeawutgyAnMranimalsNaSkeSBOKK...&Signature=Q5stFFFfVx9kykR49S8PPBlFqe0%3D", "result_property" : 3, "result_description" : [ [ "use AddNoise augmentation" ], [ "result_description to translate" ] ] }, { "sample_id" : "196799b2d731727b1800b70851fc60b0", "version_id" : "7PoIhUzSk92OglQrTxr", "origin_source" : "s3://test-obs/classify/data/animals/2.jpg", "new_source" : "obs://test-obs/classify/output/7PoIhUzSk92OglQrTxr/Data/2.jpg", "signed_origin_source" : "https://test-obs.obs.xxx.com:443/classify/data/animals/2.jpg?AccessKeyId=QEKFB6WFGZWC2YUP2JPK&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jdUZcXVRCNOHjWNNWiuu2E9Q...&Signature=6yvhJufi5kQO6UjToQgR0ztP%2Bis%3D", "signed_new_source" : "https://test-obs.obs.xxx.com:443/classify/output/7PoIhUzSk92OglQrTxr/Data/2.jpg?AccessKeyId=QEKFB6WFGZWC2YUP2JPK&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jdUZcXVRCNOHjWNNWiuu2E...&Signature=Zr%2BAEBDJwKS%2FpS6vzxK7MSzjblA%3D", "result_property" : 3, "result_description" : [ [ "use AddNoise augmentation" ], [ "result_description to translate" ] ] }, { "sample_id" : "1dc7351b78dcb24850f71d20267edd0e", "version_id" : "7PoIhUzSk92OglQrTxr", "origin_source" : "s3://test-obs/classify/data/animals/import_1603716822103/test-obs/classify/output/E8ZLnTQvPBVtbZ6QsAp/Data/13.jpg", "new_source" : "obs://test-obs/classify/output/7PoIhUzSk92OglQrTxr/Data/13.jpg", "signed_origin_source" : "https://test-obs.obs.xxx.com:443/classify/data/animals/import_1603716822103/test-obs/classify/output/E8ZLnTQvPBVtbZ6QsAp/Data/13.jpg?AccessKeyId=W6TSX9F1BRS8AUBDYKPY&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jVVFic8iObvdqZLuWxyIHlAjbJPCTX...&Signature=WV73XnoMkBDoSuVe%2BFSUaP1GxKw%3D", "signed_new_source" : "https://test-obs.obs.xxx.com:443/classify/output/7PoIhUzSk92OglQrTxr/Data/13.jpg?AccessKeyId=W6TSX9F1BRS8AUBDYKPY&Expires=1606380154&x-obs-security-token=gQpjbi1ub3J0aC03jVVFic8iObvdqZLuWxyIHlAjbJPCTXeYXkQh8z...&Signature=%2FYsgrsbyrz5ZQrndrQ9QyoHluYQ%3D", "result_property" : 3, "result_description" : [ [ "use AddNoise augmentation" ], [ "result_description to translate" ] ] } ], "has_more" : true }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 count Integer 结果总数。 has_more Boolean 是否已返回全部结果。 results Array of DescProcessorTaskVersionResultsResp objects 分页展示的结果。 表4 DescProcessorTaskVersionResultsResp 参数 参数类型 描述 new_source String 处理后样本的地址。 origin_source String 样本的原地址。 result_description Array of objects 样本的处理描述。 result_property Integer 样本的处理状态。可选值如下: -1:全部 0:保留 1:修改 2:删除 3:新增 sample_id String 样本ID,通过OBS路径的md5生成。 signed_new_source String 签名后的处理后样本地址。 signed_origin_source String 签名后的原样本地址。 version_id String 数据处理任务的版本ID。
  • URI GET /v2/{project_id}/processor-tasks/{task_id}/versions/{version_id}/results 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String 数据处理任务的版本ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 offset 否 Integer 分页列表的起始页,默认为0。 process_parameter 否 String 图像缩略设置,同OBS缩略图设置,详见OBS缩略图设置。如:image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 result_property 否 String 样本状态,不传或传-1默认返回全部样本。可选值如下: -1:全部 0:保留 1:修改 2:删除 3:新增
  • 响应示例 状态码: 200 OK。 { "kind" : "PoolList", "apiVersion" : "v2", "items" : [ { "kind" : "Pool", "apiVersion" : "v2", "metadata" : { "name" : "auto-pool-os-86c13962597848eeb29c5861153a391f", "creationTimestamp" : "2022-09-16T03:10:40Z", "labels" : { "os.modelarts/name" : "auto-pool-os", "os.modelarts/workspace.id" : "0", "os.modelarts/resource.id" : "maos-auto-pool-os-72w8d" }, "annotations" : { "os.modelarts/description" : "", "os.modelarts/billing.mode" : "0" } }, "spec" : { "type" : "Dedicate", "scope" : [ "Train", "Infer" ], "resources" : [ { "flavor" : "modelarts.vm.cpu.4ud", "count" : 2 } ], "network" : { "name" : "network-maos-86c13962597848eeb29c5861153a391f" } }, "status" : { "phase" : "Running", "root" : "auto-pool-os-86c13962597848eeb29c5861153a391f", "scope" : [ { "scopeType" : "Train", "state" : "Enabled" }, { "scopeType" : "Infer", "state" : "Enabled" } ], "resources" : { "available" : [ { "flavor" : "modelarts.vm.cpu.4ud", "count" : 2, "azs" : [ { "az" : "cn-north-7c", "count" : 2 } ] } ] } } } ] }
共100000条