华为云用户手册

  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一:根据指定的job_id删除 1 2 3 4 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() Estimator.delete_job_by_id(modelarts_session=session, job_id="155500") 方式二:根据创建训练作业生成的训练作业对象删除 1 status = job_instance.delete_job()
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 train_instance_count 是 Long 训练作业worker的个数。 code_dir 否 String 训练作业的代码目录,如“/bucket/src/”。当填入model_name时不需要填写。 boot_file 否 String 训练作业的代码启动文件,需要在代码目录下,如“/bucket/src/boot.py”。当填入model_name时不需要填写。 model_name 否 Long 训练作业的内置算法模型名称。填入model_name后app_url与boot_file_url不需填写,framework_type和framework_version也不需要填写。 output_path 是 String 训练作业的输出位置。 hyperparameters 否 JSON Array 训练作业的运行参数,为label-value格式;当为 自定义镜像 训练作业的时候,此参数为容器环境变量。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。 train_instance_type 是 Long 训练作业选择的资源规格。若选择在训练平台训练,请从查询资源规格列表接口获取。 framework_type 否 String 训练作业选择的引擎规格。请从查询引擎规格列表接口获取引擎规格。当填入model_name时不需要填写。 framework_version 否 String 训练作业选择的引擎版本。请从查询引擎规格列表接口获取引擎版本。当填入model_name时不需要填写。 job_description 否 String 训练作业的描述。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为:“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}”。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 示例一:使用OBS存储位置创建训练作业参数 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1) # 训练节点个数 job_config_instance = estimator.create_job_configs(config_name='my_job_config', inputs='/bucket/data/train/', config_desc='my job config') 示例二:使用数据集创建训练作业参数 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1) # 训练节点个数 job_config_instance = estimator.create_job_configs(config_name='my_job_config', dataset_id='4AZNvFkN7KYr5EdhFkH', dataset_version_id='UOF9BIeSGArwVt0oI6T', config_desc='my job config')
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 config_name 是 String 训练作业参数名称。 表2 get_job_configs_info返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 config_name String 训练作业参数的名称。 config_desc String 训练作业参数的描述信息。 worker_server_num Integer 训练作业worker的个数。 app_url String 训练作业的代码目录。 boot_file_url String 训练作业的代码启动文件。 model_id Long 训练作业的模型ID。 parameter JSON Array 训练作业的运行参数,为label-value格式;当为自定义镜像训练作业的时候,此参数为容器环境变量。 spec_id Long 训练作业资源规格ID。 data_url String 训练作业的数据集。 dataset_id String 训练作业的数据集ID。 dataset_version_id String 训练作业的数据集版本ID。 engine_type Short 训练作业的引擎类型。 engine_name String 训练作业的引擎名称。 engine_id Long 训练作业的引擎ID。 engine_version String 训练作业使用的引擎版本。 train_url String 训练作业的输出文件OBS路径URL,默认为空,如“/usr/train/”。 log_url String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/train/”。 user_image_url String 自定义镜像训练作业的自定义镜像的SWR-URL。 user_command String 自定义镜像训练作业的自定义镜像的容器的启动命令。 is_success Boolean 接口调用是否成功。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一: 根据指定的config_name查询 1 2 3 4 5 6 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator(modelarts_session=session, config_name="my_job_config") job_paras_info = estimator.get_job_configs_info() print(job_paras_info) 方式二: 根据创建训练作业参数返回的对象查询 1 2 job_paras_info = job_config_instance.get_job_configs_info() print(job_paras_info) 方式三: 根据查询训练作业参数对象列表返回的对象查询 1 2 job_paras_info = job_config_instance_list[0].get_job_configs_info() print(job_paras_info)
  • 参数说明 表1 get_built_in_algorithms请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 表2 get_built_in_algorithms返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 model_total_count Integer 模型的数量。 models JSON Array 模型的参数列表。 is_success Boolean 接口调用是否成功。 表3 models说明 参数 参数类型 描述 model_id Integer 模型ID。 model_name String 模型名称。 model_usage Integer 模型用途。 1代表图像分类 2代表检测物体的类别和位置 3代表图像语义分割 4代表 自然语言处理 model_precision String 模型精度描述。 model_size Long 模型大小,单位为字节(Byte)。 model_train_dataset String 模型训练数据集。 model_dataset_format String 使用模型需要的数据集格式。 model_description_url String 模型描述链接。 parameter JSON Array 模型的运行参数,为label-value格式;当为自定义镜像训练作业的时候,此参数为容器环境变量。该样例请参考请求样例。 create_time Long 模型的创建时间。 engine_id Long 模型的引擎ID。 engine_name String 模型的引擎名称。 engine_version String 模型的引擎版本。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() algo_info = Estimator.get_built_in_algorithms(modelarts_session=session) print(algo_info)
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一: 根据指定的visualization_id删除 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import VisualizationJob session = Session() job = VisualizationJob(modelarts_session=session, visualization_id='8992') status = job.delete_visualization_job() 方式二: 根据创建可视化作业生成的可视化作业对象删除 1 status = job_visualization_instance.delete_visualization_job() 方式三: 根据查询可视化作业对象列表返回的指定可视化作业对象删除 1 status = job_visualization_instance_list[0].delete_visualization_job()
  • 参数说明 表1 VisualizationJob请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 visualization_id 是 String 可视化作业ID。 表2 delete_visualization_job返回参数说明 参数 参数类型 描述 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一:根据指定的job_id和version_id停止 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator(session, job_id="182626", version_id="278813") status = estimator.stop_job_version() 方式二:根据创建训练作业版本生成的训练作业版本对象停止 1 status = job_version_instance.stop_job_version() 方式三:根据查询训练作业版本列表返回的指定训练作业版本对象停止 1 status = job_version_instance_list[0].stop_job_version()
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 job_id 是 String 训练作业的ID。job_id可通过创建训练作业生成的训练作业对象查询,如“job_instance.job_id”。或可通过查询训练作业列表的响应获取。 version_id 是 String 训练作业的版本ID。version_id可通过查询训练作业版本列表的响应获取。 表2 stop_job_version返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。
  • 参数说明 表1 get_visualization_job_object_list请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 status 否 String 可视化作业的运行状态,详细作业状态列表请查看作业状态参考。 per_page 否 Integer 指定每一页展示作业的总量,默认为“10”,“per_page”可选的范围为[1,100]。 page 否 Integer 指定要查询页的索引,默认为“1”。 sortBy/sort_by 否 String 当使用AK/SK认证方式时,参数名为sortBy;当使用用户名密码认证方式时,参数名为sort_by。指定查询的排序方式,默认是作业名称“job_name”,目前支持的排序还有作业描述“job_desc”,作业状态“status”,运行时长“duration”以及创建时间 “create_time”,日志存储目录“log_dir”。 order 否 String 可选值。 “asc”为递增排序,默认为“asc”。 “desc”为递减排序。 search_content 否 String 指定要查询的文字信息,例如可视化作业名字,默认为空,字符串的长度为[0,100]。 is_show 否 Boolean 是否打印可视化作业列表,默认为“True”。 表2 get_visualization_job_object_list成功响应后返回可视化作业对象列表,其中列表中的每个元素参数说明如下: 参数 类型 描述 VisualizationJob Object 可视化作业对象。该对象包含visualization_id、create_time、job_name、status属性,及对可视化作业的查询、更新、停止、重启和删除等操作。 表3 VisualizationJob属性说明 参数 参数类型 描述 create_time Long 可视化作业的创建时间。 job_name String 可视化作业的名称。 status Byte 可视化训练作业的运行状态,详细作业状态列表请参见作业状态参考。 job_id String 可视化作业ID。 is_success Boolean 接口调用是否成功。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import VisualizationJob session = Session() job_visualization_instance_list = VisualizationJob.get_visualization_job_object_list(modelarts_session=session, is_show=True, status=8, per_page=10, page=1, sort_by="create_time", order="asc", search_content="job") print(job_visualization_instance_list)
  • 参数说明 表1 VisualizationJob请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 visualization_id 是 String 可视化作业ID。 表2 update_visualization_job请求参数说明 参数 是否必选 参数类型 描述 job_desc 是 String 对可视化作业的描述,字符串的长度限制为[0,256]。 表3 update_visualization_job返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一: 根据指定的visualization_id更新 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import VisualizationJob session = Session() job = VisualizationJob(modelarts_session=session, visualization_id='8992') job_description = job.update_visualization_job(job_desc='update visualization job') 方式二: 根据创建可视化作业生成的可视化作业对象更新 1 job_description = job_visualization_instance.update_visualization_job(job_desc='update visualization job') 方式三: 根据查询可视化作业对象列表返回的指定可视化作业对象更新 1 job_description = job_visualization_instance_list[0].update_visualization_job(job_desc='update visualization job')
  • 参数说明 表1 create_visualization_job请求参数 参数 是否必选 参数类型 描述 job_name 否 String 可视化作业名称。限制为1-20位只含数字,字母,下划线,中划线的名称。 job_desc 否 String 对可视化作业的描述,默认为空,字符串的长度限制为[0, 256]。 train_url 是 String OBS路径地址。可视化文件路径,提供给可视化作业读取显示的可视化文件,通常位于训练作业的训练输出位置,在训练代码中使用“tf.summary”或“tensorboardx.SummaryWriter”等模块生成,文件名通常以“events.out.tfevents”开头。 表2 create_visualization_job成功响应说明 参数 类型 描述 VisualizationJob Object 可视化作业对象。该对象包含visualization_id、create_time、job_name、status属性,及对可视化作业的查询、更新、停止、重启和删除等操作。 表3 VisualizationJob属性说明 参数 参数类型 描述 create_time Long 可视化作业的创建时间。 job_name String 可视化作业的名称。 status Byte 可视化训练作业的运行状态,详细作业状态列表请参见作业状态参考。 job_id String 可视化作业ID。 is_success Boolean 接口调用是否成功。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import VisualizationJob session = Session() job = VisualizationJob(modelarts_session=session) job_visualization_instance = job.create_visualization_job(train_url='/bucket/train/', job_name='visualization_job', job_desc='my visualization job')
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法请参见Session鉴权。 job_id 是 String 训练作业的ID。job_id可通过创建训练作业生成的训练作业对象查询,如“job_instance.job_id”。或可通过查询训练作业列表的响应获取。 表2 update_job_description请求参数说明 参数 是否必选 参数类型 描述 description 是 String 需要更改的训练作业的描述信息。 表3 update_job_description返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一:根据指定的job_id更新 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator(modelarts_session=session, job_id="182626") job_description = estimator.update_job_description(description='update description') 方式二:根据创建训练作业生成的训练作业对象更新 1 job_description = job_instance.update_job_description(description='update description') 方式三:根据查询训练作业版本列表返回的指定训练作业版本对象更新 1 job_description = job_version_instance_list[0].update_job_description(description='update description')
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 train_instance_count 是 Long 训练作业worker的个数。 code_dir 否 String 训练作业的代码目录,如“/bucket/src/”。当填入model_name时不需要填写。 boot_file 否 String 训练作业的代码启动文件,需要在代码目录下,如“/bucket/src/boot.py”。当填入model_name时不需要填写。 model_name 否 Long 训练作业的内置算法模型名称。填入model_name后app_url与boot_file_url不需填写,framework_type和framework_version也不需要填写。“model_name”请从查询预置算法接口中获取。 output_path 是 String 训练作业的输出位置。 hyperparameters 否 JSON Array 训练作业的运行参数,为label-value格式,其中lable和value的值均为String类型;当为自定义镜像训练作业的时候,此参数为容器环境变量。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。 train_instance_type 是 Long 训练作业选择的资源规格。若选择在训练平台训练,请从查询资源规格列表接口获取。 framework_type 否 String 训练作业选择的引擎规格。请从查询引擎规格列表接口获取引擎规格。当填入model_name时不需要填写。 framework_version 否 String 训练作业选择的引擎版本。请从查询引擎规格列表接口获取引擎版本。当填入model_name时不需要填写。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为:“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}” 。 表2 create_job_version请求参数说明 参数 是否必选 参数类型 描述 job_id 是 String 训练作业的ID。job_id可通过创建训练作业生成的训练作业对象查询,如“job_instance.job_id”。或可通过查询训练作业列表的响应获取。 pre_version_id 是 Long 训练作业前一版本的ID。pre_version_id可通过创建训练作业生成的训练作业对象查询,如“job_instance.version_id”。或通过查询训练作业列表的响应获取。 inputs 是 String 训练作业的数据存储位置。inputs和dataset_id、dataset_version_id、data_source不可同时出现,但必须有其一。本地训练只支持该参数。 dataset_id 否 String 训练作业的数据集ID。应与dataset_version_id同时出现,但不可与inputs同时出现。 dataset_version_id 否 String 训练作业的数据集版本ID。应与dataset_id同时出现,但不可与inputs同时出现。 wait 否 Boolean 是否等待创建训练作业版本结束,默认为“False”。 job_desc 否 String 训练作业版本的描述。 表3 create_job_version成功响应说明 参数 类型 描述 TrainingJob Object 训练对象。该对象包含job_id、version_id等属性,及对训练作业的查询、更新、删除等操作,如可通过job_version_instance.job_id获取训练作业ID。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 示例一:使用OBS存储位置创建训练作业版本 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1) job_version_instance = estimator.create_job_version(job_id='182626', pre_version_id=278813, inputs='/bucket/data/train/', wait=False, job_desc='create a job version') 示例二:使用数据集创建训练作业版本 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1, # 训练节点个数 job_description='pytorch-sentiment with ModelArts SDK') # 训练作业描述 job_version_instance = estimator.create_job_version(job_id='182626', pre_version_id=278813, inputs='/bucket/data/train/', wait=False, job_desc='create a job version') 示例三:创建自定义镜像的训练作业版本 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator( modelarts_session=session, log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1, # 训练节点个数 user_command='bash -x /home/work/run_train.sh python /home/work/user-job-dir/app/mnist/mnist_softmax.py --data_url /home/work/user-job-dir/app/mnist_data', # 自定义镜像启动命令 user_image_url='100.125.5.235:20202/jobmng/cpu-base:1.0', # 自定义镜像下载地址 job_description='pytorch-sentiment with ModelArts SDK') # 训练作业描述 job_version_instance = estimator.create_job_version(job_id='182626', pre_version_id=278813, inputs='/bucket/data/train/', wait=False, job_desc='create a job version') 示例四:使用内置模型创建训练作业版本 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator( modelarts_session=session, model_name='Faster_RCNN_ResNet_v1_50', # 内置模型名称 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1, # 训练节点个数 job_description='pytorch-sentiment with ModelArts SDK') # 训练作业描述 job_version_instance = estimator.create_job_version(job_id='182626', pre_version_id=278813, inputs='/bucket/data/train/', wait=False, job_desc='create a job version')
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 config_name 是 String 训练作业参数名称。 表2 delete_job_configs返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一: 根据指定的config_name删除 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator(modelarts_session=session, config_name="my_job_config") status = estimator.delete_job_configs() 方式二: 根据创建训练作业参数生成的训练作业版本对象删除 1 status = job_config_instance.delete_job_configs() 方式三: 根据查询训练作业参数对象列表返回的指定训练作业版本对象删除 1 status = job_config_instance_list[0].delete_job_configs()
  • 参数说明 表1 VisualizationJob请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 visualization_id 是 String 可视化作业ID。 表2 get_visualization_job_info返回参数说明 参数 参数类型 描述 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 job_name String 可视化作业的名称。 service_url String 可视化作业的endpoint。 is_success Boolean 接口调用是否成功。 duration Long 可视化训练作业的运行时间。 create_time Long 可视化训练作业的创建时间。 train_url String 可视化训练作业输出文件OBS路径。 job_id Long 可视化训练作业的ID。 job_desc String 可视化训练作业的描述信息。 resource_id String 可视化训练作业的资源ID。 status Integer 可视化作业的运行状态,详细作业状态列表请参见作业状态参考。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一: 根据指定的visualization_id查询 1 2 3 4 5 6 from modelarts.session import Session from modelarts.estimator import VisualizationJob session = Session() job = VisualizationJob(modelarts_session=session, visualization_id='8992') job_info = job.get_visualization_job_info() print(job_info) 方式二: 根据创建可视化作业生成的可视化作业对象查询 1 2 job_info = job_visualization_instance.get_visualization_job_info() print(job_info) 方式三: 根据查询可视化作业对象列表返回的指定可视化作业对象查询 1 2 job_info = job_visualization_instance_list[0].get_visualization_job_info() print(job_info)
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一: 根据指定的visualization_id重启 1 2 3 4 5 from modelarts.session import Session from modelarts.estimator import VisualizationJob session = Session() job = VisualizationJob(modelarts_session=session, visualization_id='8992') resp = job.restart_visualization_job() 方式二: 根据创建可视化作业生成的可视化作业对象重启 1 status = job_visualization_instance.restart_visualization_job() 方式三: 根据查询可视化作业对象列表返回的指定可视化作业对象重启 1 status = job_visualization_instance_list[0].restart_visualization_job()
  • 参数说明 表1 VisualizationJob请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 visualization_id 是 String 可视化作业ID。 表2 restart_visualization_job返回参数说明 参数 参数类型 描述 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 job_id 是 String 训练作业的ID。job_id可通过创建训练作业生成的训练作业对象查询,如“job_instance.job_id”。或可通过查询训练作业列表的响应获取。 表2 get_job_version_info返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。 job_id Long 训练作业的ID。 job_name String 训练作业的名称。 job_desc String 训练作业的描述信息。 version_count Long 训练作业的版本数。 versions JSON Array 训练作业的运行版本参数。 表3 versions属性列表 参数 参数类型 描述 version_id Long 训练作业的版本ID。 version_name String 训练作业的版本名称。 pre_version_id Long 训练作业前一版本的ID。 engine_type Long 训练作业的引擎类型。 engine_id Long 训练作业的引擎ID。 engine_version String 训练作业的引擎版本。 status Integer 训练作业的状态。 app_url String 训练作业的代码目录。 boot_file_url String 训练作业的代码启动文件。 create_time Long 训练作业的创建时间。 parameter JSON Array 训练作业的运行参数,为label-value格式;当为自定义镜像训练作业的时候,此参数为容器环境变量。 duration Long 训练作业的运行时间,单位为毫秒。 spec_id Long 训练作业资源规格ID。 core String 资源规格的核数。 cpu String 资源规格CPU内存。 gpu_num Integer 资源规格GPU的个数。 gpu_type String 资源规格GPU的类型。 worker_server_num Integer 训练作业worker的个数。 data_url String 训练作业的数据集。 train_url String 训练作业输出文件OBS路径。 log_url String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。 dataset_version_id String 训练作业的数据集版本ID。 dataset_id String 训练作业的数据集ID。 data_source JSON Array 训练作业使用的多数据集。 model_id String 训练作业的模型ID。 model_metric_list JSON Array 训练作业的模型评测参数。 system_metric_list JSON Array 训练作业的系统监控指标。 user_image_url String 自定义镜像训练作业的自定义镜像的SWR-URL。 user_command String 自定义镜像训练作业的自定义镜像的容器的启动命令。 表4 data_source属性列表 参数 参数类型 描述 dataset_id String 训练作业的数据集ID。 dataset_version String 训练作业的数据集版本ID。 type String 数据集类型。 “obs”:表示使用OBS的数据。 “dataset”:表示使用数据集的数据。 data_url String OBS的桶路径。 表5 model_metric_list属性列表 参数 参数类型 描述 metric JSON Array 训练作业的模型单个分类测评参数。 total_metric JSON Array 训练作业的模型总测评参数。 表6 system_metric_list属性列表 参数 参数类型 描述 cpuUsage JSON Array 训练作业CPU资源占用率。 memUsage JSON Array 训练作业内存资源占用率。 gpuUtil JSON Array 训练作业GPU资源占用率。 表7 metric属性列表 参数 参数类型 描述 metric_values JSON Array 训练作业模型单个分类测评参数指标。 reserved_data JSON Array 预留字段。 metric_meta JSON Array 训练作业模型单个分类,包含类ID和类名。 表8 metric_values属性列表 参数 参数类型 描述 recall JSON Array 训练作业模型单个分类召回率。 precision JSON Array 训练作业模型单个分类精确率。 accuracy JSON Array 训练作业模型单个分类准确率。 表9 total_metric属性列表 参数 参数类型 描述 total_metric_meta JSON Array 预留字段。 total_reserved_data JSON Array 预留字段。 total_metric_values JSON Array 训练作业模型总测评参数指标。 表10 total_metric_values属性列表 参数 参数类型 描述 f1_score Float 训练作业模型总召回。 recall Float 训练作业模型总召回率。 precision Float 训练作业模型总精确率。 accuracy Float 训练作业模型总准确率。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一:根据指定的job_id查询 1 2 3 4 5 6 from modelarts.session import Session from modelarts.estimator import Estimator session = Session() estimator = Estimator(session, job_id="182626") job_version_info = estimator.get_job_version_info() print(job_version_info) 方式二:根据创建训练作业版本生成的训练作业版本对象查询 1 2 job_version_info = job_version_instance.get_job_version_info() print(job_version_info)
  • 参数说明 表1 get_job_configs_list请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 per_page 否 Integer 指定每一页展示作业参数的总量,默认为10,“per_page”可选的范围为[1,1000]。 page 否 Integer 指定要查询页的索引,默认为1。 sortBy/sort_by 否 String 当使用AK/SK认证方式时,参数名为sortBy;当使用账户认证方式时,参数名为sort_by。指定查询的排序方式,默认是作业名称“job_name”,目前支持的排序还有作业描述“job_desc”,作业状态“status”,运行时长“duration”,引擎类型“engine_type”以及创建时间 “create_time”。 order 否 String 可选值有: “asc”为递增排序,默认为“asc”。 “desc”为递减排序。 search_content 否 String 指定要查询的文字信息,例如参数名称。默认为空。 表2 get_job_configs_list返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 config_total_count Integer 查询到的训练作业参数的总数。 configs JSON Array configs参数属性列表。 is_success Boolean 调用是否成功。 表3 configs属性列表说明 参数 参数类型 描述 config_name String 训练作业参数的名称。 config_desc String 训练作业参数的描述信息。 create_time Long 训练作业的创建时间。 engine_type Short 训练作业的引擎类型。 engine_name String 训练作业的引擎名称。 engine_id Long 训练作业的引擎ID。 engine_version String 训练作业使用的引擎版本。
共100000条