检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备环境 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite k8s Cluster。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 硬盘空间:至少200GB。 Ascend资源规格: Ascend: 1*ascend-snt9b表示Ascend单卡。
出管道的具体信息。实例中“inputs”中“remote”下的“obs_url”表示从OBS桶中选择训练数据的OBS路径。实例中“outputs”中“remote”下的“obs_url”表示上传训练输出至指定OBS路径。 “spec”字段下的“flavor_id”表示训练作业所依
# 定义输入的OBS对象 obs_data = wf.data.OBSPlaceholder(name="obs_placeholder_name", object_type="directory") # 通过JobStep来定义一个训练节点,并将训练结果输出到OBS job_step_1
息写入对应的Manifest文件中。 数据集版本文件目录结构 由于数据集是基于OBS目录管理的,发布为新版本后,对应的数据集输出位置,也将基于新版本生成目录。 以图像分类为例,数据集发布后,对应OBS路径下生成,其相关文件的目录如下所示。 |-- user-specified-output-path
修复。 代码上传至OBS 将AscendSpeed代码包AscendCloud-3rdLLM-905-xxx.zip在本地解压缩后,将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传至OBS后,OBS桶的目录结构如下。 <bucket_name>
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/training-jobs/{training_job_id}/tasks/{task_id}/save-image-job 表1 路径参数 参数 是否必选 参数类型
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/tasks/{task_id}/logs/preview 表1 路径参数 参数 是否必选 参数类型 描述
代码上传至OBS 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后,将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传至OBS后,OBS桶的目录结构如下。 <bucket_name>
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/tasks/{task_id}/save-image-job 表1 路径参数 参数 是否必选 参数类型
数据源所在路径。 data_type Integer 数据类型。可选值如下: 0:OBS桶(默认值) 1:GaussDB(DWS)服务 2:DLI服务 3:RDS服务 4:MRS服务 5:AI Gallery 6:推理服务 schema_maps Array of SchemaMap objects
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/autosearch-trials/{trial_id} 表1 路径参数 参数 是否必选 参数类型 描述
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/autosearch-trials 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/metrics/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
一台可访问外网的Ubuntu服务器。如果没有请具备以下条件: 准备一台ECS服务器(建议规格选8U或者以上,镜像选择Ubuntu,建议选择22.04版本,本地存储100G),具体操作请参考《购买弹性云服务器》。 购买弹性公网IP,并绑定到购买的弹性云服务器ECS上,具体操作请参见《弹性公网IP快速入门》。
度更高。 计算节点规格 即智能标注任务使用的资源规格。 说明: 智能标注创建时免费,但OBS存储会按需收费,请参考计费详情。为保证您的资源不浪费,标注作业与后续任务完成后,请及时清理您的OBS桶。 计算节点个数 默认为1,表示单机模式。目前仅支持此参数值。 表2 预标注 参数 说明
数据源所在路径。 data_type Integer 数据类型。可选值如下: 0:OBS桶(默认值) 1:GaussDB(DWS)服务 2:DLI服务 3:RDS服务 4:MRS服务 5:AI Gallery 6:推理服务 schema_maps Array of SchemaMap objects
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。在集成至生产环境之前,需要对此API进行调测,您可以使用以下方式向在线服务发起预测请求: 方式一:使
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/autosearch-parameter-analysis 表1 路径参数 参数 是否必选 参数类型
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/autosearch-parameter-analysis/{parameter_name} 表1 路径参数
创建Workflow服务部署节点 功能介绍 通过对ModelArts服务管理能力的封装,实现Workflow新增服务和更新服务的能力。主要应用场景如下: 将模型部署为一个Web Service。 更新已有服务,支持灰度更新等能力。 属性总览 您可以使用ServiceStep来构建服务部署节点,ServiceStep结构如下