检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Terminal或ipynb文件中直接调用ModelArts SDK的接口。在Notebook中调用SDK,可直接参考接口说明,执行OBS管理、作业管理、模型管理和服务管理等操作。 ModelArts SDK支持在本地安装配置使用。使用时,需进行Session鉴权。 本地安装
户可以顺利完成某些ModelArts操作。 举例,如果用户需要用OBS中的数据进行训练,当已经为IAM用户配置ModelArts训练权限时,仍需同时为其配置对应的OBS权限(读、写、列表),才可以正常使用。其中OBS的列表权限用于支持用户从ModelArts界面上选择要进行训练的
支持发布至市场 将产生的模型发布至AI Gallery,共享给其他用户。 支持创建新版本 创建新版本,仅支持从ModelArts训练作业、OBS、模型模板、或自定义镜像中选择元模型。无法从原自动学习项目中,创建新版本。 支持删除模型或其模型版本 父主题: 使用窍门
5-72B √ x Qwen2.5-32B √ √ 前提条件 在“我的模型”页面存在已创建成功的模型。 已准备好用于存放压缩后模型权重文件的OBS桶,OBS桶必须和MaaS服务在同一个Region下。 创建压缩作业 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts
"manifest_path" : "/test-obs/classify/output/dataset-f9e8-gfghHSokody6AJigS5A/annotation/V003/V003.manifest", "data_path" : "/test-obs/classify/outp
户可以顺利完成某些ModelArts操作。 举例,如果用户需要用OBS中的数据进行训练,当已经为IAM用户配置ModelArts训练权限时,仍需同时为其配置对应的OBS权限(读、写、列表),才可以正常使用。其中OBS的列表权限用于支持用户从ModelArts界面上选择要进行训练的
"value" : { "persistent_volumes" : [ { "storage_type" : "obs_pfs", "source_address" : "/dongcong4", "mount_path" : "/var/tmp"
息写入对应的Manifest文件中。 数据集版本文件目录结构 由于数据集是基于OBS目录管理的,发布为新版本后,对应的数据集输出位置,也将基于新版本生成目录。 以图像分类为例,数据集发布后,对应OBS路径下生成,其相关文件的目录如下所示。 |-- user-specified-output-path
章节。 委托授权 为了完成AI计算的各种操作,ModelArts在AI计算任务执行过程中需要访问用户的其他服务,例如训练过程中,需要访问OBS读取用户的训练数据。在这个过程中,就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发,ModelArts代表用户
请确保训练作业已运行成功,且模型已存储至训练输出的OBS目录下(输入参数为train_url)。 针对使用常用框架或自定义镜像创建的训练作业,需根据模型包结构介绍,将推理代码和配置文件上传至模型的存储目录中。 确保您使用的OBS目录与ModelArts在同一区域。 创建模型操作步骤
本次批量服务的任务结束时间。 描述 您可以单击编辑按钮,添加服务描述。 输入数据目录位置 本次批量服务中,输入数据的OBS路径。 输出数据目录位置 本次批量服务中,输出数据的OBS路径。 模型名称&版本 本次批量服务所使用的模型名称及版本。 运行日志输出 默认关闭,批量服务的运行日志仅存放在ModelArts日志系统。
4096 文本处理时的最大长度,此处为4096,用户可根据自己要求适配 dataset identity,alpaca_en_demo 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据(可选)配置dataset_info.json文件,并将数据集存放于dataset_info
use_ascend: 是否使用Ascend onnx_runtime_model: onnx模型对象 get_shape: 是否获取模型shape信息、输入数据shape信息 resize_shape:
“启动方式” 选择“自定义”。 “镜像” 选择用于训练的自定义镜像。 “代码目录” 执行本次训练作业所需的代码目录。本文示例的代码目录为“obs://test-modelarts/ascend/code/”。 “启动命令” 镜像的Python启动命令。本文示例的启动命令为“bash
t.json" 同时也可以为“dict”类型的变量 ,如: data = { "is_training": "False", "observations": [[1,2,3,4]], "default_policy/eps:0" : "0.0" } path 否 String
模型版本。 source_job_version String 来源训练作业的版本。 source_location String 模型所在的OBS路径或SWR镜像的模板地址。 source_job_id String 来源训练作业的ID。 source_copy String 镜像复
python main.py -a resnet50 -b 128 --epochs 5 dog_cat_1w/ 此处的“demo”为用户自定义的OBS存放代码路径的最后一级目录,可以根据实际修改。 资源池:在“专属资源池”页签选择GPU规格的专属资源池。 规格:选择单GPU规格。 单击“
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的handler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的handler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
mox.file.copy_parallel(args.data_url, local_data_path) ... #上传容器本地数据至obs路径 mox.file.copy_parallel(local_output_path, args.train_url) 新版训练中,用户