检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的handler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的handler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
度更高。 计算节点规格 即智能标注任务使用的资源规格。 说明: 智能标注创建时免费,但OBS存储会按需收费,请参考计费详情。为保证您的资源不浪费,标注作业与后续任务完成后,请及时清理您的OBS桶。 计算节点个数 默认为1,表示单机模式。目前仅支持此参数值。 表2 预标注 参数 说明
样本预测结果输出OBS目录,可以不输入,默认使用output_dir目录下的{service_id}-infer-result子目录。 key_sample_output 否 String 主动学习中难例的输出路径。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。
使用前必读 在调用ModelArts API之前,请确保已经充分了解ModelArts相关概念,详细信息请参见产品介绍。 ModelArts提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的handler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
准备代码 本教程中用到的训练推理代码和如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表1 支持的模型列表所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的handler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的handler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
产品优势 ModelArts服务具有以下产品优势。 稳定安全的算力底座,极快至简的模型训练 支持万节点计算集群管理。 大规模分布式训练能力,加速大模型研发。 提供高性价比国产算力。 多年软硬件经验沉淀,AI场景极致优化。 加速套件,训练、推理、数据访问多维度加速。 一站式端到端生产工具链,一致性开发体验
常见的磁盘空间不足的问题和解决办法 该章节用于统一整体所有的常见的磁盘空间不足的问题和解决办法。减少相关问题文档的重复内容。 问题现象 训练过程中复制数据/代码/模型时出现如下报错: 图1 错误日志 原因分析 出现该问题的可能原因如下: 本地数据、文件保存将"/cache"目录空间用完。
ma-cli configure鉴权命令 鉴权信息说明 在虚拟机及个人PC场景,需要配置鉴权信息,目前支持用户名密码鉴权(默认)和AK/SK鉴权; 在使用账号认证时,需要指定username和password;在使用IAM用户认证时,需要指定account、username和password;
准备代码 本教程中用到的训练推理代码和如下表所示,请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6
"sample_type" : 0, "labels" : [ ], "source" : "https://test-obs.obs.xxx.com:443/detect/data/dataset-car-and-person/IMG_kitti_0000_000016
准备代码 本教程中用到的训练推理代码和如下表所示,请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
准备代码 本教程中用到的训练推理代码和如下表所示,请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
准备代码 本教程中用到的训练推理代码和如下表所示,请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
样本预测结果输出OBS目录,可以不输入,默认使用output_dir目录下的{service_id}-infer-result子目录。 key_sample_output String 主动学习中难例的输出路径。 log_url String 训练作业的日志OBS输出路径URL,默认为空。
创建数据集:前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格,以实际界面显示为准,将会根据不同的规格计费。