检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts的Notebook中如何对OBS的文件重命名? 由于OBS管理控制台不支持对OBS的文件重命名,当您需要对OBS文件进行重命名时需要通过调用MoXing API实现,在已有的或者新创建的Notebook中,执行如下命令,通过接口对OBS中的文件进行重命名。 具体操作如下: 如下示例为将文件“obs_file
模型基础设置里的“任务类型”选择除“文本问答”和“文本生成”之外的类型。 上传模型文件时需要确认待上传的文件是否满足自定义模型规范。如果模型要支持训练,则需要满足自定义模型规范(训练);如果模型要支持推理,则需要满足自定义模型规范(推理)。 发布模型到AI Gallery。 使用AI Gallery微调大师训练模型或使用AI
自定义镜像规范 AI Gallery支持托管自定义镜像,但是托管的自定义镜像要满足规范才支持使用AI Gallery工具链服务(微调大师、在线推理服务)。 自定义镜像的使用流程 托管自定义镜像,操作步骤请参考托管模型到AI Gallery。 如果自定义镜像要支持训练,则需要满足自定义镜像规范(训练)。
创建模型规范参考 模型包结构介绍 模型配置文件编写说明 模型推理代码编写说明 自定义引擎创建模型规范 自定义脚本代码示例 父主题: 使用ModelArts Standard部署模型并推理预测
为“/health”的健康检查服务(健康检查的URL路径必须为“/health”)。 OBS模型包规范 模型包的名字必须为model。模型包规范请参见模型包规范介绍。 文件大小规范 当使用公共资源池时,SWR的镜像大小(指下载后的镜像大小,非SWR界面显示的压缩后的镜像大小)和OBS模型包大小总和不大于30G。
标签基本属性键值对,如颜色、快捷键等。 type 否 Integer 标签类型。可选值如下: 0:图像分类 1:物体检测 3: 图像分割 100:文本分类 101:命名实体 102:文本三元组关系标签 103:文本三元组实体标签 200:语音分类 201:语音内容 202:语音分割 600:视频标注 表4
数据管理(旧版) 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 查询数据集的统计信息 查询数据集监控数据 查询数据集的版本列表 创建数据集标注版本 查询数据集版本详情 删除数据集标注版本 查询样本列表 批量添加样本 批量删除样本 查询单个样本信息 获取样本搜索条件
从OBS目录导入数据规范说明 导入数据集时,使用存储在OBS的数据时,数据的存储目录以及文件名称需满足ModelArts的规范要求。 当前只有“图像分类”、“物体检测”、“图像分割”、“文本分类”和“声音分类”标注类型支持按标注格式导入。 其中,“表格”类型的数据集,支持从OBS
如何切分ModelArts数据集? 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集
数据管理 数据集管理 数据集版本管理 样本管理 导入任务管理 导出任务管理 Manifest管理 标注任务管理
从Manifest文件导入规范说明 Manifest文件中定义了标注对象和标注内容的对应关系。此导入方式是指导入数据集时,使用Manifest文件。选择导入Manifest文件时,可以从OBS导入。当从OBS导入Manifest文件时,需确保当前用户具备Manifest文件所在OBS路径的权限。
Standard数据管理 ModelArts Standard数据管理提供了一套高效便捷的管理和标注数据框架。支持图片、文本、语音、视频等多种数据类型,涵盖图像分类、目标检测、音频分割、文本分类等多个标注场景,适用于计算机视觉、自然语言处理、音视频分析等AI项目场景。 ModelArts
activation='relu'), tf.keras.layers.Dropout(0.2), # 对输出层命名output,在模型推理时通过该命名取结果 tf.keras.layers.Dense(10, activation='softmax', name="output")
需要在创建训练作业前将相关文件上传至OBS路径下,文件打包要求请参见安装文件规范。 安装文件规范 请根据依赖包的类型,在代码目录下放置对应文件: 依赖包为开源安装包时 暂时不支持直接从github的源码中安装。 在“代码目录”中创建一个命名为“pip-requirements.txt”的文件,并且
已标注数据格式规范:语音内容 语音分割 支持 导入的是未标注数据 支持 可以导入未标注或已标注数据 已标注数据格式规范:语音分割 文本 文本分类 支持 导入的是未标注或已标注数据 已标注数据格式规范:文本分类 支持 可以导入未标注或已标注数据 已标注数据格式规范:文本分类 命名实体 支持
learning_rate 原因分析 出现该问题的可能原因是“learning_rate”的参数名称写错了。keras官方文档中说明参数“lr”已重命名为“learning_rate”,在训练代码中必须写成“learning_rate”才能调用成功。keras官方文档请参见https://github
创建模型时,如果是从OBS中导入元模型,则需要符合一定的模型包规范。 模型包规范适用于单模型场景,如果是多模型场景(例如含有多个模型文件)推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎,推荐使用自定义镜像方式。 请参考创建模型的自定义镜像规范和从0-1制作自定义镜像并创建模型,制作自定义镜像。
当model_type设置为Image,表示以自定义镜像方式创建模型,此时swr_location为必填参数。Image镜像制作规范可参见创建模型的自定义镜像规范。 runtime 否 String 模型运行时环境,系统默认使用python2.7。runtime可选值与model_ty
def _postprocess(self, data): # 这里增加自己的后处理 return str(data) 父主题: 创建模型规范参考
Notebook中无法打开“checkpoints”文件夹 checkpoints是Notebook的关键字,如果用户创建文件夹命名为checkpoints,则在JupyterLab上无法打开、重命名和删除。此时可以在Terminal里使用命令行打开checkpoints,或者新建文件夹将checkpoints里的数据移动到新的文件夹下。