检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
值为“1小时后”。 目前支持设置为“1小时后”、“2小时后”、“4小时后”、“6小时后”、“自定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意整数。 如果您购买了套餐包,计算节点规格可选择您的套餐包,同时在“配置费用”页签还可查看您的套餐包余量以及超出部
配置数据输入和输出 单击“增加训练输入”和“增加训练输出”,用于配置训练作业开始时需要输入数据的路径和训练结束后输出数据的路径。 在“输入”的输入框内设置变量:ORIGINAL_TRAIN_DATA_PATH、ORIGINAL_HF_WEIGHT。 ORIGINAL_TRAIN_DAT
Gallery”页面中,单击右上角“我的Gallery > 我的资料”进入我的资料页面,查看“开启邮箱通知”开关,默认是打开的。如果未打开请开启。 选择“评论”页签在输入框中输入评论内容,单击“发表评论”,即可成功发布评论。资产发布者可收到评论的通知,资产评论者也会收到评论回复的通知,所有用户均可查看资产评论并回复评论,对评论点赞等。
配置数据输入和输出 单击“增加训练输入”和“增加训练输出”,用于配置训练作业开始时需要输入数据的路径和训练结束后输出数据的路径。 在“输入”的输入框内设置变量:ORIGINAL_TRAIN_DATA_PATH、ORIGINAL_HF_WEIGHT。 ORIGINAL_TRAIN_DAT
指定的OBS路径下的文件copy到容器内 输出指定的目录在训练过程中,平台会自动将容器内的文件copy到指定的OBS路径下 在“输入”的输入框内设置变量:ORIGINAL_TRAIN_DATA_PATH、ORIGINAL_HF_WEIGHT、USER_PROCESSED_DATA
产部署为在线推理服务,可供用户直接调用API完成推理业务。 约束限制 如果模型的“任务类型”是“文本问答”或“文本生成”,则支持在线推理。如果模型的“任务类型”是除“文本问答”和“文本生成”之外的类型(即自定义模型),则模型文件必须满足自定义模型规范(推理)才支持模型自定义推理。
批量服务的输出结果目录会有一个manifest文件。 假设用户输出结果路径为/test-bucket/test/,则结果存放位置如下: OBS桶/目录名 ├── test-bucket │ ├── test │ │ ├── infer-result-{{task_id}}
音频:对音频类数据进行处理,支持.wav格式,支持用户进行声音分类、语音内容、语音分割三种类型的标注。 文本:对文本类数据进行处理,支持.txt、.csv格式,支持用户进行文本分类、命名实体、文本三元组三种类型的标注。 视频:对视频类数据进行处理,支持.mp4格式,支持用户进行视频标注。
准。 存储位置 选择待发布数据集所在对象存储服务(OBS)的路径。 数据类型 至少选择一个数据集类型的标签。 可选标签:图片、音频、视频、文本、表格、其他 许可证类型 根据业务需求和数据集类型选择合适的许可证类型。 单击许可证类型后面的可以查看许可证详情。 谁可以看 设置此数据集的公开权限。可选值有:
训练文本分类模型 完成数据标注后,可进行模型的训练。模型训练的目的是得到满足需求的文本分类模型。由于用于训练的文本,至少有2种以上的分类(即2种以上的标签),每种分类的文本数不少于20个。因此在单击“继续运行”按钮之前,请确保已标注的文本符合要求。 操作步骤 在新版自动学习页面,
标签格式,此参数仅文本类数据集使用。 samples 否 Array of Sample objects 样本列表。 表3 LabelFormat 参数 是否必选 参数类型 描述 label_type 否 String 文本分类的标签类型。可选值如下: 0:标签和文本分离,以固定后缀
如需要提前上传待标注的文件,请创建一个空文件夹,然后将文本文件保存在该文件夹下,文本文件的目录结构如:“/bucketName/data/text.csv”。 标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 如您将已标注好的文本文件上传至OBS桶,请按照如下规范上传。
的项目文件整体上传至OBS中转目录上。 图6 设置中转目录 设置输入路径:本地项目对应的输入文件设置为输入路径。 图7 设置输入路径 在输入框选择输入数据所在的路径,如图9所示。 图8 填写训练输入路径 选择挂载SFS路径时,下拉框只显示有权限的SFS路径,显示“只读”的文件夹只
type Integer 标签类型。可选值如下: 0:图像分类 1:物体检测 3: 图像分割 100:文本分类 101:命名实体 102:文本三元组关系标签 103:文本三元组实体标签 200:语音分类 201:语音内容 202:语音分割 600:视频标注 表8 SearchProp
1] type Integer 标签类型。可选值如下: 0:图像分类 1:物体检测 3: 图像分割 100:文本分类 101:命名实体 102:文本三元组关系标签 103:文本三元组实体标签 200:语音分类 201:语音内容 202:语音分割 600:视频标注 表8 SampleLabelProperty
同步数据集 功能介绍 从数据集输入位置同步数据至数据集,包含样本及标注信息。文本类数据集不支持此操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v
什么是Eagle投机小模型训练 2013年12月滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布Eagle,旨在提升大语言模型的推理速度,同时保证模型输出文本的分布一致。这种方法外推LLM的第二顶层特征向量,能够显著提升生成效率。 Eagle训练了一个单层模型,使用input token和基模型
当数据完成标注后,您还可以进入已标注页签,对已标注的数据进行修改。 基于文本修改 在标注作业详情页,单击“已标注”页签,然后在文本列表中选中待修改的文本。 在文本列表中,单击文本,当文本背景变为蓝色时,表示已选择。当文本有多个标签时,可以单击文本标签上方的删除单个标签。 基于标签修改 在标注作业详情
下文以docker举例。仅做测试验证,可以不需要通过创建deployment或者volcano job的方式,直接启动容器进行测试。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1,已经把测试数据和代码打进镜像中。
自定义模型规范 AI Gallery除了支持托管文本生成和文本问答任务类型的模型,还支持托管其他任务类型的模型,其他任务类型的模型被称为自定义模型。但是托管的自定义模型要满足规范才支持使用AI Gallery工具链服务(微调大师、在线推理服务)。 自定义模型的使用流程 托管模型到AI