检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
我创建的微调数据集会被其他用户调用去训练他们的大模型吗? 用户个人创建的数据集是属于个人账号下的专属数据,未经本人许可不会被其他人员查看到,且不会被其他用户在大模型训练时调用。 父主题: AI原生应用引擎
AI原生应用引擎支持所有数据集进行数据标注吗? 进行标注的数据集必须同时满足用途为“模型训练”、任务领域为“自然语言处理”、任务子领域为“文本生成”、数据集格式为“对话文本”四个条件。 父主题: AI原生应用引擎
String 参数解释: 知识数据集id,获取方式: 1.创建知识数据集接口返回值即为知识数据集id。 2.进入AI原生应用引擎,在左侧导航栏选择“知识中心 > 知识库”,选择页面右上角的“... > 知识数据集”,在数据集列表中,单击数据集名称,进入详情页即可获取数据集id。 约束限制: 不涉及。
附加返回字段:选择哪些字段在检索时附加返回。 单击“创建数据集和索引配置”,创建的数据集和索引配置显示在“知识数据集”页面的数据集列表中。 更多操作 创建数据集完成后,可根据需要执行如表3所示的操作。 表3 更多操作 操作 步骤 查看数据集详情 在数据集列表中单击数据集名称,在知识数据集详情页面查看数据概况、索引配置、调度历史以及溯源。
创建知识数据集 功能介绍 该接口用于创建知识数据集,可将原始文档按照一定规则进行处理,用于后续生成知识库。 调用方法 请参见如何调用API。 URI POST https://aiae.appstage.myhuaweicloud.com/v1/knowledge-datasets
String 参数解释: 知识数据集id,获取方式: 1.创建知识数据集接口返回值即为知识数据集id。 2.进入AI原生应用引擎,在左侧导航栏选择“知识中心 > 知识库”,选择页面右上角的“... > 知识数据集”,在数据集列表中,单击数据集名称,进入详情页即可获取数据集id。 约束限制: 不涉及。
String 参数解释: 知识数据集id,获取方式: 1.创建知识数据集接口返回值即为知识数据集id。 2.进入AI原生应用引擎,在左侧导航栏选择“知识中心 > 知识库”,选择页面右上角的“... > 知识数据集”,在数据集列表中,单击数据集名称,进入详情页即可获取数据集id。 约束限制: 不涉及。
String 参数解释: 知识数据集id,获取方式: 1.创建知识数据集接口返回值即为知识数据集id。 2.进入AI原生应用引擎,在左侧导航栏选择“知识中心 > 知识库”,选择页面右上角的“... > 知识数据集”,在数据集列表中,单击数据集名称,进入详情页即可获取数据集id。 约束限制: 不涉及。
优化算法在完整训练数据集上的工作轮数。 learning_rate 学习率 学习率是每一次迭代中梯度向损失函数最优解移动的步长。 weight_decay 权重衰减因子 对模型参数进行正则化的一种因子,可以缓解模型过拟合现象。 warmup_ratio 学习率热启动比例 学习率热启动参数
在资产中心页面,选择“数据集”页签。 选择“微调数据集”子页签,将鼠标光标移至数据集卡片上,单击卡片右上角。 单击工具卡片右上角的,可以取消收藏。 收藏成功后,您可以在“知识中心 > 微调数据集”页面“数据集列表”页签的“我收藏的”子页签下,查看收藏结果。 单击数据集列表操作列的“取消收藏”,可以取消收藏。
支持对数据集进行溯源。 修改数据集 在“微调数据集”页面选择“我创建的”页签。 在数据集列表勾选数据集并单击“操作”列的“修改”。 在“修改数据集”页面,仅支持修改数据集描述、修改标签名称。 删除数据集 单个删除数据集: 在“我的数据集”页面选择“我创建的”页签。 在数据集列表勾
基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对微调数据集进行数据标注 创建模型微调任务 父主题: 管理模型
在“微调数据集”页面,单击右上角“创建数据标注”。 在“创建数据标注”对话框,选择微调数据集、数据集版本,填写标注名称。 单击“确定”。新创建的标注数据集显示在列表中,继续执行标注数据集。 标注数据集 在“数据标注”列表中,单击“操作”列“标注”。 在“标注信息”页面,在“数据集文件列表”下拉列表中选择文件。
操作步骤 撤回变更电子流 在我的申请列表,单击待撤回变更电子流所在行“操作”列的。 撤回后记录依然存在,可以编辑、取消或克隆该电子流。 说明: 仅审批中的电子流可以撤回,已审批并处于变更状态的电子流无法撤回。 克隆变更电子流 在我的申请列表,单击待克隆变更电子流所在行“操作”列的。
处理运维中心变更电子流 变更电子流提交后会走给审批人处理,设置的各级审批人审批变更方案的合理性后,会走给变更实施人做变更实施,变更实施人处理后,会走给变更验证人验证变更是否成功。 处理变更电子流 进入AppStage运维中心。 将鼠标悬停在右上角的账号,选择下拉列表中的“工单管理”,默认显示“变更单管理”页面。
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":
序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 创建模型微调任务
单击“提交”。创建的数据集显示在“我创建的”页签的数据集列表中,创建数据集完成。 步骤二:创建模型微调流水线 模型微调任务是指调整大型语言模型的参数以适应特定任务的过程,通过在与任务相关的数据集上训练模型来完成。所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中,微调用于改进
需获取待更新数据集的id,支持通过如下两种方式获取: 创建知识数据集接口返回值即为知识数据集id。 进入AI原生应用引擎,在左侧导航栏选择“知识中心 > 知识库”,选择页面右上角的“... > 知识数据集”,在数据集列表中,单击数据集名称,进入详情页即可获取数据集id。 更新流程
知识数据集请求参数说明 CreateKnowledgeDataSetReq 创建知识数据集的data_set参数具有特定结构,需要按照以下实体进行构造后转成json。 表1 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 参数解释: 数据集名称。 约束限制: