检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古格式:使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型,请将发布格式配置为盘古格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。 当任务状态显示为“运行成功”时,说明数据流通任务执行成功,生成的“发布数据集”可在“数据工程
提示词比较支持选择两个候选提示词对其文本和参数进行比较,支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理,支持评估任务的创建、查询、修改、删除。支持创建评估任务,选择候选提示词和需要使用的变量数据集,设置评估算法,执行任务自动化对候选提示词生成结果和结果评估。 提示词管理
自监督训练: 不涉及 有监督微调: 该场景采用下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表2 问答模型的微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 4 训练轮数(epoch) 3 学习率(learning_rate) 3e-6 学习率衰
学习率设置得过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大,或者模型的学习率设置得过小
盘古格式:使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型,请将选择格式配置为盘古格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。 当任务状态显示为“运行成功”时,说明数据流通任务执行成功,生成的“发布数据集”可在“数据工程
自监督训练: 不涉及 有监督微调: 本场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表2 微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 8 训练轮数(epoch) 4 学习率(learning_rate) 7.5e-05 学
关闭时,默认管理员单人标注。 启用时,可以指定参与标注的人员及标注数量。 标注要求 选择标注项为“视频Caption”且开启AI预标注功能时,可设置以下两种方式的“标注要求”: 选择“全部标注”:要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”:允许标注
数据发布 > 数据评估”,单击界面右上角“创建评估任务”。 在“数据集选择”页签选择需要评估的加工数据集,并设置抽样样本的数量。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
数据发布 > 数据评估”,单击界面右上角“创建评估任务”。 在“数据集选择”页签选择需要评估的加工数据集,并设置抽样样本的数量与字符数。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
数据发布 > 数据评估”,单击界面右上角“创建评估任务”。 在“数据集选择”页签选择需要评估的加工数据集,并设置抽样样本的数量。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
自监督训练: 不涉及 有监督微调: 该场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表1 微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 8 训练轮数(epoch) 6 学习率(learning_rate) 7.5e-05 学
规划和分配任务,使团队协作更加高效。 此外,平台配备了完善的角色权限体系,覆盖超级管理员、管理员、模型开发工程师等多种角色。通过灵活的权限设置,每位用户能够在其对应的权限范围内安全高效地操作平台功能,从而最大程度保障数据的安全性与工作效率。 父主题: 创建并管理盘古工作空间
操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 单击左侧导航栏的“空间管理”,在“空间设置”页签可执行如下操作: 修改当前空间名称与描述。 可查看当前空间的创建时间。 单击右上角“删除”,可删除当前空间。 删除空间属于高危操作,删除前请确保当前空间不再进行使用。
字节,可以有效降低推理显存占用。 INT4:该压缩策略与INT8相比,可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后,系统将在本次压缩任务状态变更时,向用户发送短信/邮件提醒。 填写基本信息,包括任务名称、压缩后模型名称与描述,单击“立即创建”。
数据配比”,单击界面右上角“创建配比任务”。 在“数据集选择”页签选择需要配比的文本类数据集(至少选择两个),单击“下一步”。 在“数据配比”页面,可以设置不同数据集的配比数量,单击“确定”。 页面将返回至“数据配比”页面,配比任务运行成功后,状态将显示为“运行成功”。 单击操作列“生成”,将生成“发布数据集”。
话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为
其中,conversation_id参数为会话ID,唯一标识每个会话的标识符,可将会话ID设置为任意值,使用标准UUID格式。 图2 获取应用调用路径-2 使用Postman调用API 获取Token。参考《API参考》文档“如何调用REST API > 认证鉴权”章节获取Token。 在Postman中新建POS
时,表示该标注任务创建完成。 进入“标注作业”页签,单击当前标注任务的“标注”。 如果需要将该标注任务移交给其他人员,可以单击“移交”,并设置移交人员以及移交数量,单击“确定”。 进入标注页面后,逐一对数据进行标注。 如图1,以标注单轮问答数据为例,需要逐一确认问题(Q)及答案(
审计 云审计服务(Cloud Trace Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。
在“数据集选择”页签选择需要配比的文本类数据集(至少选择两个),单击“下一步”。 在“数据配比”页面,支持两种配比方式,“按数据集”和“按标签”。 按数据集:可以设置不同数据集的配比数量,单击“确定”。 按标签:该场景适用于通过数据打标类清洗算子进行加工的文本类数据集,具体标签名称与标签值可在完成清洗文