检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时,可设置以下两种方式的“标注要求”: 选择“全部标注”:要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”:允许标注人员在确认AI预标注满足要求后,直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注审核 是否审核 否,标注后不进行审核操作。
话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为
缩策略,可在选择模型后,根据页面展示的策略进行选择。 INT8:该压缩策略将模型参数压缩至8位字节,可以有效降低推理显存占用。 INT4:该压缩策略与INT8相比,可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后,系统
登录ModelArts Studio大模型开发平台。 单击“试用咨询”,进入华为云售前咨询页面。 图1 申请试用 填写姓名、联系电话等用户信息,单击“提交申请”进行表单预约。 父主题: 准备工作
续费 包周期服务到期后,您可以通过手动续费来延长服务的有效期。 包周期服务到期后,如果在保留期结束前未完成续费,后续则不能再对已过保留期的服务进行续费操作,需重新购买对应的服务。
在左侧导航栏中选择“数据工程 > 数据管理 > 数据评估”,单击界面右上角“创建评估任务”。 选择需要评估的加工数据集,并设置抽样样本的数量。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
在左侧导航栏中选择“数据工程 > 数据管理 > 数据评估”,单击界面右上角“创建评估任务”。 选择需要评估的加工数据集,并设置抽样样本的数量。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
如果需要模型以某个人设形象回答问题,可以将role参数设置为system。不使用人设时,可设置为user。在一次会话请求中,人设只需要设置一次。 content 是 String 对话的内容,可以是任意文本,单位token。 设置多轮对话时,message中content个数不能超过20。
在“创建评测任务”页面,参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明 参数分类 参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。 外
如果需要将该标注任务移交给其他人员,可以单击“移交”,并设置移交人员以及移交数量,单击“确定”。 进入标注页面后,逐一对数据进行标注。 一条数据标注完成后,单击“提交”可继续标注剩余数据。所有数据标注完成后,页面会出现标注任务成功的提示。 如果在创建标注任务时设置了“AI预标注 > 可部分标注”,则
单元默认采用包周期计费, 训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。 两种计费方式不能共存,只支持按照一种计费方式进行订购。 父主题: 计费FAQ
学习率设置得过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大,或者模型的学习率设置得过小
在左侧导航栏中选择“数据工程 > 数据管理 > 数据评估”,单击界面右上角“创建评估任务”。 选择需要评估的加工数据集,并设置抽样样本的数量。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
可用。 对收集自不同来源的数据,进行分别处理,分别过滤不可用的低质量的数据。 训练模型 自监督训练: 不涉及 有监督微调: 该场景采用下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表2 问答模型的微调核心参数设置 训练参数 设置值 数据批量大小(batch_size)
链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏,或直接删除敏感信息。 中文简繁转换 将中文简体和中文繁体进行转换。 符号标准化 查找文本中携带的非标准化符号进行标准化、统一化转换。 统一空格:将所有Unicode空格(如U+00A0、U+
时间的天气进行预测。 全球中期降水预测:通过该模型可以对未来一段时间的降水情况进行预测。 模型服务 支持选择用于启动推理作业的模型。 中期天气要素模型包括1h分辨率、3h分辨率、6h分辨率、24小时分辨率模型,即以起报时刻开始,分别可以逐1h、3h、6h、24h往后进行天气要素的预测。
在“导出模型”页面,选择需要导出的模型,应设置导出模型时对应的导出位置(OBS桶地址),添加从环境B中下载的用户证书。设置完成后单击“确定”导出模型。 图2 导出模型 导入其他局点盘古大模型 导入盘古大模型前,请确保当前空间为该用户所创建的空间。 导入模型功能可以将其他局点训练的模型导入本局点进行使用。 导入
量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类加工算子,算子能力清单见表1。 表1 图片类加工算子能力清单 算子分类 算子名称 算子描述 数据提取 图文提取 提取图文压缩包中的JSON文本和图片,并对图片进行结构化解析(BASE64编码)。
如果需要将该标注任务移交给其他人员,可以单击“移交”,并设置移交人员以及移交数量,单击“确定”。 进入标注页面后,逐一对数据进行标注。 如图1,以标注单轮问答数据为例,需要逐一确认问题(Q)及答案(A)是否正确,如果问题或答案不正确,可以对其进行二次编辑。 图1 文本类数据集标注示例 一条数
话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为