检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,
模型训练任务正在排队,请稍等。 运行中 模型正在训练中,训练过程尚未结束。 停止中 模型训练正在停止中。 已停止 模型训练已被用户手动停止。 失败 模型训练过程中出现错误,需查看日志定位训练失败原因。 已完成 模型训练已完成。 查看训练指标 对于已完成训练,训练状态是“训练完成”状态的任务,单击任务名称,可
ate=0.000075,learning_rate_decay_ratio=0.01,loss曲线如图1,训练后发现模型回答政务问题存在错误,初步判定为欠拟合,可以适当增加迭代次数。当调整为epoch=5时,loss曲线如图2,训练后可以正确回答政务问题。 图1 优化超参数前 图2
以下是该场景中实际使用的数据清洗策略,供您参考: 原始文本处理。基于爬虫、数据处理平台批量处理收集到的原始数据,需要将文件统一转换成纯文本的txt文件,对错误格式数据进行删除。 构建微调数据。生成垂域微调(问答对)数据,将问答对数据分为:单轮问答数据、多轮问答数据、检索增强问答数据和其他特定的指令任务数据等类型。
Studio大模型开发平台,单击页面右上角“订购管理”。 在“订购管理”页面,单击“模型订购”页签,在订阅模型列表单击操作列“续订”。 在“续费管理”页面根据提示完成模型资产的续费操作。 退订模型资产 退订模型资产的步骤如下: 登录ModelArts Studio大模型开发平台,单击页面右上角“订购管理”。
盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com
本节介绍REST API请求的组成,并以调用服务的获取用户Token接口说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。 请求示例如图1,一个请求主要由请求URI、请求方法、请求消息头和请求消息体组成。
”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。
参数填写完成后,单击“立即创建”,回退至“模型评测 > 人工评测”页面。 当状态为“待评测”时,可以单击操作列“在线评测”进入评测页面。 依据页面提示对评估效果区域进行评测打分,全部数据评测完成后单击“提交”。 图1 人工评测示例 在“人工测评”页面,评测任务的状态将显示为“已完成”,单击操作列“评测报告”查看模型评测结果。
下问题,可以参考解决: 问题一:JSON字段缺失、JSON字段或值错误。 解决方案:对于这几种情况,需要在微调数据中增大该缺失字段的数据比例,同时也可以在Prompt中加入对该字段的强调。 问题二:JSON格式错误、JSON内容发散。 解决方案:对于这种情况,可以尝试修改推理参数
进入标注页面后,逐一对数据进行标注。 一条数据标注完成后,单击“提交”可继续标注剩余数据。所有数据标注完成后,页面会出现标注任务成功的提示。 如果在创建标注任务时设置了“AI预标注 > 可部分标注”,则可在标注部分数据后,单击右上角的“提交全部标注数据”,让AI大模型自动标注剩余数据。
取IAM用户的Token。 获取Token方法: Token可通过调用“获取Token”接口获取,接口调用示例如下: 伪码 POST https://iam.cn-southwest-2.myhuaweicloud.com/v3/auth/tokens Content-Type:
进入标注页面后,逐一对数据进行标注。 一条数据标注完成后,单击“提交”可继续标注剩余数据。所有数据标注完成后,页面会出现标注任务成功的提示。 如果在创建标注任务时设置了“AI预标注 > 可部分标注”,则可在标注部分数据后,单击右上角的“提交全部标注数据”,让AI大模型自动标注剩余数据。
如表2,根据文案生成N个爆款标题场景中出现标题重复,可以适当调整“话题重复度控制”值。 表2 话题重复度控制(presence_penalty)优化案例 提示词 话题重复度控制(presence_penalty) 模型回答 你是一个短视频博主,现在有一篇视频文案内容如下“熊爪面包,松松软软贼好吃
内容; 7.生成的内容必须完整,必须涵盖产品介绍中的每个关键点,不能丢失任何有价值的细节; 8.生成的内容必须符合客观事实,不能存在事实性错误; 9.生成的内容必须语言通顺; 10.生成的内容中不能出现“带货口播”等这一类字样; 输出格式:口播如下: xxx 方法二:产品介绍可以
参数的值为获取到的Token,如图4。 图4 获取Token值 获取的文本翻译API调用地址。华北-北京四区域的调用地址的格式如下: https://nlp-ext.cn-north-4.myhuaweicloud.com/v1/{project_id}/machine-tran
在“配置信息”页面,参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。仅在非商用环境部署时,才允许支持内
1天,纬度范围是80.48°S ~80.48°N,空间水平分辨率为1/12°,垂直方向为不等距的40层。 Hycom数据集下载链接为:https://data.hycom.org/datasets/GLBv0.08/expt_53.X/data/,用户可直接根据文件名下载所需时间的nc文件数据,如图1。