检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作业API后,在这个API基础上去除末尾的/tasks即是域名。 表1 路径参数 参数 是否必选 参数类型 描述 task_id 是 String
GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作业API后,在这个API基础上去除末尾的/tasks即是域名。 表1 路径参数 参数 是否必选 参数类型 描述 task_id 是 String
看数据集的任务状态,还可执行上线、删除操作。 如果任务状态为“失败”,可能由以下原因导致: 文件后缀校验不通过,需要检查文件后缀是否一致。例如,选择创建csv格式的数据集时,文件后缀应为“.csv”。 文件内容校验不通过,需要检查上传的文件数据格式是否正确。可以在“创建原始数据集”页面下载数据样例进行比对。
如何调整训练参数,使盘古大模型效果最优 模型微调参数的选择没有标准答案,不同的场景,有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响: 目标任务的难度:如果目标任务的难度较低,模型能较容易的学习知识,那么少量的训练轮数就能达到较好的效果。反之,若任务较复杂,那么可能就需要更多的训练轮数。
无监督领域知识数据量无法支持增量预训练,如何进行模型学习 一般来说,建议采用增量预训练的方式让模型学习领域知识,但预训练对数据量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。
和真实结果之间的差距的指标,正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化趋势。一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 以下给出了几种正常的Loss曲线形式:
成功后,会返回任务id参数task_id,可获取任务ID参数值。 在Postman中新建一个GET请求,填入域名(将步骤2中获取的URL去除末尾的“/tasks”即为该域名),设置请求Header参数和任务ID参数。单击Postman界面的“Send”发送请求,以获取科学计算大模型的调用结果。
温度主要用于控制模型输出的随机性和创造性。温度越高,输出的随机性和创造性越高;温度越低,输出结果越可以被预测,确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说,如果目标任务的需要生成更具创造性的内容,可以使用较高的温度,反之如果目标任务的需要生成更为确定的内容,可以使用较低的温度。 请注意,
识别视频中是否包含Logo。 视频黑边识别 识别视频中是否包含黑边。 密集文字识别 识别视频中是否包含密集文字,达到密集文字面积占比的视频则为含密集文字视频,一般裁剪面积占比≥7%为密集文字视频。 父主题: 数据集加工算子介绍
训练指标说明 模型 训练指标 指标说明 NLP大模型 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 困惑度 用来衡量大语言模型预
请求URI 参数 说明 URI-scheme 传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 承载REST服务端点的服务器域名或IP。 resource-path 资源路径,即API访问路径。从具体API的URI模块获取。 query-string 查询参数,可选
微调数据来源: 需要针对涉及的模块分别构造相关的微调数据。 query改写模块 来源:互联网开源数据集 问答模块 来源一:互联网开源数据集,如政府网站网页、政府在线问答公开数据、政务百科等。 来源二:特定的私域数据,针对于具体场景和项目需求,收集相关的文本数据。比如通过与当地政府的政数局
训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。这里代表高空Loss(深海Loss)和表面Loss(海表Loss)的综合Loss。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 高空Loss(深海Loss)
txt文件内容如下所示: Running 视频+事件起止时间与类别标注 数据源样本为.avi或.mp4格式,标注格式为.json。必须包含两个及以上后缀名字为avi或mp4的文件。 每个视频时长要大于128s,FPS>=10,且测试集训练集都要有视频。数据集最大100万个文件,单文件最大10GB,整个数据集最大10TB。
度)。 25km*25km。 全球范围,纬度90N~-90S,经度0W~360E。 训练集和验证集均推荐使用>1个月的历史数据。 训练数据一般可通过公开数据集获取,例如ERA5。ERA5是由欧洲中期天气预报中心(ECMWF)提供的全球气候的第五代大气再分析数据集,它覆盖从1940
单击“确定”,完成参数配置。 连接大模型组件和其他组件。 配置意图识别组件 意图识别组件用于根据用户的输入进行分类并导向后续不同的处理流程。 意图识别组件一般位于工作流前置位置。在对用户的输入进行意图识别时,意图识别组件会通过大模型推理,匹配用户输入与开发者预先定义的描述类别的关键字,并根据匹配结果流向对应处理流程。
送给客户端。 temperature 否 Float 用于控制生成文本的多样性和创造力。 取值接近0表示最低的随机性,1表示最高的随机性。一般来说,temperature越低,适合完成确定性的任务。temperature越高,如0.9,适合完成创造性的任务。 temperatur