检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String 初始场数据的存放路径。 表5 TaskOutputDto 参数
aaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与
果之间的差距的指标,通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 困惑度 用来衡量大语言模型预测一个语言样本的能力,数值越低,准确率也就越高,表明模型性能越好。 指标看板 bleu-1:模型
Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。 表5 TaskOutputDto 参数 参数类型
Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。 表5 TaskOutputDto 参数 参数类型
数据资产:数据资产是指用户在平台上发布的所有数据集。这些数据集会被存储在数据资产中,用户可以随时查看数据集的详细信息,如数据格式、大小、配比比例等,同时平台会自动记录每个数据集的操作历史,例如创建、发布及上线等过程。为了进一步简化管理,平台还支持数据集的删除功能,使用户能够对数据集进行灵活管理和调整。在模型训
用于存放模型推理结果的OBS路径。 输入数据 支持选择用于存放作为初始场数据的文件路径。 预报天数 支持选择以起报时间点为开始,对天气要素或降水进行预报的天数,范围为1~14天。 起报时间 支持选择多个起报时间作为推理作业的开始时间,每个起报时间需为输入数据中存在的时间点。 表面变量 支持选择推理结果输出的表面变量,包括10m
模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。 人工评测:您可以采用人工评测的方式,参照目标任务构造评测集,通
调用盘古NLP大模型API实现文本对话 场景描述 此示例演示了如何调用盘古NLP大模型API实现文本对话功能。您将学习如何通过API接口发送请求,传递对话输入,并接收模型生成的智能回复。通过这一过程,您可以快速集成NLP对话功能,使应用具备自然流畅的交互能力。 准备工作 调用盘古
合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 数据质量:请检查训练数据的质量,若训练样本出现了大量重复数据,或者数据多样性很差,则会加剧该现象。 父主题: 大模型微调训练类问题
单击“评估名称”,进入评估任务详情页,可以查看详细的评估进度,例如在图2中有10条评估用例,当前已评估8条,剩余2条待评估。 图2 查看评估进展 评估完成后,可以查看每条数据的评估结果。 在评估结果中,“预期结果”表示变量值(问题)所预设的期望回答,“生成结果”表示模型回复的结果。通过比对“预期结果”、“生成结果”的差异可以判断提示词效果。
具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息,变量集是一个excel文件,每行数据是需要输入的变量值信息,可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”,输出模型回复结果,用户可以基于预览的效果调整提示词文本和变量。
部署方式 云上部署:算法部署至平台提供的资源池中。 边缘部署:算法部署至客户的边缘设备中。 作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式 选择 “OBS”表示将输出结果存储在OBS中。 作业配置参数 设置模型部署参数信息,平台已给出默认值。 架构类型 算法所
"start_time_interval_hours": 6, "forecast_lead_hours": 168 } } 单击Postman界面“Send”,发送请求。科学计算大模型API调用成功后,会返回任务id参数task_id,可获取任务ID参数值。 在Postman中新建一个GET请求,填入
/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。 父主题: 安全
具备。 评估作业员 拥有数据工程数据评估-评估作业模块的所有权限,其余角色不具备。 数据导入员 拥有数据工程数据获取-数据导入模块的所有权限,其余角色不具备。 数据加工员 拥有数据工程数据加工模块的所有权限,其余角色不具备。 数据发布员 拥有数据工程数据发布模块的所有权限,其余角色不具备。
NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集,并完成数据集发布操作。 训练日志提示“root: XXX valid number
科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集,并完成数据集发布操作。 训练日志提示“root: XXX valid number
ratelimit,limit:XX,time:1 minute. 发送请求超过了服务的默认配置限流。 通过重试机制,在代码里检查返回值,碰到并发错误可以延时一小段时间(如2-5s)重试请求。 后端检查上一个请求结果,上一个请求返回之后再发送下一个请求,避免请求过于频繁。 父主题: 附录