检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。 父主题: 安全
模型版本)对比来判断训练过程是否出现了问题。 人工评测:您可以采用人工评测的方式,参照目标任务构造评测集,通过横向或纵向评估评测集的方式来验证模型效果。 父主题: 大模型微调训练类
训练集选取时间区段是否不足。 训练集选择的时间区段需要至少超过模型分辨率对应时长。 预训练或微调作业失败,提示验证集数据不足。 验证集选取时间区段是否不足。 验证集选择的时间区段需要满足表2对应关系,请相应地延长验证集的时间区段时长。 数据集中盐度(S)变量在下载过程中,如图1、图2,存在数据块缺失与数
需要通过相关的服务的启动配置项关闭内网屏蔽。 请求方法 插件服务的请求方式,POST或GET。 权限校验 选择调用API时是否需要通过鉴权才可以调用。 无需鉴权:API可以公开访问,不需要任何形式的身份验证或授权。 用户级鉴权:需要用户提供身份验证信息来访问API。 需填写密钥位
安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面,获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息,请提前保存。 由于盘古大
包年/包月计费模式:包年/包月的计费模式是一种预付费方式,按订单的购买周期计费,适用于可预估资源使用周期的场景。 按需计费模式:按需付费是后付费方式,可以随时开通/关闭对应资源,支持秒级计费,系统会根据云服务器的实际使用情况每小时出账单,并从账户余额里扣款。 父主题: 计费FAQ
{1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致,导致该错误发生。 例如,训练集中的标签共有4个,验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 父主题: 训练NLP大模型
训练日志提示“root: XXX valid number is 0”报错 日志提示“root: XXX valid number is 0”,表示训练集/验证集的有效样本量为0,例如: INFO: root: Train valid number is 0. 该日志表示数据集中的有效样本量为0,可能有如下原因:
这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTPS的新版本协议。 200 OK 服务器已成功处理了请求。 201 Created 创建类的请求完全成功。 202 Accepted 已经接受请求,但未处理完成。
目录下只有1个数据文件时,文件无命名要求。 目录下有多个数据文件时,需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样,如train01.csv;验证数据名称需包含eval字样;测试数据名称需包含test字样。文件的命名不能同时包含train、eval和test中的两个或三个。
认证失败。 认证鉴权失败,请参考《API文档》认证鉴权章节重新进行认证。 PANGU.0012 auth info missing. 缺少身份验证信息。 请检查调用API时是否有传入认证鉴权信息。 PANGU.0031 Inner service exception. 服务内部异常。
训练集选取时间区段是否不足。 训练集选择的时间区段需要至少超过模型分辨率对应时长。 预训练或微调作业失败,提示验证集数据不足。 验证集选取时间区段是否不足。 验证集选择的时间区段需要满足表2对应关系,请相应地延长验证集的时间区段时长。 数据集中盐度(S)变量在下载过程中,如图1、图2,存在数据块缺失与数
一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 验证损失值 模型在验证集上的损失值。值越小,意味着模型对验证集数据的泛化能力越好。 获取训练日志 单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。 对于训练
据,同时需要完成加工作业,加工时需选择气象预处理算子。 训练集 选择训练数据中的部分时间数据,训练数据集尽可能多一些。 验证集 选择验证集中的部分时间数据,验证集数据不能跟训练集数据重合。 层次 设置训练数据的层次信息。在“预训练”场景中,可以添加或去除高空层次,训练任务将根据配置的层次信息重新训练模型。
选择预训练所需的基础模型,可从“已发布模型”或“未发布模型”中进行选择。 高级设置 checkpoints:在模型训练过程中,用于保存模型权重和状态的机制。 关闭:关闭后不保存checkpoints,无法基于checkpoints执行续训操作。 自动:自动保存训练过程中的所有checkpoints。 自
动化的评测机制,用户可以在训练过程中持续监控模型的精度、召回率等关键指标,及时发现潜在问题并优化调整。评测功能能够帮助用户在多种应用场景下验证模型的准确性与可靠性。支持基于规则的自动评测方式,NLP模型展示准确率,F1分数,BLEU、ROUGE等自动评测指标,支持支持人工评测自定
开发阶段的关键是平衡模型的复杂度和计算资源,避免过拟合,同时保证模型能够在实际应用中提供准确的预测结果。 应用与部署:当大模型训练完成并通过验证后,进入应用阶段。主要包括以下几个方面: 模型优化与部署:将训练好的大模型部署到生产环境中,可能通过云服务或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。
5个高空层特征(重力位势、u风、v风、比湿、温度)。 25km*25km。 全球范围,纬度90N~-90S,经度0W~360E。 训练集和验证集均推荐使用>1个月的历史数据。 训练数据一般可通过公开数据集获取,例如ERA5。ERA5是由欧洲中期天气预报中心(ECMWF)提供的全球
需包含annotations,train,val文件夹,annotations文件夹下用train.json和val.json记录训练集和验证集标注,train和val文件夹下保存具体的图片。 json标注文件的详细说明请参见姿态估计标注json文件说明 单个文件大小不超过50G
systemctl start rpcbind nfs-server 执行如下命令,验证以上配置内容是否正确。如下图,表示配置正确,即NFS服务安装成功。 showmount -e localhost 验证NFS配置(可选) 在非NFS服务节点创建目录: sudo mkdir ~/data