检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练NLP大模型 NLP大模型训练流程与选择建议 创建NLP大模型训练任务 查看NLP大模型训练状态与指标 发布训练后的NLP大模型 管理NLP大模型训练任务 NLP大模型训练常见报错与解决方案 父主题: 开发盘古NLP大模型
直到这些词汇的总概率累积达到核采样值,核采样值可以限制模型选择这些高概率的词汇,从而控制输出内容的多样性。建议不要与温度同时调整。 温度:用于控制生成结果的随机性。建议不要与核采样同时调整。 调高温度,会使得模型的输出更具多样性和创新性。 降低温度,会使输出内容更加遵循指令要求,但同时也会减少模型输出的多样性。
训练科学计算大模型 科学计算大模型训练流程与选择建议 创建科学计算大模型训练任务 查看科学计算大模型训练状态与指标 发布训练后的科学计算大模型 管理科学计算大模型训练任务 科学计算大模型训练常见报错与解决方案 父主题: 开发盘古科学计算大模型
盘古大模型(NLP大模型、科学计算大模型)在ModelArts Studio大模型开发平台部署后,可以通过API调用推理接口。 盘古仅提供技术能力,不对最终生成的内容负责,建议用户在使用服务的过程中,对模型生成的内容进行适当的审核和过滤,以保证内容的安全性。 父主题: 使用前必读
但也需要更多的计算资源和内存。较低的取值则意味着更少的参数更新,资源消耗更少,但模型的表达能力可能受到限制。 模型保存步数 指每训练一定数量的步骤(或批次)后,模型的状态就会被保存下来。 可以通过token_num = step * batch_size * sequence公式进行预估。其中:
小说创作,可以适当调高回复随机性数值。建议不要与核采样同时调整。 核采样 模型在输出时会从概率最高的词汇开始选择,直到这些词汇的总概率累积达到核采样值。核采样值可以限制模型选择这些高概率的词汇,从而控制输出内容的多样性,取值范围0-1。 建议不要与温度同时调整。 父主题: 手工编排Agent应用
资源不可调用。续费后可恢复正常使用,但续费的生效时间以原到期时间为准,需支付从进入保留期开始至续费时的费用。 账户欠费后,部分操作将受限,建议您尽快续费。具体受限操作如下: 按需方式的API接口不可调用。 无法开通服务。
在“标注作业”页面,单击操作列“标注”可进行数据标注。如果需要将该标注任务移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图5 标注作业 图6 移交标注任务 进入标注页面后,逐一对数据进行标注。 以标注单轮问答数据为例,需要逐一确认问题(Q)及答案(A)是
Key(SK)。下载的访问密钥为credentials.csv文件,包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“
在“标注作业”页面,单击操作列“标注”可进行数据标注。如果需要将该标注任务移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图5 标注作业 图6 移交标注任务 进入标注页面后,逐一对数据进行标注。 以标注视频Caption数据为例,需要逐一标注视频的质量,如图7。
Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 如果您的华为云账号已升级为华为账号,将不支持获取账号Token。建议为您自己创建一个IAM用户,获取IAM用户的Token。 获取Token方法: Token可通过调用“获取Token”接口获取,接口调用示例如下。
在“标注作业”页面,单击操作列“标注”可进行数据标注。如果需要将该标注任务移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图5 标注作业 图6 移交标注任务 进入标注页面后,逐一对数据进行标注。 以标注图片Caption数据为例,逐一标注图片的Captio
开头的错误码,请参见API网关错误码进行处理。遇到“APIG”开头的错误码,请参考本文档进行处理。 表1 错误码 错误码 错误信息 说明 建议解决方法 PANGU.0001 unknown error. 未知错误。 请联系服务技术支持协助解决。 PANGU.0010 parameter
query”。query为开始组件的输出变量值。 在“分类配置”中,填写相关情景分类。 相关分类为针对该分类的描述语句或者关键词,同时也将作为大模型进行推理和分类的依据。分类数量为2 ~ 5个。 在“高级配置”中配置预先部署好的模型与prompt提示词。单击“确定”,完成参数配置。 图8 意图识别组件参数配置 鼠标
步骤6:训练NLP大模型 本样例场景实现NLP大模型的训练操作。 步骤7:压缩NLP大模型 本样例场景实现NLP大模型的压缩操作。压缩是指通过减少模型的参数量或计算复杂度,在尽量保持模型性能的前提下,减小其存储需求和推理时间,从而提升模型的部署效率,尤其在资源受限的环境中具有重要意义。常见的压缩方法包括剪枝、量化、知识蒸馏等。
模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择“区域中期海洋智能预测”。 训练类型 可根据科学计算大模型适用场景和建议选择“预训练”和“微调”。 基础模型 可以选择“预置模型”和“我的模型”,模型会自带时间分辨率,会根据预设的时间间隔处理和生成预测结果。