检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
考察模型逻辑 虽然模型的思考过程是个黑盒,但可以通过反问模型答案生成的逻辑或提问模型是否理解任务要求,考察模型生成的逻辑,提升模型思维过程的可解释性。 对于模型答案的反问 如果模型给出了错误的答案,可以反问模型回答的逻辑,有时可以发现错误回答的根因,并基于此修正提示词。 在反问时
模型训练”,进入模型训练页面,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启动”,再单击弹窗的“确定”,可以启动训练任务。 克隆。单击操作列的“更多 > 克隆”,可以复制当前训练任务。 重试。单击操作列的“更多
目标任务的难度较大,或者模型的学习率设置得过小,导致模型的收敛速度太慢,无法达到最优解。您可以尝试增大训练轮数或者增大学习率的方式来解决。 图4 异常的Loss曲线:平缓且保持高位 Loss曲线异常抖动:Loss曲线异常抖动的原因可能是由于训练数据质量差,比如数据存在噪声或者分布
使用API调用科学计算大模型 使用API调用科学计算大模型步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“模型开发 > 模型部署”。 若调用已部署的模型,单击状态为“运行中”的模型名称,在“详情”页签,可获取API的URL。 图1 获取已部署模型的调用路径
指标,模型的训练指标介绍请参见表2。 图1 查看训练指标 表2 训练指标说明 模型 训练指标 指标说明 NLP大模型 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,
气象/降水模型 创建推理作业 查询推理作业详情 父主题: 科学计算大模型
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集,该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时,所需数据量见表1。 表1 构建NLP大模型所需数据量 模型规格
训练科学计算大模型 科学计算大模型训练流程与选择建议 创建科学计算大模型训练任务 查看科学计算大模型训练状态与指标 发布训练后的科学计算大模型 管理科学计算大模型训练任务 科学计算大模型训练常见报错与解决方案 父主题: 开发盘古科学计算大模型
部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题: 开发盘古科学计算大模型
创建科学计算大模型中海洋类模型的推理作业。 URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取: 登录ModelArts Studio大模型开发平台,进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发 >
NLP大模型 文本对话 父主题: API
在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作: 表2 盘古科学计算大模型支持的操作 模型 预训练 微调
创建科学计算大模型中气象/降水模型的推理作业。 URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取: 登录ModelArts Studio大模型开发平台,进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发 >
助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品,方便地构建自己的模型和应用。 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。 该
2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致,导致该错误发生。 例如,训练集中的标签共有4个,验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 父主题: 训练NLP大模型
作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启动”,再单击弹窗的“确定”,可以启动训练任务。 克隆。单击操作列的“更多 > 克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可
训练NLP大模型 NLP大模型训练流程与选择建议 创建NLP大模型训练任务 查看NLP大模型训练状态与指标 发布训练后的NLP大模型 管理NLP大模型训练任务 NLP大模型训练常见报错与解决方案 父主题: 开发盘古NLP大模型
模型能力与规格 盘古NLP大模型能力与规格 盘古科学计算大模型能力与规格
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
提供简单、高效的大模型开发和部署方式。平台配备数据工程、模型开发、应用开发三大工具链,帮助开发者充分利用盘古大模型的功能。通过该平台,企业可根据需求选择合适的盘古NLP大模型、科学计算大模型等服务,便捷地构建自己的模型和应用 数据工程工具链:数据是大模型训练的核心基础。数据工程工