检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
科学计算大模型能力调测参数说明(天气/降水预测) 参数 说明 场景 支持选择全球中期天气要素预测、全球中期降水预测。 全球中期天气要素预测:通过该模型可以对未来一段时间的天气进行预测。 全球中期降水预测:通过该模型可以对未来一段时间的降水情况进行预测。 模型服务 支持选择用于启动推理作业的模型。 中期天气要素模型
流通文本类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 单个文本类数据集支持发布的格式为: 默认格式:平台默认的格式。 在默认格式中,context和target是键值对。示例如下: {"context": "你好,请介绍自己", "target":
量人力。因此,希望借助大模型消除语义歧义性,识别用户查询意图,并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输入抽取关键信息并转换为JSON格式输出,以供下游操作,从而满足该场景下客户需求。 金融场景下,NL2JSON能力可以有效消除用户语义
盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 清洗文本类数据集 通过专用的清洗算子对数据进行预处理,确保数据符合模型训练
清洗气象类数据集 清洗气象类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建气象类数据集清洗任务 创建气象类数据集清洗任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程
页面将返回至“数据配比”页面,配比任务运行成功后,状态将显示为“运行成功”。 单击操作列“生成”,将生成“发布数据集”。 发布数据集可在“数据工程 > 数据发布 > 发布数据集”中查看。 通过数据配比功能生成的“发布数据集”,其格式为“默认格式”。 父主题: 发布图片类数据集
示一个特征,并且必须包含预测目标列,预测目标列要求为连续型数据。 目录下只有1个数据文件时,文件无命名要求。 目录下有多个数据文件时,需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样,如train01.csv;验证数据名称需包含e
在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作: 表2 盘古科学计算大模型支持的操作 模型 预训练 微调 模型评测 模型压缩
创建科学计算大模型部署任务 平台支持部署训练后的模型或预置模型,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,参考表1完成部署参数设置。 表1 科学计算大模型部署参数说明
际应用中的可靠性和稳定性。 数据配比:平台支持对文本、图片类数据进行数据配比。用户在勾选数据集时可以勾选多条,通过调整不同来源或类型数据的比例,以优化模型训练过程。通过数据配比可以确保模型能够更全面地学习和理解数据的多样性,提高模型的泛化能力和性能。 数据流通:平台支持数据集配比
准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
数据流通是将单个数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 单个图片类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 创建文本类数据集流通任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
当需要删除空间内某个子用户时,可以按如下步骤操作: 登录ModelArts Studio大模型开发平台。 进入需要删除子用户的空间,在空间内单击左侧导航栏“空间管理”,并进入“成员管理”页面。 单击用户列表操作栏的“删除”。 图11 成员管理 单击“确定”进行二次确认,即可删除空间子用户。 图12 删除操作二次确认
盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工气象类数据集 清洗气象类数据集 通过专用的清洗算子对数据进行预处理,确保数据符合模型训练
创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集,并完成数据集发布操作。 训练日志提示“root: XXX valid number is 0” 日志提示“root: XXX valid number is
模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 训练异常 模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 已停止 模型训练已被用户手动停止。 查看训练指标 对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见图1。 图1
开发盘古NLP大模型 使用数据工程构建NLP大模型数据集 训练NLP大模型 压缩NLP大模型 部署NLP大模型 评测NLP大模型 调用NLP大模型
开发盘古预测大模型 使用数据工程构建预测大模型数据集 训练预测大模型 部署预测大模型
开发盘古专业大模型 部署专业大模型
表1 请求Header参数(Token认证) 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String