检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布训练后的科学计算大模型 科学计算大模型训练完成后,需要执行发布操作,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。 单击进入“训练结果”页签,单击“发布”。
数据集版权。训练模型的数据集除用户自行构建外,也可能会使用开源的数据集。数据集版权功能主要用于记录和管理数据集的版权信息,确保数据的使用合法合规,并清晰地了解数据集的来源和相关的版权授权。通过填写这些信息,可以追溯数据的来源,明确数据使用的限制和许可,从而保护数据版权并避免版权纠纷。 单击页面右下角“立即创建”
微调场景介绍 盘古科学计算大模型的区域海洋要素模型,可以对未来一段时间海洋要素进行预测。可为海上防灾减灾,指导合理开发和保护渔业等方面有着重要作用。 目前,区域海洋要素模型支持微调、预训练两种操作: 预训练:可以在重新指定深海变量、海表变量、以及深海层深、时间分辨率、水平分辨率以
创建推理作业 功能介绍 支持调用科学计算大模型创建海洋类模型的推理作业。 URI 获取URI方式请参见请求URI。 请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数(Token认证) 参数 是否必选 参数类型 描述 X-Auth-Token
科学计算大模型训练常见报错与解决方案 科学计算大模型训练常见报错及解决方案请详见表1。 表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。
查询推理作业详情 功能介绍 根据创建推理作业的作业ID获取科学计算大模型的结果数据。 URI 获取URI方式请参见请求URI。 GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作
查询推理作业详情 功能介绍 根据创建推理作业的作业ID获取科学计算大模型的结果数据。 URI 获取URI方式请参见请求URI。 GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作
调用科学计算大模型 使用“能力调测”调用科学计算大模型 使用API调用科学计算大模型 父主题: 开发盘古科学计算大模型
可选择的要素参考表8中,提供的高空变量和表面变量。 num_ensembles 否 Long 集合数量。在气象预报中,集合预报是指对初始场加入一定程序的扰动,使其生成一组由不同初始场预报的天气预报结果,从而提供对未来天气状态的概率信息。这种方法可以更好地表达预报的不确定性,从而提高预报的准确性和可靠性。 取值范围:[2
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和
start,开始节点,表示开始调用模型进行会话。 message,消息节点,表示模型返回的消息。 plugin_start,插件调用请求节点,表示调用插件的请求信息。 plugin_end,插件调用响应节点,表示调用插件的响应信息。 statistic_data,执行数据节点,包含本次调用的耗时信息。
Studio大模型开发平台,单击页面右上角“订购管理”。 在“订购管理”页面,单击“模型订购”页签,在订阅模型列表单击操作列“续订”。 在“续费管理”页面根据提示完成模型资产的续费操作。 退订模型资产 退订模型资产的步骤如下: 登录ModelArts Studio大模型开发平台,单击页面右上角“订购管理”。 在“订
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
选择“盘古大模型” 模型类型 选择“科学计算大模型”。 场景 本案例中选择“区域中期海洋智能预测”。 部署模型 从资产中选择需要部署的模型。 部署区域中期海洋智能预测服务需要同时选择“区域中期海洋智能预测”和“全球中期海洋智能预测”两个模型。 部署方式 选择“云上部署”。 作业输入方式 选择
Studio大模型开发平台(下文简称“平台”)为用户提供的一站式数据处理与管理功能,旨在通过系统化的数据获取、加工、发布等过程,确保数据能够高效、准确地为大模型的训练提供支持,帮助用户高效管理和处理数据,提升数据质量和处理效率,为大模型开发提供坚实的数据基础。 数据工程包含的具体功能如下:
指标说明见表2。 表2 模型效果评估指标说明 指标名称 说明 Loss 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。这里代表深海Loss和海表Loss的综合Loss。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。
训练结果页面 表1 模型效果评估指标说明 评估指标 指标说明 Loss 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。这里代表高空Loss(深海Loss)和表面Loss(海表Loss)的综合Loss。 一般来说,一个正常的Loss曲线应该是单调递减的,即
单击该知识库进入详情页面,再单击右上角“继续上传”,上传本地文件。 知识库命中测试 平台支持对创建的知识库进行命中测试,以评估知识库的效果和准确性。 命中测试通过将用户的查询与知识库中的内容进行匹配,最终输出与查询相关的信息,并根据匹配的程度进行排序。 知识库命中测试步骤如下: 登录ModelArts
F1_SCORE 精准率和召回率的调和平均数,数值越高,表明模型性能越好。 BLEU-1 模型生成句子与实际句子在单字层面的匹配度,数值越高,表明模型性能越好。 BLEU-2 模型生成句子与实际句子在词组层面的匹配度,数值越高,表明模型性能越好。 BLEU-4 模型生成结果和实际句子的加权
模型调优方法介绍 调优目标:提升模型精度和性能。 调优思路:模型调优总体可分为两方面,数据预处理和模型训练参数优化,优化思路是从最简单的情形出发,逐步迭代调整提升模型效果,通过实验发现和确认合适的数据量,以及最佳的模型结构和模型参数。 父主题: 盘古科学计算大模型调优实践