检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。 本实践将以平台预置的区域海洋要素基模型为例,介绍盘古科学计算大模型的微调训练过程,该模型的基本信息详见表1。 表1
如果您有新的观测数据,可以使用微调来更新模型的权重,以适应新数据。 中期海洋智能预测模型的训练类型选择建议: 中期海洋智能预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域中期海洋智能预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下:
在“创建合成任务”页面,选择需要合成的数据集,选择合成内容与合成轮数。 如果合成前的数据集与合成后的数据集结构相同,可选择开启“将源数据集整合至合成后数据”,在所有合成轮数运行完成后,将生成的数据与原始数据集合并,单击“下一步”。 进入“指令编排”页面,在左侧“添加指令”页面可选择预置指令或自定义指令。
可以尝试修改参数并查看模型效果。以修改“核采样”参数为例,核采样控制生成文本的多样性和质量: 当“核采样”参数设置为1时,保持其他参数不变,单击“重新生成”,再单击“重新生成”,观察模型前后两次回复内容的多样性。 图2 “核采样”参数为1的生成结果1 图3 “核采样”参数为1的生成结果2 将“核采样”参数调小至0.1
数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 视频类数据集当前仅支持发布为“标准格式”。 创建视频类数据集发布任务 创建视频类数据集发布任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(/chat/completions)
训练参数优化 科学计算大模型的训练参数调优可以考虑学习率参数,学习率(Learning Rate)是模型训练中最重要的超参数之一,它直接影响模型的收敛速度和最终性能: 学习率过高,会导致损失在训练初期快速下降,但随后波动较大,甚至出现NaN(梯度爆炸)的问题。 学习率过低,会导致损
业模型的定制化流程与高效提示词构建方法,确保在实际应用中充分发挥盘古大模型的行业优势,提升业务效果。 最佳实践 提示词写作实践 Agent应用实践 06 API 通过API文档的概述、NLP大模型API和科学计算大模型API的详细介绍,您将全面理解如何调用和集成盘古大模型的各类接
示例如下: 去除“参考文献”以及之后的内容:\n参考文献[\s\S]* 针对pdf的内容,去除“0 引言”之前的内容,引言之前的内容与知识无关:[\s\S]{0,10000}0 引言 针对pdf的内容,去除“1.1Java简介”之前的与知识无关的内容:[\s\S]{0,10000}
Gallery”页签,可对从AI Gallery订阅的数据资产执行以下操作: 查看订阅信息。单击具体数据资产或操作列的“查看订阅信息”,查看该资产的名称描述等订阅信息。 编辑属性操作。单击操作列的“更多 > 编辑属性”,可编辑数据资产的名称、描述以及资产可见性。 删除操作。单击操作列的“更多 > 删除”,可删除当前数据资产。
流式(Header中的stream参数为true) 状态码: 200 表5 流式输出的数据单元 参数 参数类型 描述 data String stream=true时,执行工作流的消息以流式形式返回。生成的内容以增量的方式逐步发送回来,每个data字段均包含一部分生成的内容,直到所有data返回,响应结束。
发布文本类数据集 数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 文本类数据集支持发布的格式为: 标准格式:数据工程功能支持的原始格式。 标准格式的示例如下,其中,context和target是键值对。 {"context": "你好,请介绍自己"
发布图片类数据集 数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 图片类数据集支持发布的格式为: 标准格式:如图1,平台默认的格式。该格式的数据集可发布到资产中,但下游模型开发不可见。 图1 图片类数据集标准格式示例 盘古格式:如图2,训练盘古大
搜索增强通过结合大语言模型与传统搜索引擎技术,提升了搜索结果的相关性、准确性和智能化。 例如,当用户提出复杂查询时,传统搜索引擎可能仅返回一系列相关链接,而大模型则能够理解问题的上下文,结合多个搜索结果生成简洁的答案,或提供更详细的解释,从而进一步改善用户的搜索体验。 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。
Studio大模型开发平台为开发者提供了一种简单、高效的开发和部署大模型的方式。平台提供了包括数据处理、模型训练、模型部署、Agent开发等功能,以帮助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品,方便地构建自己的模型和应用。 数据工程工具链 数据是大模型训练的基础,为大模型提
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和
让模拟出的天气接近真实世界中的变化。 CNOP噪音通过在初始场中引入特定的扰动来研究天气系统的可预报性,会对扰动本身做一定的评判,能够挑选出预报结果与真实情况偏差最大的一类初始扰动。这些扰动不仅可以用来识别最可能导致特定天气或气候事件的初始条件,还可以用来评估预报结果的不确定性。
并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集,增强训练模型的多样性和泛化能力。 标注数据集 为无标签数据集添加准确的标签,确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。
视频鉴黄评分 对视频的涉黄程度进行评分,分数越高越危险。评分范围(0, 100),评分≥50分的视频可视为涉黄视频。 视频暴恐评分 对视频的暴恐程度进行评分,分数越高越危险。评分范围(0, 100),评分≥50分的视频可视为暴恐视频。 视频涉政评分 对视频的涉政程度进行评分,分数越高越危险。评分范围(0
Models)通常指的是具有海量参数和复杂结构的深度学习模型,广泛应用于自然语言处理(NLP)等领域。开发一个大模型的流程可以分为以下几个主要步骤: 数据集准备:大模型的性能往往依赖于大量的训练数据。因此,数据集准备是模型开发的第一步。首先,需要根据业务需求收集相关的原始数据,确保数据的覆盖面和多样性。例如