检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 部署方式 云上部署:算法部署至平台提供的资源池中。 最大TOKEN长度 模型可最大请求的上下文TOKEN数。 架构类型 算法所支持的结构类型,模型选择完成后,会自动适配架构类型。 安全护栏 选择模式 安
个平台预置好的全球中期降水预测模型,并选择对应的全球中期天气要素预测模型。并且至少有一个中期天气要素模型时间分辨率要小于等于降水模型时间分辨率。 部署模型 在“从资产选模型”选择所需模型。 部署方式 云上部署:算法部署至平台提供的资源池中。 边缘部署:算法部署至客户的边缘设备中。
强模型的泛化能力。取值范围:[0,1]。 给输入数据加噪音的尺度 给输入数据加噪音的尺度,定义了给输入数据加噪音的尺度。这个值越大,添加的噪音越强烈,模型的正则化效果越强,但同时也可能会降低模型的拟合能力。取值范围:[0,1]。 给输出数据加噪音的概率 给输出数据加噪音的概率,定
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
{1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致,导致该错误发生。 例如,训练集中的标签共有4个,验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 父主题: 训练NLP大模型
科学计算大模型训练常见报错与解决方案 科学计算大模型训练常见报错及解决方案请详见表1。 表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创建与大模型
间差距的指标。该值越小,表示模型在表面(海表)变量的预测精度越高。 RMSE 均方根误差,衡量预测值与真实值之间差距的指标。它是所有单个观测的平方误差的平均值的平方根。该值越小,代表模型性能越好。 MAE 平均绝对误差,衡量预测值与真实值之间差距的指标。它是所有单个观测的绝对误差的平均值。该值越小,代表模型性能越好。
训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 困惑度 用来衡量大语言模型预测一个语言样本的能力,数值越低,准确率也就越高,表明模型性能越好。
提供了灵活的定制化服务,满足不同业务场景的标注需求,确保为后续模型训练和优化提供高质量的数据支持。 数据标注意义 数据标注在数据工程中的作用是不可忽视的。它不仅是模型训练的基础,还直接影响到训练结果的准确性与有效性。通过标注,平台帮助用户提高数据的可用性,确保数据集与业务需求高度
右上角“创建应用”。 您也可以鼠标单击已有应用右上角的,进行应用的复制、删除、复制ID操作。 在“创建应用”窗口中,填写应用名称与应用描述,单击左下角的图片可更换应用图标,单击“确定”,进入应用详情页面。 图1 填写应用名称与应用描述 图2 创建应用 配置Prompt builder,详见配置Prompt
盘古工作空间支持用户查看当前空间详情,修改空间名称与描述,还可以对不需要的空间实现删除操作。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图3 进入操作空间 单击左侧导航栏的“空间管理”,在“空间设置”页签中可执行如下操作: 可修改当前空间的名称与描述。 可查看当前空间的创建时间。 单击右上角“删除”,可删除当前空间。
高质量数据是推动大模型不断迭代和优化的根基,它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据,才能提取出有价值的信息,从而更好地支持模型训练。因此,数据的采集、清洗、标注、评估、发布等环节,成为数据开发中不可或缺的重要步骤。 在ModelArts
Models)通常指的是具有海量参数和复杂结构的深度学习模型,广泛应用于自然语言处理(NLP)等领域。开发一个大模型的流程可以分为以下几个主要步骤: 数据集准备:大模型的性能往往依赖于大量的训练数据。因此,数据集准备是模型开发的第一步。首先,需要根据业务需求收集相关的原始数据,确保数据的覆盖面和多样性。例如
图片支持tar,Caption支持jsonl 图片+Caption指的是一张图片和与之相关的文字描述,Caption是对图片内容的简短说明或解释,帮助人们理解图片所表达的信息。 图片:图片以tar包格式存储,可以多个tar包。tar包存储原始的图片,每张图片命名要求唯一(如abc.jpg)。 Capti
示例如下: 去除“参考文献”以及之后的内容:\n参考文献[\s\S]* 针对pdf的内容,去除“0 引言”之前的内容,引言之前的内容与知识无关:[\s\S]{0,10000}0 引言 针对pdf的内容,去除“1.1Java简介”之前的与知识无关的内容:[\s\S]{0,10000}
在左侧导航栏中选择“Agent开发”,将跳转至Agent开发平台。 单击左侧导航栏“工作台”,在“工作流”页签中,鼠标右键单击工作流,进行工作流的复制、复制ID、删除。 父主题: 创建与管理工作流
Agent平台工作流由多个组件构成,组件是组成工作流的基本单元。例如,大模型、插件、代码、判断等组件。 创建工作流时,工作流默认包含了开始、结束和大模型组件,每个组件需要配置不同的参数,如组件配置、输入和输出参数等。基于该工作流,开发者可通过拖、拉、拽可视化组件等方式添加更多的组件,实现复杂业务流程的编排,从而快速构建Agent。
值。 模型的选择和提示词的撰写可能影响到提问器组件的准确性。 模型选择:选择要使用的LLM,不同模型的效果存在差异。 Prompt提示词:用户对模型的指令,提示词可能影响模型效果。 问题额外配置: 参数名称:与输出参数的参数名称一一对应,用户不可修改,自动跟随输出参数的变化而改动。
多个典型场景中,提供强大的AI技术支持。 ModelArts Studio大模型开发平台为用户提供了多种规格的NLP大模型,以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异,以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(/chat/completions)