检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio大模型开发平台,单击“立即订购”进入“订购”页面。 在“开发场景”中勾选需要订购的大模型(可多选),页面将根据勾选情况适配具体的订购项。 图1 选择开发场景 在“模型资产”页面,参考表1完成模型资产的订购。 表1 模型资产订购说明 模型分类 模型订阅 计费方式 NLP大模型 盘古-NLP-N1-基模型
响应结束。 表5 流式输出的数据单元 参数 参数类型 描述 event String 数据单元类型,有以下几种类型: start,开始节点,表示开始调用模型进行会话。 message,消息节点,表示模型返回的消息。 plugin_start,插件调用请求节点,表示调用插件的请求信息。
提示词的效果通常与训练数据的相似度密切相关。当提示词的内容与模型在训练过程中接触过的样本数据相似时,模型更容易理解提示词并生成相关的输出。这是因为模型通过学习大量的训练数据,逐渐建立起对特定模式、结构和语言的理解,因此,提示词中包含的关键词、句式和语境如果与训练数据中的模式接近,模型能够“回忆”并运用已学习的知识和指令。
当数据清洗任务运行成功后,状态将从“运行中”变为“运行成功”,表示数据已经完成清洗。 在完成数据清洗后,如果无需使用数据合成与数据标注功能,可直接在“数据清洗”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题: 加工文本类数据集
导入文本文档数据。支持上传txt、doc、docx、pdf、ppt、pptx格式的文本文档,要求单个文件不超过10M。 导入表格数据。支持上传xlsx、xls、csv格式的表格数据,要求单个文件不超过10M。 单击“点此上传”上传本地文件至知识库。支持单次上传文件个数不超过300个。 上传
图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练NLP大模型
图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练CV大模型
图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练预测大模型
要将其加入用户组,并对用户组授权,才能使得用户组中的用户获得对应的权限。授权后,用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu
盘古大模型整合华为云强大的计算和数据资源,将先进的AI算法集成在预训练大模型中,打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后,可以通过API调用推理接口。 表1 API清单 API 功能 操作指导 NLP大模型-文本对话
数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数
选择标注项时,不同类型的数据文件对应的标注项有所差异,可基于页面提示进行选择。 单击“下一步”,可查看效果预览。 单击“下一步”,参考表1配置标注分配与审核。 表1 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 启用多人标注 关闭时,默认管理员单人标注。 启用时,可以指定参与标注的人员及标注数量。
提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。 图1 提示词工程 在提示词撰写区域,单击“设为候选”,将当前撰写的提示词设置为候选提示词。 候选状态的提示词将保存至左侧导航栏的“候选”中。 图2 设为候选 父主题: 横向比较提示词效果
务。 模型效果优秀 经过海量数据训练,盘古大模型在各种自然语言处理任务中展现出卓越的性能。无论是文本分类、情感分析、机器翻译,还是问答系统,模型都能以高准确率完成任务,为用户提供高质量的输出结果。 这种卓越的表现源于其先进的算法和深度学习架构。盘古大模型能够深入理解语言的内在逻辑
Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝
觉任务,则需要图像或视频数据。 数据预处理:数据预处理是数据准备过程中的重要环节,旨在提高数据质量和适应模型的需求。常见的数据预处理操作包括: 去除重复数据:确保数据集中每条数据的唯一性。 填补缺失值:填充数据中的缺失部分,常用方法包括均值填充、中位数填充或删除缺失数据。 数据标
自动生成标注内容,不会覆盖原始数据集,供标注人员参考,以提高标注效率。 单击“下一步”,可查看效果预览。 单击“下一步”,参考表1配置标注分配与审核。 表1 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 启用多人标注 关闭时,默认管理员单人标注。 启用时,可以指定参与标注的人员及标注数量。
为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场
加工不仅仅是简单的数据处理,它还会根据数据类型和业务场景进行有针对性的优化,从而为模型训练提供高质量的输入,提升模型的表现。 数据加工意义 数据加工在大模型开发中具有至关重要的作用,具体体现在以下几个方面: 提高数据质量 原始数据往往包含噪声、缺失值或不一致性,这会直接影响模型训
可将预置模型部署为预置服务,用于后续的调用操作。 其中,NLP预置模型使用流程见图1、表1,科学计算预置模型使用流程见图2、表2。 图1 NLP预置模型使用流程图 表1 NLP预置模型使用流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供