检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建预测大模型部署任务 平台支持部署训练后的模型或预置模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。
盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 训练科学计算大模型训练数据要求所需数据量 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别 特征要求 水平分辨率要求 区域范围要求 时间要求 数据获取方式 气象/降水模型
模型推荐、模型融合技术，构建通用的预测能力。 ModelArts Studio大模型开发平台为用户提供了多种规格的预测大模型，以满足不同场景和需求。以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域 模型名称 说明 西南-贵阳一 Pangu
创建NLP大模型部署任务 平台支持部署训练后的模型或预置模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。
创建CV大模型部署任务 平台支持部署训练后的模型或预置模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。
三方大模型，为了使这些数据集能够被这些大模型正常训练，平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式： 默认格式：数据工程功能支持的原始格式。 盘古格式：使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型，请将选择格式配置为盘古格式。 填写数据
数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理
数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的清洗操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。 表1 文本类清洗算子能力清单 算子分类
能力调测功能支持用户调用预置或训练后的NLP大模型。使用该功能前，请完成模型的部署操作，步骤详见创建NLP大模型部署任务。 使用“能力调测”调用NLP大模型可实现文本对话能力，即在输入框中输入问题，模型将基于问题输出相应的回答，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
数据资源：数据通算单元适用于数据加工，用于正则类算子加工、数据智算单元适用于数据加工，用于AI类算子加工，数据托管单元适用于数据工程，用于存储数据集。 训练资源：训练单元可用于所有大模型的模型训练、模型压缩功能。 推理资源：推理单元可用于NLP、CV、专业大模型的模型推理功能， 模型
去噪处理：去除无关或异常值，减少对模型训练的干扰。 数据预处理的目的是保证数据集的质量，使其能够有效地训练模型，并减少对模型性能的不利影响。 模型开发：模型开发是大模型项目中的核心阶段，通常包括以下步骤： 选择合适的模型：根据任务目标选择适当的模型。 模型训练：使用处理后的数据集训练模型。 超参数调优
NLP大模型支持人工评测与自动评测，在执行模型评测任务前，需创建评测数据集。 评测数据集的创建步骤与训练数据集一致，本章节仅做简单介绍，详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“数据工程 > 数据获取”，单击界面右上角“创建导入任务”。
件类别。因此，城市政务场景面临着众多碎片化AI需求场景。 传统的AI开发模式需要对每种目标类别单独采集数据、训练模型，依赖专家经验进行算法参数调优，最后才能上线应用。基于ModelArts Studio平台开发工作流，将数据标注、模型训练、部署上线等繁杂的流程固化为一个流水线的步
目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01.csv；验证数据名称需包含eval字样；测试数据名称需包含test字样。文件的命名不能同时包含train、eval和test中的两个或三个。 时序
使用API调用NLP大模型 预置模型或训练后的模型部署成功后，可以使用“文本对话”API实现模型调用。 表1 NLP大模型API清单 API分类 API访问路径（URI） 文本对话 /v1/{project_id}/deployments/{deployment_id}/chat/completions
数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。 表1 视频类清洗算子能力清单 算子分类
使用API调用科学计算大模型 预置模型或训练后的模型部署成功后，可以使用API调用科学计算大模型。 获取调用路径 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 获取调用路径。 在左侧导航栏中选择“模型开发 > 模型部署”。 获取已部署
数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“默认格式”。 创建视频类数据集流通任务 创建视频类数据集流通任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作，不支持数据加工操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。
如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？ 如何调整训练参数，使盘古大模型效果最优？ 如何判断盘古大模型训练状态是否正常？ 为什么微调后的盘古大模型总是重复相同的回答？ 盘古大模型是否可以自定义人设？ 更多 大模型概念类 如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
