检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看云服务产品文档 如果需要查看各服务的产品介绍、用户指南等，可以单击控制台页面右上角图标，获取在线帮助文档。 父主题： 常见问题
如何查看云服务产品文档 如需查看各服务产品介绍、用户指南等，单击控制台页面右上角图标，获取在线帮助文档。 父主题： 常见问题
华为云服务 函数工作流 短信服务 消息通知 CodeArts Artifact CodeArts Build CodeArts Check CodeArts Deploy CodeArts Req CodeArts Pipeline CodeArts Repo CodeArts TestPlan
华为云服务 函数工作流 短信服务 消息通知 对象存储服务 数据安全中心 图像识别 文字识别 人脸识别 CodeArts Artifact CodeArts Build CodeArts Check CodeArts Deploy CodeArts Req CodeArts Pipeline
产品功能 空间管理 数据工程 模型开发 Agent开发
模型能力与规格 盘古NLP大模型能力与规格 盘古科学计算大模型能力与规格
数据集加工算子介绍 文本类加工算子能力清单 视频类加工算子能力清单 图片类加工算子能力清单 气象类加工算子能力清单 父主题： 加工数据集
数据工程介绍 数据工程简介 数据工程是ModelArts Studio大模型开发平台为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、标注、评估和发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
基础知识 大模型开发基本流程介绍 大模型开发基本概念
盘古工作空间介绍 工作空间功能旨在为用户提供灵活、高效的资产管理与协作方式。平台支持用户根据业务需求或团队结构，自定义创建独立的工作空间。 每个工作空间在资产层面完全隔离，确保资产的安全性和操作的独立性，有效避免交叉干扰或权限错配带来的风险。用户可以结合实际使用场景，如不同的项目
安全 责任共担 身份认证与访问控制 数据保护技术 审计
提示词工程介绍 提示工程是一项将知识、技巧和直觉结合的工作，需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系，本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验，总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用
大模型开发基本概念 大模型相关概念 概念名 说明 大模型是什么 大模型是大规模预训练模型的简称，也称预训练模型或基础模型。所谓预训练模型，是指在一个原始任务上预先训练出一个初始模型，然后在下游任务中对该模型进行精调，以提高下游任务的准确性。大规模预训练模型则是指模型参数达到千亿、
大模型开发基本流程介绍 大模型（Large Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理（NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。
盘古大模型空间资产介绍 在ModelArts Studio大模型开发平台的空间资产中，包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础，便于用户实现统一查看和操作管理。 数据资产：用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息，
踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。
数据集发布场景介绍 数据发布概念 数据发布是指将经过加工、标注、评估的数据集导出并生成符合特定任务或模型训练需求的正式数据集。数据发布是数据处理流程中的关键步骤，也是数据集构建的最终环节。 数据发布过程不仅包括将数据转化为适合使用的格式，还要求根据任务需求对数据集的比例进行科学调
数据集评估场景介绍 数据评估概念 数据评估旨在通过对数据集进行系统的质量检查，评估其准确性、完整性、一致性和代表性等多个维度，发现潜在问题并加以解决。 在构建和使用数据集的过程中，数据评估是确保数据质量的关键步骤，直接影响模型的性能和应用效果。高质量的数据集能够显著提升模型的准确
权限管理 如果您需要对华为云上购买的盘古大模型资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（IAM）和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可
数据集标注场景介绍 数据标注概念 数据标注是数据工程中的关键步骤，旨在为无标签的数据集添加准确的标签，从而为模型训练提供有效的监督信号。标注数据的质量直接影响模型的训练效果和精度，因此高效、准确的标注过程至关重要。数据标注不仅仅是人工输入，它还涉及对数据内容的理解和分类，以确保标签精准地反映数据的特征和用途。
产品优势 预置多，数据工程“易” ModelArts Studio大模型开发平台预置多种数据处理AI算子，多种标注工具，满足用户多任务多场景需求，提高开发/标注效率>10X。 0代码，模型开发“简” ModelArts Studio大模型开发平台预置盘古系列预训练大模型，支持快速
数据集加工场景介绍 数据加工概念 数据加工是数据工程中的核心环节，旨在通过使用数据集加工算子对原始数据进行清洗、转换、提取和过滤等操作，以确保数据符合模型训练的标准和业务需求。 通过这一过程，用户能够优化数据质量，去除噪声和冗余信息，提升数据的准确性和一致性，为后续的模型训练提供
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
