检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更复杂的分类，并通过层次结构展现。通常会先从一个大类别开始，然后逐渐向下细分，直到达到所需的标注粒度。如图2，首先标注视频中的“大类别”（如“动物”），然后根据该大类别进一步细分为多个子类。这种方式可以更精细地表示视频中涉及的不同对象或情境。 图2 多层级分类示例-声音分类 文本
平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式： 默认格式：数据工程功能支持的原始格式。 盘古格式：使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型，请将选择格式配置为盘古格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据清洗任务时，可直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗
中文简繁转换 将中文简体和中文繁体进行转换。 符号标准化 查找文本中携带的非标准化符号进行标准化、统一化转换。 统一空格：将所有Unicode空格（如U+00A0、U+200A）转换为标准空格（U+0020）。 全角转半角：将文本中的全角字符转换为半角字符。 标点符号归一化，支持统一格式的符号如下：
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
配比文本类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下： 登录ModelArts St
在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“视频 > 仅视频”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。 在“格式配置”选择发布格式。当前视频类数据集仅支持发布默认格式。
Studio大模型开发平台针对图片类数据集预设了一套基础评估标准，涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建图片类数据集评估任务。 创建图片类数据集评估标准步骤如下： 登录ModelArts
指令调测完成后，单击“创建并启动”，平台将启动合成任务。 当数据合成任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成合成操作。 在完成数据合成后，若无需使用数据标注功能，可直接在“数据合成”页面单击操作列“生成”，生成加工数据集。 加工数据集列表可在“数据工程 > 数据加工 > 加工数据集”中查看。
标注文本类数据集 创建文本类数据集标注任务 标注文本类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建文本类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
选择“全部标注”：要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”：允许标注人员在确认AI预标注满足要求后，直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注审核 是否审核 否，标注后不进行审核操作。 是，审核员会检查标注员的标注内容，若发现问
工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成清洗。 在完成数据清洗后，如果无需使用数据标注功能
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts St
平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式： 默认格式：数据工程功能支持的原始格式。 盘古格式：使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型，请将发布格式配置为盘古格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类
通过快速入门引导，您将快速熟悉平台的核心能力，探索多种应用场景，从而更好地发挥盘古大模型在实际业务中的价值。 快速入门 使用盘古预置NLP大模型进行文本对话 使用盘古应用百宝箱生成创意活动方案 使用盘古NLP大模型创建Python编码助手应用 05 实践 通过基模型训练出行业大模型和提示词写作的最佳
填补缺失值：填充数据中的缺失部分，常用方法包括均值填充、中位数填充或删除缺失数据。 数据标准化：将数据转换为统一的格式或范围，特别是在处理数值型数据时（如归一化或标准化）。 去噪处理：去除无关或异常值，减少对模型训练的干扰。 数据预处理的目的是保证数据集的质量，使其能够有效地训练模型，并减少对模型性能的不利影响。
权限管理 如果您需要对华为云上购买的盘古大模型资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（IAM）和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
