华为云用户手册

数据工程介绍 数据工程是ModelArts Studio大模型开发平台（下文简称“平台”）为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。 数据工程包含的具体功能如下： 数据获取：数据获取是数据工程的第一步，支持将不同来源和格式的数据导入平台，并生成“原始数据集”。 支持的接入方式：通过OBS服务导入数据。 支持的数据类型：文本、图片、视频、气象、预测、其他。 通过这些功能，用户可以轻松将大量数据导入平台，为后续的数据加工和模型训练等操作做好准备。 数据加工：平台提供了数据加工、数据合成、数据标注、数据配比的加工操作，旨在确保原始数据能够满足各种业务需求和模型训练的标准，生成“加工数据集”。 数据加工：数据加工旨在通过使用数据集加工算子对数据进行预处理操作，针对不同类型的数据集，平台设计了专用的加工算子，以确保数据符合模型训练的标准和业务需求。 数据合成：数据合成利用预置或自定义的数据指令对原始数据集进行处理，并根据设定的轮数生成新的数据。 数据标注：数据标注旨在为无标签的数据集添加准确的标签，标注数据的质量直接影响模型的训练效果和精度。针对不同数据集平台支持人工标注与AI预标注两种形式。 其中，图片Caption、视频Caption标注项支持AI预标注功能。 数据配比：将多个数据集按照特定比例关系组合并为一个“加工数据集”的过程，确保数据的多样性、平衡性和代表性。 通过数据加工操作，平台能够有效清理噪声数据、标准化数据格式，提升数据集的整体质量。 数据发布：平台提供了数据评估、数据发布操作，旨在通过数据质量评估确保数据满足大模型训练的多样性、平衡性和代表性需求，并促进数据的高效流通与应用，生成“发布数据集”。 数据评估：数据评估通过对数据集进行系统的质量检查，依据评估标准评估数据的多个维度，旨在发现潜在问题并加以解决。 数据发布：将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 支持发布的数据集格式为标准格式、盘古格式（适用于训练盘古大模型时）。目前，仅文本类和图片类数据集支持发布为“盘古格式”。 在集成了数据获取、数据加工、数据发布功能外，平台还支持对原始数据集、加工数据集、发布数据集、数据合成指令进行一站式管理。在大规模数据集的构建过程中，ModelArts Studio大模型开发平台的数据工程功能为用户提供了极大的灵活性和高效性，确保了数据处理的各个环节都能紧密协作，快速响应不断变化的业务需求和技术要求。

数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估和数据发布操作，旨在通过数据质量评估，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。 数据发布不仅包括将数据发布为适合使用的格式，还要求根据任务需求评估数据集效果，确保数据集在规模、质量和内容上符合模型训练的标准。 数据评估 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。 数据发布 数据发布是将数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。支持的发布格式为标准格式、盘古格式（适用于训练盘古大模型时）。目前，仅文本类和图片类数据集支持发布为“盘古格式”。 通过这些功能，平台能够帮助用户科学管理和发布数据集，确保数据集质量符合大模型训练的需求，从而提高后续模型训练的效果。

数据发布意义 数据发布不仅仅是将数据转换为不同格式，还包括根据任务需求评估数据集效果，确保数据在规模、质量和内容上满足训练标准。具体而言，数据发布具备以下几个重要意义： 多格式支持 对于文本类、图片类数据集，平台支持多种数据发布格式，包括“标准格式”、“盘古格式”，以满足不同训练任务的需求。通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。 提高训练效率 发布符合标准的数据集可以大幅提升数据处理效率，减少后续调整工作，帮助用户快速进入模型训练阶段。 数据集发布是数据工程中的关键环节，确保数据集符合模型训练要求。通过平台提供的数据发布功能，用户能够根据具体任务需求，灵活选择数据发布格式，保证数据的兼容性与一致性，从而为后续模型训练和应用部署打下坚实基础。

NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，数据集文件内容包括：预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等，不同训练方式所需要使用的数据见表1，该数据集格式要求请参见文本类数据集格式要求。 表1 训练NLP大模型数据集类型要求 基模型 训练场景 数据集类型 数据集内容 文件格式 NLP 预训练 文本 预训练文本 jsonl 微调 文本 单轮问答 jsonl、csv 文本 多轮问答 jsonl 文本 单轮问答（人设） jsonl、csv 文本 多轮问答（人设） jsonl 强化学习（DPO） 文本 偏好优化DPO jsonl

构建NLP大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古NLP大模型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 加工文本类数据集 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 加工文本类数据集 合成文本类数据集 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。 合成文本类数据集 标注文本类数据集 为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 标注文本类数据集 配比文本类数据集 数据配比是将多个数据集按特定比例组合的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 配比文本类数据集 发布文本类数据集 评估文本类数据集 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。 评估文本类数据集 发布文本类数据集 发布流通是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 平台支持发布的数据集格式为标准格式、盘古格式。 标准格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。 发布文本类数据集

训练NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表2。 表2 构建NLP大模型所需数据量 模型规格 训练类型 推荐数据量 最小数据量（数据条数） 单场景推荐训练数据量 单条数据Token长度限制 N1 微调 - 1000条/每场景 ≥ 1万条/每场景 32K N2 微调 - 1000条/每场景 ≥ 1万条/每场景 32K N4 微调 - 1000条/每场景 ≥ 1万条/每场景 4K版本：4096 32K版本：32768 预训练 4GB(等价10亿Tokens) - - 4K版本：4096 32K版本：32768 DPO强化学习 5万 ~ 15万条 1000条 -

预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值，与时序数据不同，回归分类数据不要求数据具有时间顺序。 具体格式要求详见表1。 表1 预测类数据集格式要求 文件内容 文件格式 文件样例 时序分类、时序回归 csv 数据为结构化数据，包含列和行，每一行表示一条数据，每一列表示一个特征，并且必须包含预测目标列，回归预测目标列要求为连续型数据、分类预测目标列要求为离散数据。 目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01.csv；验证数据名称需包含eval字样；测试数据名称需包含test字样。文件的命名不能同时包含train、eval和test中的两个或三个。 时序预测必须要包含一个时间列，时间列值的格式示例为 2024-05-27 或 2024/05/27 或 2024-05-27 12:00:00 或 2024/05/27 12:00:00 。 示例如下： timestamp,feature1,feature2,target 2024-05-27 12:00:00,10.5,20.3,100 2024-05-27 12:01:00,10.6,20.5,101 2024-05-27 12:02:00,10.7,20.7,102 2024-05-27 12:03:00,10.8,20.9,103 2024-05-27 12:04:00,10.9,21.0,104 从OBS导入：单个文件大小不限制，文件数量不限制。 结构化分类、结构化回归 csv 数据为结构化数据，包含列和行，每一行表示一条数据，每一列表示一个特征，并且必须包含预测目标列，回归预测目标列要求为连续型数据，分类预测目标列要求为离散数据。 目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01.csv；验证数据名称需包含eval字样；测试数据名称需包含test字样。文件的命名不能同时包含train、eval和test中的两个或三个。 示例如下： feature1,feature2,target 10.5,20.3,100 10.6,20.5,101 10.7,20.7,102 10.8,20.9,103 10.9,21.0,104 从OBS导入：单个文件大小不限制，文件数量不限制。 父主题： 数据集格式要求

添加盘古子用户至工作空间 在添加盘古子用户至工作空间前，请先完成创建盘古子用户。 登录ModelArts Studio大模型开发平台。 进入需要添加子用户的空间，在空间内单击左侧导航栏“空间管理”，并进入“成员管理”页签。 如图，以添加子用户为“模型开发工程师”角色为例。在搜索框中搜索子用户名称，在“请选择角色”选项栏中设置用户角色，设置完成后单击右侧“添加”，将该用户添加至本空间。 图9 添加成员为“模型开发工程师”角色

创建盘古子用户 创建盘古子用户步骤如下： 使用主账号登录 IAM 服务控制台。 左侧导航窗格中，选择“用户”页签，单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息，单击“下一步”。 配置用户信息时，需要勾选“编程访问”，如果未勾选此项，会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组，单击“创建用户”，完成IAM用户的创建。 图8 加入用户组

修改盘古子用户权限 当需要修改空间内某个子用户权限时可以按如下步骤操作： 登录ModelArts Studio大模型开发平台。 进入需要修改子用户权限的空间，在空间内单击左侧导航栏“空间管理”，在“角色管理”页签，可以查看各角色名称及其权限的描述。 图10 角色管理 单击进入“成员管理”页签。 如图，以授权子用户“模型开发工程师”权限为例。单击用户列表操作栏的“编辑”，勾选需要赋予用户的角色，单击“确认”。 图11 授权子用户“模型开发工程师”权限

创建用户组 管理员可以创建用户组，并给用户组授予策略或角色，然后将用户加入用户组，使得用户组中的用户获得相应的权限。 创建用户组的步骤如下： 使用主账号登录IAM服务控制台。 左侧导航栏中，选择“用户组”页签，单击右上方的“创建用户组”。 图1 创建用户组 在“创建用户组”页面，输入“用户组名称”，单击“确定”，创建用户组。 返回用户组列表，单击操作列的“授权”。 图2 用户组授权 参考表1，在搜索框中搜索授权项，为用户组设置权限，选择后单击“下一步”。 表1 授权项 授权项 说明 Agent Operator 拥有该权限的用户可以切换角色到委托方账号中，访问被授权的服务。 Tenant Administrator 全部云服务管理员（除IAM管理权限）。 Security Administrator 统一身份认证 服务（除切换角色外）所有权限。 图3 添加用户组权限 设置最小授权范围。 根据授权项策略，系统会自动推荐授权范围方案。 可以选择“所有资源”，即用户组内的IAM用户可以基于设置的授权项使用账号中所有的企业项目、区域项目、全局服务资源。 可以选择“指定区域项目资源”，如指定“西南-贵阳一”区域，即用户组内的IAM用户仅可使用该区域项目中的资源。 可以选择“全局服务资源”，即服务部署时不区分区域，访问全局级服务，不需要切换区域，全局服务不支持基于区域项目授权。如 对象存储服务 （OBS）、内容分发网络（CDN）等。 选择完成后，单击“确定”。 图4 设置最小授权范围 单击“完成”，完成用户组授权。 图5 完成授权

图文文本语言过滤 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 各参数说明： 待过滤内容类型：提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码），方便图文加工算子使用。 参数配置样例： 去重样例： 加工前： 参数配置： 加工后：

图文文本长度过滤 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 各参数说明： 待过滤内容类型：过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度统计为1。 参数配置样例： 过滤样例： 加工前： 参数配置： 加工后：

图文去重 适用的文件格式： tar+jsonl：所有图片保存为tar包。图片支持：jpg、jpeg、png、bmp图片类型。 图片文本保存为一份jsonl文件，jsonl文件中图片名称必须要与tar包中的图片名称一致。 各参数说明： 待过滤内容类型： 1.基于结均化图片去重图文; 2.判断相同文本对应不同的图片数据是否超过单文本最大图片数阈值，如果超过则随机删除多余图片， 仅保留阈值以内的图文数量 参数配置样例： 去重样例： 加工前： 参数配置： 加工后：

图片鉴黄评分 适用的文件格式： jpg、jpeg、png、bmp tar：所有图片保存为tar包。tar包含图片支持：jpg、jpeg、png、bmp图片类型； 每个tar包不超过500M。 各参数说明： 待打标内容类型：对图片的涉黄程度进行评分， 分数越高越危险。 评分范围(0,100)， 默认评分≥50分的视频可视为涉黄视频。 参数配置样例： 不需要配置参数。 打标样例： 打标分数以element字段存储于jsonl格式文件中。

向量&重排模型介绍 Pangu-EmbeddingRank模型，用于大模型RAG场景。在ModelArts Studio大模型开发平台部署Pangu-EmbeddingRank模型，会生成Embedding模型服务、Rerank模型服务两个服务。这两个服务均可以在Agent开发平台中创建知识库中被使用。其中Embedding模型服务在创建知识库中，文本处理阶段，用于对文本文档进行前片，转换成向量化表示。在知识检索阶段，根据用户输入的query对切片进行召回，Rerank模型服务用于对召回的切片，按照query与切片的相关度进行精细化排序，以确保召回相关度top切片。 推理特性 推理精度 FP16 起推规格（推理单元） 1 QPS 6 父主题： 开发盘古向量&重排专业大模型

姿态估计标注json文件说明 该说明适用于表1中的姿态估计标注文件格式。 姿态估计标注基于开源coco人物关键点标注格式对数据集进行标注，需包含annotations，train，val文件夹。annotations文件夹下用train.json和val.json记录训练集和验证集标注，train和val文件夹下保存具体的图片，示例如下所示： ├─annotations │ train.json │ val.json ├─train │ IMG_20180919_114745.jpg ├─val │ IMG_20180919_114945.jpg 具体的json标注文件具体示例： { "images": [ { "license": 2, "file_name": "000000000139.jpg", "coco_url": "", "height": 426, "width": 640, "date_captured": "2013-11-21 01:34:01", "flickr_url": "", "id": 139 } ], "annotations": [ { "num_keypoints": 15, "area": 2913.1104, "iscrowd": 0, "keypoints": [ 427, 170, 1, 429, 169, 2, 0, 0, 0, 434, 168, 2, 0, 0, 0, 441, 177, 2, 446, 177, 2, 437, 200, 2, 430, 206, 2, 430, 220, 2, 420, 215, 2, 445, 226, 2, 452, 223, 2, 447, 260, 2, 454, 257, 2, 455, 290, 2, 459, 286, 2 ], "image_id": 139, "bbox": [ 412.8, 157.61, 53.05, 138.01 ], "category_id": 1, "id": 230831 }, ], "categories": [ { "supercategory": "person", "id": 1, "name": "person", "keypoints": [ "nose", "left_eye", "right_eye", "left_ear", "right_ear", "left_shoulder", "right_shoulder", "left_elbow", "right_elbow", "left_wrist", "right_wrist", "left_hip", "right_hip", "left_knee", "right_knee", "left_ankle", "right_ankle" ], "skeleton": [ [ 16, 14 ], [ 14, 12 ], [ 17, 15 ], [ 15, 13 ], [ 12, 13 ], [ 6, 12 ], [ 7, 13 ], [ 6, 7 ], [ 6, 8 ], [ 7, 9 ], [ 8, 10 ], [ 9, 11 ], [ 2, 3 ], [ 1, 2 ], [ 1, 3 ], [ 2, 4 ], [ 3, 5 ], [ 4, 6 ], [ 5, 7 ] ] } ] } 表4 COCO格式说明 字段 是否必选 说明 images 是 图片信息。 license 否 图像的许可证标识符。 file_name 是 图像的文件名。 coco_url 否 图像在COCO官方数据集中的URL。 height 是 图像的高度，以像素为单位。 width 是 图像的宽度，以像素为单位。 date_captured 否 图像捕获的日期和时间。 flickr_url 否 图像在Flickr网站上的URL。 id 是 图像的唯一标识符。 annotations 是 标注信息。 num_keypoints 是 标注的关键点数量。 area 是 边界框的面积，以像素平方为单位。 iscrowd 是 表示标注是否为复杂的群体场景（如拥挤的人群）。0表示不是拥挤场景，1表示是拥挤场景。 keypoints 是 标注的关键点坐标及其可见性，按顺序列出所有关键点，每个关键点用三个数值表示 [x, y, v]。x和y是关键点的像素坐标，v是可见性（0：不可见且不在图像中；1：不可见但在图像中；2：可见且在图像中）。 image_id 是 与该标注相关联的图像的ID，必须与images字段中的id对应。 bbox 是 目标物体的边界框，用[x, y, width, height]表示，其中，x，y是边界框左上角的坐标，width和height是边界框的宽度和高度。 category_id 是 标注类别的ID，对于人体姿态估计，通常为1（表示person）。 id 是 标注的唯一标识符。 categories 是 标注类型信息。 supercategory 是 类别的上级分类，通常为person。 id 是 类别的唯一标识符，对于人体姿态估计，通常为1。 name 是 类别的名称，通常为person。 keypoints 是 关键点的名称列表，COCO格式中通常定义了17个关键点，如nose、left_eye、right_eye、left_ear、right_ear、left_shoulder、right_shoulder、left_elbow、right_elbow、left_wrist、right_wrist、left_hip、right_hip、left_knee、right_knee、left_ankle、right_ankle。 skeleton 是 定义骨架连接的列表，用于表示关键点之间的连接关系。每个连接用一对关键点索引表示，如 [1, 2]，表示鼻子（nose）到左眼（left_eye）的连线。

异常检测数据集标注文件说明 该说明适用于表1中的异常检测标注文件格式。 要求用户将标注文件和图片存于同一文件夹，正常和异常分文件夹创建。 当目录下存在对应的txt文件时，以txt文件内容作为正常或异常的标签。 示例如下所示，import-dir-1和import-dir-2为导入子目录。 dataset-import-example ├─abnormal │ IMG_20180919_114732.jpg │ IMG_20180919_114732.txt │ IMG_20180919_114745.jpg │ IMG_20180919_114745.txt └─normal │ IMG_20180919_114945.jpg │ IMG_20180919_114945.txt │ IMG_20180919_114949.jpg │ IMG_20180919_114949.txt 异常标签的标签文件示例，如IMG_20180919_114732.txt文件内容如下所示。 abnormal 正常标签的标签文件示例，如IMG_20180919_114945.txt文件内容如下所示。 normal

准备工作 本章节的边缘部署操作以largemodel集群为例，示例集群信息如下表。 表2 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge.4镜像 EulerOS 2.9 64bit with ARM for Tenant 20230728 base 2.9.15 公网IP：100.85.220.207 root密码：/ CPU架构：aarch64（登录设备，执行arch命令查看） worker bms-panguXXXX CPU:Kunpeng 内存：24*64GB DDR4 RAM (GB) 本地磁盘：3*7.68TB NVMe SSD 扩展配置：2*100GE+8*200GE 类型：physical.kat2e.48xlarge.8.313t.ei.pod101 euler2.10_arm_sdi3_1980b_hc_sdi5_b080_20230831v2 公网IP：100.85.216.151 root密码：/ CPU架构：aarch64（登录设备，执行arch命令查看） 依赖包下载。 docker下载：https://download.docker.com/linux/static/stable 选择对应cpu架构下载，docker版本选在19.0.3+。 K3S下载：https://github.com/k3s-io/k3s/releases/tag/v1.21.12%2Bk3s1 按照对应cpu架构下载二进制文件以及air-gap镜像。 npu驱动和固件安装。 执行命令npu-smi info查看驱动是否已安装。如果有回显npu卡信息，说明驱动已安装。 详情请参见昇腾官方文档。 hccn too网卡配置。 执行如下命令，查看是否有回显网卡信息。如果有，则说明网卡已经配置，否则继续操作下面步骤。 cat /etc/hccn.conf 执行如下命令，查看npu卡数。 npu-smi info 执行如下命令（地址自行配置）： hccn_tool -i 0 -ip -s address 192.168.0.230 netmask 255.255.255.0 hccn_tool -i 1 -ip -s address 192.168.0.231 netmask 255.255.255.0 hccn_tool -i 2 -ip -s address 192.168.0.232 netmask 255.255.255.0 hccn_tool -i 3 -ip -s address 192.168.0.233 netmask 255.255.255.0 hccn_tool -i 4 -ip -s address 192.168.0.234 netmask 255.255.255.0 hccn_tool -i 5 -ip -s address 192.168.0.235 netmask 255.255.255.0 hccn_tool -i 6 -ip -s address 192.168.0.236 netmask 255.255.255.0 hccn_tool -i 7 -ip -s address 192.168.0.237 netmask 255.255.255.0 执行命令cat /etc/hccn.conf，确保有如下回显网卡信息，则配置完成。 配置NFS网盘服务。 大模型采用镜像+模型分开的方式部署时，需要有一个节点来提供nfs网盘服务，创建部署时通过nfs挂载的方式访问模型。

数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。 Verification failed. Please check the content format is consistent with the template requirements. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。 content type [%s] not support, only [%s] support. 数据集中的内容不支持，请保证上传的数据格式与平台要求的一致。 get obs bucket folders error. 请检查OBS服务是否正常，是否可以访问OBS桶数据。 数据加工 dataset is not online. 数据加工使用的数据集未上线，请先执行上线操作。 invalid obs path. 请检查数据集对应的OBS路径是否有效，是否可正常访问。 数据标注 annotate data not exist. 请检查标注数据集是否存在，是否被删除。 obs url invalid. 请检查数据集对应的OBS路径是否有效，是否可正常访问。 data management query dataset data invalid. 请检查标注数据集是否存在，是否被删除。 dataset obs file empty. 检查数据集文件是否还存在于原先的OBS桶中。 download obs file failed. 请检查网络是否正常，是否可以访问OBS桶中的数据。 数据评估 annotate type is invalid. 请检查上传的数据中，使用的数据标注类型、数据标注要求与平台要求的是否一致。 annotate data not exist. 待评测数据不存在，请检查数据是否导入成功，OBS桶是否为空。 obs url invalid. 请检查数据集对应的OBS路径是否有效，是否可正常访问。 standard item not exist. 请检查评估标准是否存在，是否被删除。 the corresponding data has been marked as deleted. 请检查评估数据是否被删除。 the current data not exist. 请检查评估数据是否存在，是否被删除。 dataset file type does not match standard file type. 请检查上传的数据集文件类型与平台要求的标准文件类型是否一致。 data management query dataset data invalid. 请检查数据集中是否有异常格式的数据。 dataset obs file empty. 检查数据集文件是否还存在于原先的OBS桶中。 数据流通 Dataset [%s] is not found. 请检查数据集是否存在。 Dataset [%s] status is invalid. 请检查数据集状态是否正常。 父主题： 使用数据工程构建数据集

查看提示词评估结果 评估任务创建完成后，会跳转至“评估”页面，在该页面可以查看评估状态。 图1 查看提示词评任务状态 单击“评估名称”，进入评估任务详情页，可以查看详细的评估进度，例如在图2中有10条评估用例，当前已评估8条，剩余2条待评估。 图2 查看评估进展 评估完成后，可以查看每条数据的评估结果。 在评估结果中，“预期结果”表示变量值（问题）所预设的期望回答，“生成结果”表示模型回复的结果。通过比对“预期结果”、“生成结果”的差异可以判断提示词效果。 父主题： 批量评估提示词效果

查看训练指标 对于训练状态为“已完成”的任务，单击任务名称，可在“训练结果”页面查看训练指标，模型的训练指标介绍请参见表2。 表2 训练指标说明 模型 训练指标 指标说明 预测大模型 拟合度 拟合度是一种衡量模型对数据拟合程度的指标。数值范围为0到1，数值越接近1，表示模型对数据的拟合程度越好。 均方根误差 均方根误差是预测值与真实值之间差异的平方和的均值的平方根。它用于衡量模型预测值与实际值之间的偏差，数值越小，表明模型预测的精度越高。 平均绝对误差 平均绝对误差是预测值与真实值之间绝对误差的均值。它同样用于衡量模型预测值与实际值之间的差异，数值越小，表明模型预测的准确性越高。 真实值和预测值 真实值和预测值在图表中的对比情况。 准确率 模型预测结果中，所有预测正确的样本占总样本的比例。数值越高，模型效果越好。 精准率 精准率是指在模型预测为正类的样本中，真正类样本的比例。数值越高，表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中，被模型正确预测为正类的比例。数值越高，表明模型在检测正类样本时的全面性越高。 训练损失值(Training Loss) 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 模型权重特征重要性 各特征对模型的影响大小，以便于模型调优。

获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。 对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见预测大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图2 获取训练日志

支持数据加工的数据集类型 当前支持数据加工操作的数据集类型见表1。 表1 支持数据加工操作的数据集类型 数据集模态 数据集类型 数据加工 数据合成 数据标注 数据配比 文本类 文档 √ - - √ 网页 √ - - √ 预训练文本 √ √ - √ 单轮问答 √ √ √ √ 单轮问答+人设 √ √ √ √ 多轮问答 √ - √ √ 多轮问答+人设 √ - √ √ 问答排序 √ - √ √ 偏好优化DPO - - - √ 偏好优化DPO+人设 - - - √ 图片类 仅图片 √ - √ √ 图片+Caption √ - √ √ 图片+QA对 √ - √ √ 物体检测 - - - - 图像分类 - - - - 异常检测 - - - - 语义分割 - - - - 姿态估计 - - - - 实例分割 - - - - 变化检测 - - - - 视频分类 - - - - 视频类 视频 √ - √ - 视频理解 √ - √ - 事件检测 - - - - 气象类 气象数据 √ - - - 预测类 时序（分类） - - - √ 时序（回归） - - - - 结构化（分类） - - - √ 结构化（回归） - - - - 其他类 其他类 √（仅可使用自定义算子进行数据加工） - - -

数据加工意义 数据加工在大模型开发中具有至关重要的作用，具体体现在以下几个方面： 提高数据质量 原始数据往往包含噪声、缺失值或不一致性，这会直接影响模型训练效果。通过数据加工操作，可以有效去除无效信息、填补缺失数据，确保数据的准确性与一致性，从而提高数据质量，为模型训练提供可靠的输入。 扩展数据集的多样性和泛化能力 在数据量不足或样本不平衡的情况下，数据合成可以生成新数据，扩展数据集的规模和多样性。通过增加数据的多样性，能够提升模型在各种场景下的泛化能力，增强其对未知数据的适应性。 增强模型训练的有效性 高质量的数据是训练好模型的基础。数据加工不仅仅是对数据的简单处理，更是根据不同数据类型和业务需求进行有针对性的优化，使数据更符合训练标准，提高训练效率和精度。 确保业务需求对接 不同业务场景和模型应用对数据有不同的要求。数据加工能够根据特定业务需求进行定制化处理，确保数据满足应用场景的需求，从而提高数据和模型的匹配度，提升业务决策和模型预测的准确性。 提升数据处理效率 通过平台提供的自动化加工功能，用户可以高效完成大规模数据的预处理工作，减少人工干预，提升数据处理的一致性和效率，确保整个数据工程流程的顺畅运行。 确保数据质量和适配性 通过数据配比，确保数据集满足大模型训练的高标准。这不仅包括数据规模的要求，还涵盖了数据质量、平衡性和代表性的保证，避免数据不均衡或不具备足够多样性的情况，进而提高模型的准确性和鲁棒性。 提高数据的多样性和代表性 通过合理的数据配比，帮助用户按特定比例组合多个数据集，确保数据集在不同任务场景下的多样性和代表性。这样可以避免过度偏向某一类数据，保证模型能够学习到多种特征，提升对各种情况的适应能力。 总体而言，数据加工不仅提升了数据处理的效率，还可通过优化数据质量和针对性处理，支持高效的模型训练。通过数据加工，用户能够快速构建高质量的数据集，推动大模型的成功开发。

数据加工介绍 ModelArts Studio大模型开发平台提供数据加工功能，涵盖了数据加工、数据合成和数据标注关键操作，旨在确保原始数据符合业务需求和模型训练的标准，是数据工程中的核心环节。 数据加工 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。此外，用户还可以创建自定义算子，针对特定业务场景和模型需求，灵活地进行数据加工，从而进一步优化数据处理流程，提高模型的准确性和鲁棒性。 数据合成 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。 数据标注 为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 数据配比 数据配比是将多个数据集按特定比例组合为一个加工数据集的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 通过这些数据加工操作，平台能够有效清理噪声数据、标准化数据格式，并优化数据集的整体质量。数据加工不仅仅是简单的数据处理，它还会根据数据类型和业务场景进行有针对性的优化，从而为模型训练提供高质量的输入，提升模型的表现。

响应示例 { "result": [ { "RegisterMatrix": [ [ 1, 0, 0 ], [ 0, 1, 0 ], [ 0, 0, 1 ] ] }, { "Box": { "Y": 0, "Width": 100, "Angle": 0, "X": 0, "Height": 100 }, "Score": 0.9, "label": "person" } ] }

请求参数 使用Token认证方式的请求Header参数见表1。 表2 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。 获取Token 接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 使用API Key认证方式的请求Header参数见表2。 表3 请求Header参数（API Key认证） 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String API Key值。 用于获取操作API的权限。API Key认证响应消息头中X-Apig-AppCode的值即为API Key。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表4 图片请求Body参数 参数 是否必选 参数类型 描述 images 是 String 参数解释：被检测图片的base64编码。 约束限制：建议使用PNG、JPEG、BMP、JPG、WEBP格式的图片。只支持单张图片输入，分辨率范围为1px-10000px，且长短边比例不能高于5。并且base64编码后的图片大小不超过10MB。支持RGB三通道格式的图像 取值范围： 默认取值： nms_iou_thr 是 Float 参数解释：极大值抑制阈值。 约束限制： 取值范围：范围在0.0~1.0之间。 默认取值： agnositc_nms 是 Bool 参数解释：是否进行类间nms。 约束限制： 取值范围：是填写true，不是填写false。 默认取值： 表5 视频请求Body参数 参数 是否必选 参数类型 描述 addrs 是 String 参数解释：视频流rtsp地址。 约束限制： 取值范围： 默认取值： action 是 String 参数解释：是否添加视频流。 约束限制： 取值范围：添加视频流，填写add。删除视频流，填写stop。 默认取值：

响应参数 状态码： 200 表6 响应Body参数 参数 参数类型 描述 result List 物体检测的识别结果。 表7 响应Body参数 参数 参数类型 描述 RegisterMatrix List 默认为[[1, 0, 0], [0, 1, 0], [0, 0, 1]]，表示图片特征矩阵。 Label String 预测类别。 Score Float 置信度。 Box Dict 检测到的目标主体信息，格式为{"x":x1,"y":y1,"width":w,"height":h，'Angle':angle}。 x：检测到的目标主体区域的左上角x坐标。 y：检测到的目标主体区域的左上角y坐标。 width：检测到的目标主体区域的宽度。 height：检测到的目标主体区域的高度。 angle: 检测到的目标主体区域的角度。 状态码： 400 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误信息。

URI 图片接口：POST /v1/{project_id}/infer-api/proxy/service/{deployment_id}/ 视频接口：POST /v1/{project_id}/infer-api/proxy/service/{deployment_id}/v1/video/set_data/ 获取URI方式请参见请求URI。 表1 推理接口路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。