华为云用户手册

气象类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化json数据。 父主题： 数据集加工算子介绍

数据加工意义 数据加工直接影响到模型训练的质量和效率。通过数据加工，可以确保训练数据具有较高的质量，减少由于数据问题导致的训练误差，从而提高模型的性能。 提升数据质量：数据加工能够去除噪声、修复缺失值和异常值，保证数据的准确性、完整性和一致性，为模型训练提供高质量的输入数据。 提高处理效率：平台预置的多种数据加工算子，帮助用户快速完成数据清洗、转换和处理，减少手动操作，提高数据处理的效率。 满足业务需求：不同类型的数据需要不同的处理方式，平台根据文本、图片、视频、气象等数据类型提供专门的加工工具，满足各种复杂的业务需求。 增强模型性能：通过合适的数据加工，可以提高数据的可用性，进而提升模型的训练效果，使其具备更高的精度和鲁棒性。 总体而言，数据加工不仅帮助用户提升数据处理效率，还通过优化数据质量，支持高效的模型训练，帮助用户快速构建高质量的数据集，推动大模型的成功开发。

数据加工概念 数据加工是数据工程中的核心环节，旨在通过使用数据集加工算子对原始数据进行清洗、转换、提取和过滤等操作，以确保数据符合模型训练的标准和业务需求。 通过这一过程，用户能够优化数据质量，去除噪声和冗余信息，提升数据的准确性和一致性，为后续的模型训练提供更高质量、更有效的输入。数据加工不仅仅是对数据的简单处理，它还针对不同数据类型和业务场景进行有针对性的优化。 ModelArts Studio大模型开发平台提供了强大的数据加工功能，根据不同类型的数据集预置了多种加工算子，如数据提取、转换和过滤等。

管理原始数据集 原始数据集上线成功后，支持查看数据集详情、下载数据集、查看数据血缘、以及对数据集进行删除等操作。 支持查看数据集详情。在“数据获取”页面，单击数据集名称，在“基本信息”页签可查看当前数据集的创建人、创建时间等详细信息、行业标签等扩展信息以及该数据集的创建、导入、上线等操作记录。 下载数据文件。在“数据获取”页面，单击数据集名称，在“数据文件”页签，单击文件操作列的“下载”，可实现下载数据文件操作。 查看数据血缘。在“数据获取”页面，单击数据集名称，在“数据血缘”页签，可以查看当前数据集所经历的完整操作，如加工、标注等。 删除原始数据集。已上线的数据集需先执行下线操作后才可以删除。在“数据获取”页面，单击数据集操作列的“下线”，单击“删除”并进行二次删除确认。 删除原始数据集属于高危操作，删除前，请确保该数据集不再使用。

骨骼关键点坐标标注json文件说明 骨骼关键点坐标标注基于开源coco人物关键点标注格式对数据集进行标注，需包含annotations，train，val文件夹。annotations文件夹下用train.json和val.json记录训练集和验证集标注，train和val文件夹下保存具体的图片，示例如下所示： ├─annotations │ train.json │ val.json ├─train │ IMG_20180919_114745.jpg ├─val │ IMG_20180919_114945.jpg 具体的json标注文件具体示例： { "images": [ { "license": 2, "file_name": "000000000139.jpg", "coco_url": "", "height": 426, "width": 640, "date_captured": "2013-11-21 01:34:01", "flickr_url": "", "id": 139 } ], "annotations": [ { "num_keypoints": 15, "area": 2913.1104, "iscrowd": 0, "keypoints": [ 427, 170, 1, 429, 169, 2, 0, 0, 0, 434, 168, 2, 0, 0, 0, 441, 177, 2, 446, 177, 2, 437, 200, 2, 430, 206, 2, 430, 220, 2, 420, 215, 2, 445, 226, 2, 452, 223, 2, 447, 260, 2, 454, 257, 2, 455, 290, 2, 459, 286, 2 ], "image_id": 139, "bbox": [ 412.8, 157.61, 53.05, 138.01 ], "category_id": 1, "id": 230831 }, ], "categories": [ { "supercategory": "person", "id": 1, "name": "person", "keypoints": [ "nose", "left_eye", "right_eye", "left_ear", "right_ear", "left_shoulder", "right_shoulder", "left_elbow", "right_elbow", "left_wrist", "right_wrist", "left_hip", "right_hip", "left_knee", "right_knee", "left_ankle", "right_ankle" ], "skeleton": [ [ 16, 14 ], [ 14, 12 ], [ 17, 15 ], [ 15, 13 ], [ 12, 13 ], [ 6, 12 ], [ 7, 13 ], [ 6, 7 ], [ 6, 8 ], [ 7, 9 ], [ 8, 10 ], [ 9, 11 ], [ 2, 3 ], [ 1, 2 ], [ 1, 3 ], [ 2, 4 ], [ 3, 5 ], [ 4, 6 ], [ 5, 7 ] ] } ] } 表6 COCO格式说明 字段 是否必选 说明 images 是 图片信息。 license 否 图像的许可证标识符。 file_name 是 图像的文件名。 coco_url 否 图像在COCO官方数据集中的URL。 height 是 图像的高度，以像素为单位。 width 是 图像的宽度，以像素为单位。 date_captured 否 图像捕获的日期和时间。 flickr_url 否 图像在Flickr网站上的URL。 id 是 图像的唯一标识符。 annotations 是 标注信息。 num_keypoints 是 标注的关键点数量。 area 是 边界框的面积，以像素平方为单位。 iscrowd 是 表示标注是否为复杂的群体场景（如拥挤的人群）。0表示不是拥挤场景，1表示是拥挤场景。 keypoints 是 标注的关键点坐标及其可见性，按顺序列出所有关键点，每个关键点用三个数值表示 [x, y, v]。x和y是关键点的像素坐标，v是可见性（0：不可见且不在图像中；1：不可见但在图像中；2：可见且在图像中）。 image_id 是 与该标注相关联的图像的ID，必须与images字段中的id对应。 bbox 是 目标物体的边界框，用[x, y, width, height]表示，其中，x，y是边界框左上角的坐标，width和height是边界框的宽度和高度。 category_id 是 标注类别的ID，对于人体姿态估计，通常为1（表示person）。 id 是 标注的唯一标识符。 categories 是 标注类型信息。 supercategory 是 类别的上级分类，通常为person。 id 是 类别的唯一标识符，对于人体姿态估计，通常为1。 name 是 类别的名称，通常为person。 keypoints 是 关键点的名称列表，COCO格式中通常定义了17个关键点，如nose、left_eye、right_eye、left_ear、right_ear、left_shoulder、right_shoulder、left_elbow、right_elbow、left_wrist、right_wrist、left_hip、right_hip、left_knee、right_knee、left_ankle、right_ankle。 skeleton 是 定义骨架连接的列表，用于表示关键点之间的连接关系。每个连接用一对关键点索引表示，如 [1, 2]，表示鼻子（nose）到左眼（left_eye）的连线。

图像分类数据集标注文件说明 图像分类数据集支持格式为ModelArts image classification 1.0。 要求用户将标注对象和标注文件存储在同一目录，并且一一对应，标注文件txt中可以放单标签，也可以放多标签。 当目录下存在对应的txt文件时，以txt文件内容作为图像的标签。 示例如下所示，import-dir-1和import-dir-2为导入子目录。 dataset-import-example ├─import-dir-1 │ 10.jpg │ 10.txt │ 11.jpg │ 11.txt │ 12.jpg │ 12.txt └─import-dir-2 1.jpg 1.txt 2.jpg 2.txt 单标签的标签文件示例，如1.txt文件内容如下所示： Cat 多标签的标签文件示例，如2.txt文件内容如下所示： Cat Dog

预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，每个数据点都有一个时间戳，表示数据在时间上的位置。它用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值。数据集中的多个特征变量帮助预测目标变量，而目标变量为连续数值，非离散类别。与时序数据不同，回归分类数据不要求数据具有时间顺序。 具体格式要求详见表1。 表1 预测类数据集格式要求 文件内容 文件格式 文件样例 时序 csv 数据为结构化数据，包含列和行，每一行表示一条数据，每一列表示一个特征，并且必须包含预测目标列，预测目标列要求为连续型数据。 目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字眼，如train01.csv；验证数据名称需包含eval字眼；测试数据名称需包含test字眼。文件的命名不能同时包含train、eval和test中的两个或三个。 时序预测必须要包含一个时间列，时间列值的格式示例为 2024-05-27 或 2024/05/27 或 2024-05-27 12:00:00 或 2024/05/27 12:00:00 。 示例如下： timestamp,feature1,feature2,target 2024-05-27 12:00:00,10.5,20.3,100 2024-05-27 12:01:00,10.6,20.5,101 2024-05-27 12:02:00,10.7,20.7,102 2024-05-27 12:03:00,10.8,20.9,103 2024-05-27 12:04:00,10.9,21.0,104 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 回归分类 csv 数据为结构化数据，包含列和行，每一行表示一条数据，每一列表示一个特征，并且必须包含预测目标列，预测目标列要求为连续型数据。 目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字眼，如train01.csv；验证数据名称需包含eval字眼；测试数据名称需包含test字眼。文件的命名不能同时包含train、eval和test中的两个或三个。 示例如下： feature1,feature2,target 10.5,20.3,100 10.6,20.5,101 10.7,20.7,102 10.8,20.9,103 10.9,21.0,104 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 父主题： 数据集格式要求

气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针对特定区域，旨在提供完整、一致且高精度的气象数据。 再分析数据为二进制格式，具体格式要求详见表1。 表1 气象类数据集格式要求 文件内容 文件格式 文件要求 海洋气象 nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 海洋数据通常包含全球或区域性的海洋变量，如温度（T）、气压（P）、风速（U、V）等，具体格式示例如下： {"geo_range": {"lat": ["-90.0", "90.0"], "lon": ["0.0", "360.0"]}, "time_range": ["1640995200000", "1641164400000"], "total_size": 7376211808, "surface_features": ["SSH", "T", "P", "U", "V"], "under_sea_layers": ["0m", "6m", "10m", "20m", "30m", "50m", "70m", "100m", "125m", "150m", "200m", "250m", "300m", "400m", "500m"], "under_sea_features": [ "T", "U", "V", "S"]} geo_range：定义了数据覆盖的地理范围，纬度（lat）从-90.0到90.0，经度（lon）从0.0到360.0。 time_range：数据的时间范围，时间戳格式为毫秒数。 total_size：数据文件的总大小，单位为字节。 surface_features：海表特征变量列表，例如海表高度（SSH）、温度（T）、风速（U、V）。 under_sea_layers：深海层列表，例如500m、400mPa等。 under_sea_features：高空特征变量列表，例如海盐（S）、温度（T）、海流速率（U、V）。 父主题： 数据集格式要求

图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入图片、图片+Caption、图片+QA对三种类型的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片：支持jpg、jpeg、png、bmp类型，单张图片大小不能超过5M，图片总大小不能超过500MB。 tar：tar包内图片支持jpg、jpeg、png、bmp图片类型，每个tar包不超过500MB。 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 图片+Caption 图片支持tar，Caption支持jsonl 图片+Caption指的是一张图片和与之相关的文字描述，Caption是对图片内容的简短说明或解释，帮助人们理解图片所表达的信息。 图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。 Caption：jsonl格式，图片描述jsonl文件放在最外层目录，一个tar包对应一个jsonl文件，文件内容中每一行代表一段文本，具体格式示例如下： {"image_name":"图片名称（abc.jpg）","tar_name":"tar包名称（1.tar）","caption":"图片对应的文本描述"} 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB，具体格式示例如下： 图片+QA对 图片支持tar，QA对支持jsonl 图片+QA对是指将一张图片和与之相关的问题及答案配对在一起，用于训练模型让其能够理解图片内容并回答与图片相关的问题。 图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。 QA对：jsonl格式，图片描述jsonl文件放在最外层目录，一个tar包对应一个jsonl文件，文件内容中每一行代表一段文本，具体格式示例如下： {"image_name":"图片名称（abc.jpg）","tar_name":"tar包名称（1.tar）","conversations":[{"question":"问题1","answer":"回答1"},{"question":"问题2","answer","回答2"}]} 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB，具体格式示例如下： 父主题： 数据集格式要求

视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时支持导入mp4或avi格式文件，同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传，所有视频可以放在多个文件夹下，每个文件夹下可以同时包含mp4或avi格式的视频。 数据集最大1000万个文件，单文件最大100GB，整个数据集最大100TB。 父主题： 数据集格式要求

文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 网页 html 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下： {"text":"盘古大模型，是华为推出盘古系列AI大模型，包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"} 数据集最大100万个文件，单文件最大2GB，整个数据集最大1.5TB。 单轮问答 jsonl、csv jsonl格式：数据由问答对构成，context、target分别表示问题、答案，具体格式示例如下： {"context": "你好，请介绍自己", "target": "我是盘古大模型"} csv格式：csv文件的第一列对应context，第二列对应target，具体格式示例如下： "你好，请介绍自己","我是盘古大模型" 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 多轮问答 jsonl jsonl格式：数组格式，至少由一组问答对构成。形式为[{"context":"context内容1","target":"target内容1"},{"context":"context内容2","target":"target内容2"}]，其中context、target分别表示问题、答案，具体格式示例如下： [{"context":"你好","target":"你好，请问有什么可以帮助你"},{"context":"请介绍一下盘古大模型","target":"盘古大模型，是华为推出盘古系列AI大模型，包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"}] 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 问答排序 jsonl、csv jsonl格式：context表示问题，targets的回答1、回答2、回答3表示答案的优劣顺序，最好的答案排在最前面。targets内容的数量至少为2个，且最多为6个，具体格式示例如下： { "context":"context内容","targets":["回答1","回答2","回答3"]} csv格式：csv文件的第一列对应context，其余列为答案，具体格式示例如下： "问题","回答1","回答2","回答3" 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 单轮问答（人设） jsonl、csv jsonl格式：system表示人设，context、target分别表示问题、答案，具体格式示例如下： {"system":"机智幽默","context":"你好，请介绍自己","target":"哈哈，你好呀，我是你的聪明助手。"} csv格式：csv文件的第一列对应system，第二三列分别对应context、target，具体格式示例如下： {"机智幽默","你好，请介绍自己","哈哈，你好呀，我是你的聪明助手。"} 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 多轮问答（人设） jsonl jsonl格式：数组格式，至少由一组问答对构成。system表示人设，context、target分别表示问题、答案，具体格式示例如下： [{"system":"书籍推荐专家"},{"context":"你好","target":"嗨！你好，需要点什么帮助吗？"},{"context":"能给我推荐点书吗？","target":"当然可以，基于你的兴趣，我推荐你阅读《自动驾驶的未来》。"}] 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。 父主题： 数据集格式要求

数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 在ModelArts Studio开发平台中，数据工程功能提供了完整的解决方案，用于高效构建和管理数据集，其操作流程见图1、表1。这种全面的数据准备机制，确保了数据质量的可靠性，为各类模型开发奠定了坚实的基础。 图1 数据集准备与处理流程图 表1 数据集准备与处理流程表 流程 子流程 说明 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本，上传至平台的数据将被创建为原始数据集进行统一管理。 上线原始数据集 在正式发布数据集前，需要执行上线操作。 加工数据集（可选） 创建数据集加工任务 当数据集中存在异常数据、噪声数据、或不符合分析需求的数据时，可以通过加工数据集进行处理，包括但不限于数据提取、过滤、转换、打标签等操作。 上线加工后的数据集 对加工后的数据集执行上线操作。 标注数据集（可选） 创建数据集标注任务 创建数据集标注任务，并对数据集执行标注操作，标注后的数据可以用于模型训练。 审核数据集标注结果 对数据集的标注结果进行审核。 上线标注后的数据集 对标注后的数据集执行上线操作。 评估数据集（可选） 创建数据集评估标准 创建数据集评估标准。可以评估文本通顺性、图文内容一致性、视频清晰度等。 创建数据集评估任务 创建数据集质量评估任务，并基于评估标注对数据逐一评估其质量，评估后的数据可以用于模型训练。 获取数据集评估报告 查看数据集评估任务的进展和数据集质量。 发布数据集 创建数据集发布任务 创建数据集发布任务，并进行正式的数据集发布操作，可用于后续的训练任务。 平台支持发布的数据集格式为默认格式、盘古格式、自定义格式，可按需进行数据集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 父主题： 使用数据工程准备与处理数据集

平台支持的数据类型 ModelArts Studio大模型开发平台支持的数据类型见表1。 表1 平台支持的数据类型 数据类型 数据内容 数据文件格式要求 文本类 文档 支持txt、mobi、epub、docx、pdf，详见文本类数据集格式要求。 网页 支持html，详见文本类数据集格式要求。 预训练文本 支持jsonl，详见文本类数据集格式要求。 单轮问答 支持jsonl、csv，详见文本类数据集格式要求。 单轮问答（人设） 支持jsonl、csv，详见文本类数据集格式要求。 多轮问答 支持jsonl，详见文本类数据集格式要求。 多轮问答（人设） 支持jsonl，详见文本类数据集格式要求。 问答排序 支持jsonl、csv，详见文本类数据集格式要求。 图片类 图片 支持图片、tar，详见图片类数据集格式要求。 图片+Caption 图片支持tar，Caption支持jsonl，详见图片类数据集格式要求。 图片+QA对 图片支持tar，QA对支持jsonl，详见图片类数据集格式要求。 视频类 视频 支持mp4、avi，详见视频类数据集格式要求。 气象类 海洋气象 支持nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2，详见气象类数据集格式要求。 预测类 时序 支持csv，详见预测类数据集格式要求。 回归分类 支持csv，详见预测类数据集格式要求。 其他类 用户自定义 支持构建CV场景中包含图片和标注文件的图像分类数据集，如图片+CV标注、视频+CV标注等类型，详见其他类数据集格式要求。

数据工程简介 数据工程是ModelArts Studio大模型开发平台为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、标注、评估和发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。 数据工程所包含的具体功能如下： 数据获取：数据获取是数据工程的第一步，涉及从不同来源和格式的数据导入到平台。ModelArts Studio大模型开发平台提供多种高效灵活的数据接入方式，支持本地上传、通过OBS服务将数据导入平台。平台支持的多种数据类型包括文本、图片、视频等，能够满足不同行业和业务需求的多样化数据接入方式。用户还可以根据业务需求上传自定义格式的数据，极大地提升了数据获取的灵活性和可扩展性。通过这一功能，用户能够方便快捷地将大量数据导入平台，为后续的数据处理和模型训练打下良好的基础。 数据加工：数据加工是确保数据质量的关键步骤。平台提供一系列数据清洗、过滤、转换等加工操作，旨在确保原始数据能够满足各种业务需求和模型训练的标准。针对不同类型的数据集，平台设计了专用的加工算子（即为特定数据处理任务预定义的操作模块，如文本去重、格式转换、异常处理等），通过这些算子能够高效地处理各类数据。对于文本类数据集，平台还支持用户自定义加工算子，以进一步满足特定场景下的需求。目前这一自定义算子功能仅适用于文本类数据集。通过加工操作，平台能够有效清理噪声数据、标准化数据格式，提升数据集的整体质量。 数据标注：在大模型的训练中，数据标注至关重要。平台不仅支持对无标签数据进行手动标注或重新标注，还支持对图片、视频类数据集通过AI预标注技术提升标注效率。AI预标注功能通过自动化的方式为数据集生成初步的标签，用户可以在此基础上进行人工审核和修正，从而大幅度减少人工标注的工作量和时间成本。此外，AI预标注不仅提高了标注效率，还能减少人为错误，提高标注的一致性和准确性。标注质量的提高直接增强了训练数据的有效性，确保训练模型时能获得更高质量的学习数据，从而推动模型性能的提升。 数据评估：数据的质量直接决定了大模型的表现，因此，数据质量评估在整个数据工程中占有重要地位。ModelArts Studio大模型开发平台提供了强大的数据质量评估工具，能够对处理后的数据集进行深入分析，评估其准确性、完整性和一致性。平台生成详细的数据质量评估报告，帮助用户全面了解数据的健康状况。数据评估结果能够为后续的数据优化提供明确指导，帮助用户在数据发布前进行最后的质量把关，确保数据集的可靠性，为大模型的训练提供高质量的基础数据。 数据发布：数据发布是数据工程流程的最后一步。平台支持将经过加工、标注和评估的数据集以多种格式进行发布，包括默认格式、盘古格式（适用于训练盘古大模型时）。这些格式支持用户在不同的AI平台和业务场景中使用，确保数据在不同模型训练系统中的兼容性与流畅使用。目前，发布多种数据集格式的功能仅支持文本类和图片类数据集。 数据工程架构图如下： 图1 数据工程架构图 通过集成数据获取、加工、标注、评估和发布的完整流程，在大规模数据集的构建过程中，ModelArts Studio大模型开发平台的数据工程功能为用户提供了极大的灵活性和高效性，确保了数据处理的各个环节都能紧密协作，快速响应不断变化的业务需求和技术要求。

创建用户组 使用主账号登录 IAM 服务控制台。 左侧导航窗格中，选择“用户组”页签，单击右上方的“创建用户组”。 图1 创建用户组 在“创建用户组”界面，输入“用户组名称”，单击“确定”，创建用户组。 返回用户组列表，单击操作列的“授权”。 图2 用户组授权 参考表1，在搜索框中搜索授权项，为用户组设置权限，选择后单击“下一步”。 表1 授权项 授权项 说明 Agent Operator 拥有该权限的用户可以切换角色到委托方账号中，访问被授权的服务。 Tenant Administrator 全部云服务管理员（除IAM管理权限）。 Security Administrator 统一身份认证 服务（除切换角色外）所有权限。 图3 添加用户组权限 设置最小授权范围。 根据授权项策略，系统会自动推荐授权范围方案。 可以选择“所有资源”，即用户组内的IAM用户可以基于设置的授权项限使用账号中所有的企业项目、区域项目、全局服务资源。 可以选择“指定区域项目资源”，如指定“西南-贵阳一”区域，即用户组内的IAM用户仅可使用该区域项目中的资源。 可以选择“全局服务资源”，即服务部署时不区分区域，访问全局级服务，不需要切换区域，全局服务不支持基于区域项目授权。如 对象存储服务 （OBS）、内容分发网络（CDN）等。 选择完成后，单击“确定”。 图4 设置最小授权范围 单击“完成”，完成用户组授权。 图5 完成授权

管理盘古工作空间 盘古工作空间支持用户查看当前空间详情，修改空间名称与描述，还可以对不需要的空间实现删除操作。 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图3 进入操作空间 单击左侧导航栏的“空间管理”，在“空间设置”页签中可执行如下操作： 可修改当前空间的名称与描述。 可查看当前空间的创建时间。 单击右上角“删除”，可删除当前空间。 删除空间属于高危操作，删除前请确保当前空间不再进行使用。

盘古工作空间介绍 工作空间功能旨在为用户提供灵活、高效的资产管理与协作方式。平台支持用户根据业务需求或团队结构，自定义创建独立的工作空间。 每个工作空间在资产层面完全隔离，确保资产的安全性和操作的独立性，有效避免交叉干扰或权限错配带来的风险。用户可以结合实际使用场景，如不同的项目管理、部门运营或特定的研发需求，划分出多个工作空间，实现资产的精细化管理与有序调配，帮助用户高效地规划和分配任务，使团队协作更加高效。 此外，平台配备了完善的角色权限体系，覆盖超级管理员、管理员、模型开发工程师等多种角色。通过灵活的权限设置，每位用户能够在其对应的权限范围内安全高效地操作平台功能，从而最大程度保障数据的安全性与工作效率。 父主题： 创建并管理盘古工作空间

NLP大模型开发流程 ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持，涵盖了从数据处理到模型训练、压缩、部署、调用的各个环节。 NLP大模型开发流程见图4、表4。 图4 NLP大模型开发流程图 表4 NLP大模型开发流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理盘古工作空间 使用数据工程准备与处理数据集 导入数据至盘古平台 将用户数据导入至盘古平台的过程。 导入数据至盘古平台 创建文本类数据集加工任务 数据集中若存在异常数据，可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。 创建文本类数据集加工任务 创建文本类数据集标注任务 创建数据集标注任务，并对数据集执行标注操作，标注后的数据可以用于模型训练。 创建文本类数据集标注任务 创建文本类数据集评估任务 评估文本通顺性、信息充分性、内容有效性等。 创建文本类数据集评估任务 创建文本类数据集发布任务 创建数据集发布任务，并进行正式的数据集发布操作，可用于后续的训练任务。 平台支持发布的数据集格式为默认格式、盘古格式，可按需进行数据集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 发布文本类数据集 开发盘古NLP大模型 训练NLP大模型 进行模型的训练，如预训练、微调等训练方式。 训练NLP大模型 压缩NLP大模型 通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 压缩NLP大模型 部署NLP大模型 部署后的模型可进行调用操作。 部署NLP大模型 调用NLP大模型 支持“能力调测”功能与API两种方式调用大模型。 调用NLP大模型 盘古NLP大模型应用开发 开发盘古大模型提示词工程 辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 开发盘古大模型提示词工程 开发盘古大模型Agent应用 基于NLP大模型，致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验，都可以通过Agent平台快速创建各种类型的智能体。 开发盘古大模型Agent应用 管理盘古大模型空间资产 管理盘古数据资产 管理已发布的数据集。 管理盘古数据资产 管理盘古模型资产 管理预置或训练后发布的模型。 管理盘古模型资产

科学计算大模型开发流程 ModelArts Studio大模型开发平台提供了科学计算大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署、调用的各个环节。 科学计算大模型开发流程见图5、表5。 图5 科学计算大模型开发流程图 表5 科学计算大模型开发流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理盘古工作空间 使用数据工程准备与处理数据集 导入数据至盘古平台 将用户数据导入至盘古平台的过程。 导入数据至盘古平台 创建气象类数据集加工任务 数据集中若存在异常数据，可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。 创建气象类数据集加工任务 创建气象类数据集发布任务 创建数据集发布任务，并进行正式的数据集发布操作，可用于后续的训练任务。 发布气象类数据集 开发盘古科学计算大模型 训练科学计算大模型 进行模型的训练，如预训练、微调等训练方式。 训练科学计算大模型 部署科学计算大模型 部署后的模型可进行调用操作。 部署科学计算大模型 调用科学计算大模型 支持“能力调测”功能与API两种方式调用大模型。 调用科学计算大模型 管理盘古大模型空间资产 管理盘古数据资产 管理已发布的数据集。 管理盘古数据资产 管理盘古模型资产 管理预置或训练后发布的模型。 管理盘古模型资产

预置模型使用流程 ModelArts Studio大模型开发平台提供了不同类型的预置模型，包括NLP大模型和科学计算大模型。用户可将预置模型部署为预置服务，用于后续的调用操作。 其中，NLP预置模型使用流程见图1、表1，科学计算预置模型使用流程见图2、表2。 图1 NLP预置模型使用流程图 表1 NLP预置模型使用流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理盘古工作空间 部署NLP大模型 创建NLP大模型部署任务 部署后的模型可用于后续调用操作。 创建NLP大模型部署任务 查看NLP大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“能力调测”调用NLP大模型 使用该功能调用部署后的预置服务进行文本对话，支持设置人设和参数等。 使用“能力调测”调用NLP大模型、《快速入门》“使用盘古预置NLP大模型进行文本对话” 使用API调用NLP大模型 可调用API接口与NLP预置服务进行文本对话。 使用API调用NLP大模型、《快速入门》“调用盘古NLP大模型API实现文本对话” 图2 科学计算预置模型使用流程表 表2 科学计算预置模型使用流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理盘古工作空间 部署科学计算大模型 创建科学计算大模型部署任务 部署后的模型可用于后续调用操作。 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理科学计算大模型部署任务 调用科学计算大模型 使用“能力调测”调用科学计算大模型 使用该功能调用部署后的预置服务对区域海洋要素等场景进行预测。 使用“能力调测”调用科学计算大模型 使用API调用科学计算大模型 可调用科学计算API接口对区域海洋要素等场景进行预测。 使用API调用科学计算大模型

数据工程使用流程 ModelArts Studio大模型开发平台提供了数据工程能力，帮助用户构造高质量的数据集，助力模型进行更好地预测和决策。 数据工程使用流程见图3、表3。 图3 数据工程使用流程图 表3 数据工程使用流程表 流程 子流程 说明 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本，上传至平台的数据将被创建为原始数据集进行统一管理。 上线原始数据集 在正式发布数据集前，需要执行上线操作。 加工数据集（可选） 创建数据集加工任务 数据集中若存在异常数据，可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。 上线加工后的数据集 对加工后的数据集执行上线操作。 标注数据集（可选） 创建数据集标注任务 创建数据集标注任务，并对数据集执行标注操作，标注后的数据可以用于模型训练。 审核数据集标注结果 对数据集的标注结果进行审核。 上线标注后的数据集 对标注后的数据集执行上线操作。 评估数据集（可选） 创建数据集评估标准 创建数据集评估标准。评估文本通顺性、信息充分性、内容有效性等。 创建数据集评估任务 创建数据集质量评估任务，并基于评估标注对数据逐一评估其质量，评估后的数据可以用于模型训练。 获取数据集评估报告 查看数据集评估任务的进展和数据集质量。 发布数据集 创建数据集发布任务 创建数据集发布任务，并进行正式的数据集发布操作，可用于后续的训练任务。 平台支持发布的数据集格式为默认格式、盘古格式，可按需进行数据集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。

计费模式 盘古大模型的计费模式见表1。 表1 计费模式表 计费项 计费模式 付费方式 计费周期 模型订阅服务 包周期计费 预付费 按照订单的购买周期结算。 按订单的购买周期计费。 推理服务 包周期计费 预付费 按照订单的购买周期结算。 按订单的购买周期计费。 训练服务 按需计费 后付费 先使用再付费。 计费公式：实际消耗的Token数量 * Token单价 Token计算精确到1K Tokens，不足1K Tokens的部分舍去，按小时自动扣费。

计费项 关于盘古大模型的详细费用信息，敬请咨询华为云售前咨询，我们将为您提供专业的解答和支持。 盘古NLP大模型分为模型订阅服务、训练服务和推理服务三个收费项。 模型订阅服务和推理服务按调用时长计费，时长精确到秒。 训练服务按实际消耗的Tokens数量计费，话单周期内的Tokens计算精确到1K Tokens，不足1K Tokens的部分舍去。 专业大模型按需推理计费仅支持OP账号使用，推理服务按实际调用的Tokens数量计费，不足1K Tokens则小数点保留至后四位计算。

欠费 在使用云服务时，如果账户的可用额度低于待结算账单金额，即被判定为账户欠费。欠费可能会影响云服务资源的正常运行，因此需要及时充值。 模型订阅服务和推理服务为预付费，购买后不涉及欠费。 训练服务按实际消耗的Tokens数量计费，当余额不足以支付当前费用时，账户将被判定为欠费。由于盘古NLP大模型不涉及物理实体资源，因此无宽限期。欠费后继续调用服务会导致账户冻结，并直接进入保留期，保留期按需资源不可调用。续费后可恢复正常使用，但续费的生效时间以原到期时间为准，需支付从进入保留期开始至续费时的费用。 账户欠费后，部分操作将受限，建议您尽快续费。具体受限操作如下： 按需方式的API接口不可调用。 无法开通服务。

Prompt工程相关概念 表3 Prompt工程相关概念说明 概念名 说明 提示词 提示词（Prompt）是一种用于与AI人工智能模型交互的语言，用于指示模型生成所需的内容。 思维链 思维链 （Chain-of-Thought）是一种模拟人类解决问题的方法，通过一系列自然语言形式的推理过程，从输入问题开始，逐步推导至最终输出结论。 Self-instruct Self-instruct是一种将预训练语言模型与指令对齐的方法，允许模型自主生成数据，而不需要大量的人工标注。

训练相关概念 表1 训练相关概念说明 概念名 说明 Token 令牌（Token）是指模型处理和生成文本的基本单位。Token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成Token，然后根据模型的概率分布进行采样或者计算。 例如，在英文中，有些组合单词会根据语义拆分，如overweight会被设计为2个Token：“over”和“weight”。在中文中，有些汉字会根据语义被整合，如“等于”、“王者荣耀”。 例如，在盘古NLP大模型中，1token≈0.75个英文单词，1token≈1.5汉字。 自监督学习 自监督学习（Self-Supervised Learning，简称SSL）是一种机器学习方法，它从未标记的数据中提取监督信号，属于无监督学习的一个子集。该方法通过创建“预设任务”让模型从数据中学习，从而生成有用的表示，可用于后续任务。它无需额外的人工标签数据，因为监督信号直接从数据本身派生。 有监督学习 有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。 LoRA 局部微调（LoRA）是一种优化技术，用于在深度学习模型的微调过程中，只对模型的一部分参数进行更新，而不是对所有参数进行更新。这种方法可以显著减少微调所需的计算资源和时间，同时保持或接近模型的最佳性能。 过拟合 过拟合是指为了得到一致假设而使假设变得过度严格，会导致模型产生“以偏概全”的现象，导致模型泛化效果变差。 欠拟合 欠拟合是指模型拟合程度不高，数据距离拟合曲线较远，或指模型没有很好地捕捉到数据特征，不能够很好地拟合数据。 损失函数 损失函数（Loss Function）是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数。它是一个非负实值函数，通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。

推理相关概念 表2 训练相关概念说明 概念名 说明 温度系数 温度系数（temperature）控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率。其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化。 多样性与一致性 多样性和一致性是评估LLM生成语言的两个重要方面。 多样性指模型生成的不同输出之间的差异。一致性指相同输入对应的不同输出之间的一致性。 重复惩罚 重复惩罚（repetition_penalty）是在模型训练或生成过程中加入的惩罚项，旨在减少重复生成的可能性。通过在计算损失函数（用于优化模型的指标）时增加对重复输出的惩罚来实现的。如果模型生成了重复的文本，它的损失会增加，从而鼓励模型寻找更多样化的输出。

IAM权限 默认情况下，管理员创建的IAM用户（子用户）没有任何权限，需要将其加入用户组，并对用户组授权，才能使得用户组中的用户获得对应的权限。授权后，用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据，如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略，控制OBS的读写权限。 表1 策略信息 策略名称 拥有细粒度权限/Action 权限描述 Pangu OBSWriteOnly obs:object:PutObjectAcl obs:object:AbortMultipartUpload obs:object:DeleteObject obs:object:DeleteObjectVersion obs:object:PutObject 拥有用户OBS桶写权限。 Pangu OBSReadOnly obs:bucket:GetBucketPolicy obs:bucket:GetBucketLocation obs:bucket:HeadBucket obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:object:GetObject obs:object:GetObjectAcl obs:object:GetObjectVersion obs:object:GetObjectVersionAcl obs:object:ListMultipartUploadParts 拥有用户OBS桶只读权限。

盘古用户角色 盘古大模型的用户可被赋予不同的角色，对平台资源进行精细化的控制。 表2 盘古用户角色 角色 说明 系统管理员 购买平台的用户默认为系统管理员，具有所有操作的权限。 运营人员 具备总览、平台管理（资产管理、权限管理）功能的权限。 模型开发人员 具备总览、服务管理、能力调测、数据工程（数据管理、数据清洗）、模型开发（模型管理、模型训练、模型评估、模型压缩、模型部署）、平台管理（资产管理、权限管理）功能的使用权限。 推理服务API调用人员 具备总览、服务管理、能力调测、平台管理（权限管理）、运营面板功能的使用权限。 Prompt工程人员 具备总览、应用百宝箱、服务管理、能力调测、数据工程（提示用例管理）、应用开发（提示词工程、提示词管理、工具管理、AI助手、知识库管理、应用开发SDK）、平台管理（权限管理）功能的使用权限。

责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的 云安全 挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题： 安全