检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注，需包含annotations，train，val文件夹，annotations文件夹下用train.json和val.json记录训练集和验证集标注，train和val文件夹下保存具体的图片。具体示例如下： ├─annotations │ train.json │
视频的清晰度、帧率、完整性、标签准确性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建视频类数据集评估任务。 创建视频类数据集评估标准步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。
涵盖了数据准确性、完整性、一致性、格式规范等多个维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建文本类数据集评估任务。 创建文本类数据集评估标准步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。
获取、加工、标注、评估和发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。 数据工程所包含的具体功能如下： 数据获取：数据获取是数据工程的第一步，涉及从不同来源和格式的数据导入到平台。ModelArts
盘古大模型空间资产介绍 在ModelArts Studio大模型开发平台的空间资产中，包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础，便于用户实现统一查看和操作管理。 数据资产：用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息，
Studio大模型开发平台提供了标注审核功能（即对标注后的数据集进行审核），确保标注结果经过验证和质量控制，提升数据的可靠性和可用性。同时，平台支持对视频类和图片类数据集进行AI预标注，标注员可以在此基础上进行审核和修正，从而有效减少人工标注的工作量，并保证原始数据集内容的完整性。 通过这些功能
创建视频类数据集标注任务 创建视频类数据集标注任务前，请先完成创建视频类数据集加工任务。 创建视频类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”，单击页面右上角“创建标注任务”。
网页标签符号<p>。 特殊符号，比如● █ ◆。 乱码和无意义的字符�����。 自定义正则过滤 删除符合自定义正则表达式的数据。 自定义关键词过滤 剔除包含关键词的数据。 敏感词过滤 对文本中涉及黄色、暴力、政治、机密和知识产权等敏感数据进行自动检测和过滤。 文本长度过滤 按照设置的文本长度，对长度范围内的数据进行保留。
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表1。 表1 构建NLP大模型所需数据量
的形式和丰富的内容吸引了大量流量，并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案，以提升营销效果和效率。在这种场景下，用户只需提供一些基本信息，大模型就能生成需求的文案，从而大大提高文案的质量和效率。 除了短视频风格的口播文案，营销文案还
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS
停止计费 包周期服务到期后，保留期时长将根据“客户等级”定义。在保留期内的资源处理和费用请参见“保留期”。 按需计费模式下，若账户欠费，保留期时长同样依据“客户等级”定义。在保留期内的资源处理和费用请参见“保留期”。 如果保留期结束后仍未续订或充值，数据将被删除且无法恢复。
设置模型部署参数信息，平台已给出默认值。 架构类型 算法所支持的结构类型，模型选择完成后，会自动适配架构类型。 资源配置 实例数 设置部署模型是所需的实例数，单次部署服务时，部署实例个数建议不大于10，否则可能触发限流导致部署失败。 基本信息 名称 设置部署任务的名称。 描述（可选） 设置部署任务的描述。
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。
获取视频类数据集评估报告 ModelArts Studio大模型开发平台提供了详细的质量评估报告，帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台，进入所需空间。
Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理（NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。首先，需要根据业务需求收集相关的原始数据，确保数据的覆盖面和多样性。例
当出现第三方库冲突的时，如Jackson，okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后)，该包包含所有支持的服务和重定向了SDK依赖的第三方软件，避免和业务自身依赖的库产生冲突： <dependency> <groupId>com.huaweicloud.sdk</groupId>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
