检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
量的要求较大，如果您的无监督文档量级过小，达不到预训练要求，您可以通过一些手段将其转换为有监督数据，再将转换后的领域知识与目标任务数据混合，使用微调的方式让模型学习。 这里提供了一些将无监督数据转换为有监督数据的方案，供您参考： 基于规则构建：您可以通过采用一些简单的规则来构建有监督数据。比如：
、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏，或直接删除敏感信息。 中文简繁转换 将中文简体和中文繁体进行转换。 符号标准化 查找文本中携带的非标准化符号进行标准化、统一化转换。
包年/包月和按需计费模式是否支持互相切换 包年/包月和按需计费模式支持互相切换： 盘古大模型提供包周期计费、按需计费两种计费模式，两种计费模式可通过重新订购互相切换。 例如，退订训练单元的包周期资源后，可重新订购训练单元的按需计费，即可完成切换。 父主题： 计费FAQ
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
型消除语义歧义性，识别用户查询意图，并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输入抽取关键信息并转换为JSON格式输出，以供下游操作，从而满足该场景下客户需求。 金融场景下，NL2JSON能力可以有效消除用户语义歧义性，提高数据处理的灵活
使用Python脚本转换自定义格式为jsonl格式 对于文本类数据集，除文档、网页数据类型，其余类型的数据支持将自定义格式转换为jsonl格式。 用户可以上传自定义的python脚本实现数据集由自定义格式到jsonl格式的转换，页面中会提供脚本示例，可下载作为参考。 自定义格式转换的具体步骤为：
视频类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。
Pangu-CV-ObjectDetection-N-2.1.0 2024年12月发布的版本，支持全量微调、在线推理。 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古CV大模型支持的具体操作：
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
选择合适的模型，从而提高模型的整体效果，详见表1。 此外，不同类型的NLP大模型在训练过程中，读取中文、英文内容时，字符长度转换为Token长度的转换比有所不同，详见表2。 表1 不同系列NLP大模型对处理文本的长度差异 模型名称 可处理最大Token长度 说明 Pangu-N
在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古专业大模型支持的具体操作： 模型 预训练 微调 模型压缩 在线推理 能力调测 Pangu-NLP-BI-4K-20241130
变更计费模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费，数据智算单元、数据通算单元默认采用按需计费，训练单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
结构化数据，包括：xlsx、xls、csv格式。 无论是文本文档、演示文稿，还是电子表格文件，用户都可以轻松地将数据导入知识库，无需额外的转换或格式处理。 父主题： 创建与管理知识库
用于海洋基础要素预测 2024年11月发布的版本，支持在线推理、能力调测特性，可支持1个实例部署推理。 Pangu-AI4S-Ocean_Regional_24h-20241130 用于区域海洋基础要素预测 2024年11月发布的版本，支持预训练、微调、在线推理、能力调测特性，1个训练单元起训及1个实例部署。
去除重复数据：确保数据集中每条数据的唯一性。 填补缺失值：填充数据中的缺失部分，常用方法包括均值填充、中位数填充或删除缺失数据。 数据标准化：将数据转换为统一的格式或范围，特别是在处理数值型数据时（如归一化或标准化）。 去噪处理：去除无关或异常值，减少对模型训练的干扰。 数据预处理的目的是
类别特征的列表。格式为["列名1","列名2"]，默认设置为[]，表示没有需要处理的类别特征。 LabelEncoder的作用是将类别特征转换为数值型特征，使模型能够处理这些特征。 非特征列 列出不需要输入到模型中的特征列，用于排除冗余或无意义的特征。格式为["列名1","列名2
来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件
保不同业务场景下的数据获取需求得到满足。 数据清洗：平台提供强大的数据清洗功能，可以对文本、视频、图片、气象类型的数据进行数据提取、过滤、转换、打标签和评分等加工处理。针对不同类型的数据集，平台提供了专用的清洗算子以及支持用户创建自定义算子实现个性化的数据清洗诉求。确保生成高质量
通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。 提高训练效率 发布符合标准的数据集可以大幅提升数据处理效率，减少后续调整工作，帮助用户快速进入模型训练阶段。 数据集发布是数据工程中的关键环节，通过科学的数据比例调整和格式转换，确保数据集符合
插件节点 101741 插件组件初始化失败。 检查插件组件配置，可能为校验报错。 101742 工作流插件节点参数类型转换时出错。 根据error message确定具体转换出错的参数名称，并确认类型是否正确。 101743 工作流插件节点的input在插件定义中不存在。 检查插件定义和对应的组件定义是否匹配。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
