检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无监督领域知识数据量无法支持增量预训练，如何进行模型学习 一般来说，建议采用增量预训练的方式让模型学习领域知识，但预训练对数据量的要求较大，如果您的无监督文档量级过小，达不到预训练要求，您可以通过一些手段将其转换为有监督数据，再将转换后的领域知识与目标任务数据混合，使用微调的方式让模型学习
包年/包月和按需计费模式是否支持互相切换 包年/包月和按需计费模式支持互相切换： 盘古大模型提供包周期计费、按需计费两种计费模式，两种计费模式可通过重新订购互相切换。 例如，退订训练单元的包周期资源后，可重新订购训练单元的按需计费，即可完成切换。 父主题： 计费FAQ
变更计费模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费，数据智算单元、数据通算单元默认采用按需计费，训练单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
数据转换 个人数据脱敏 对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏，或直接删除敏感信息。 中文简繁转换 将中文简体和中文繁体进行转换。
在“创建导入任务”页面选择支持自定义格式转换的数据集类型，如“文本 > 预训练文本”。 文件格式选择“自定义”，单击“下载脚本样例”获取脚本样例，单击“选择路径”上传自定义格式转换脚本。 上传转换脚本后，后续导入本地数据至平台操作同创建导入任务。
视频类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。
大模型的NL2JSON能力可以从自然语言输入抽取关键信息并转换为JSON格式输出，以供下游操作，从而满足该场景下客户需求。 金融场景下，NL2JSON能力可以有效消除用户语义歧义性，提高数据处理的灵活性和便利性，降低人力开发成本、提升交付效率和查询性能，同时赋能精细化运营。
不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
此外，不同类型的NLP大模型在训练过程中，读取中文、英文内容时，字符长度转换为Token长度的转换比有所不同，详见表2。
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。
Pangu-AI4S-Ocean_Ecology_24h-20241130 用于海洋生态要素预测 2024年11月发布的版本，支持在线推理、能力调测特性，可支持1个实例部署推理。
不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。 父主题： 数据集清洗算子介绍
2024年12月发布的版本，支持全量微调、在线推理。 物体检测-N模型为中参数量模型，在保证计算效率的同时，具备较强的特征识别能力，提供高效的性能表现。 父主题： 训练CV大模型
不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
无论是文本文档、演示文稿，还是电子表格文件，用户都可以轻松地将数据导入知识库，无需额外的转换或格式处理。 父主题： 创建与管理知识库
如果用户具备多个空间的访问权限，可在页面左上角单击切换空间。 图2 切换空间 管理盘古工作空间 盘古工作空间支持用户查看当前空间详情，修改空间名称与描述，还可以对不需要的空间实现删除操作。
不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。 提高训练效率 发布符合标准的数据集可以大幅提升数据处理效率，减少后续调整工作，帮助用户快速进入模型训练阶段。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
