检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
量的要求较大，如果您的无监督文档量级过小，达不到预训练要求，您可以通过一些手段将其转换为有监督数据，再将转换后的领域知识与目标任务数据混合，使用微调的方式让模型学习。 这里提供了一些将无监督数据转换为有监督数据的方案，供您参考： 基于规则构建：您可以通过采用一些简单的规则来构建有监督数据。比如：
使用Python脚本转换自定义格式为jsonl格式 对于文本类数据集，除文档、网页数据类型，其余类型的数据支持将自定义格式转换为jsonl格式。 用户可以上传自定义的python脚本实现数据集由自定义格式到jsonl格式的转换，页面中会提供脚本示例，可下载作为参考。 自定义格式转换的具体步骤为：
部署CV大模型 模型训练完成后，执行模型的部署操作。 部署CV大模型 管理盘古大模型空间资产 管理盘古数据资产 管理从AI Gallery订阅或已发布的数据集。 管理盘古数据资产 管理盘古模型资产 管理预置或训练后发布的模型。 管理盘古模型资产 预测大模型开发流程 ModelArts Stu
、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏，或直接删除敏感信息。 中文简繁转换 将中文简体和中文繁体进行转换。 符号标准化 查找文本中携带的非标准化符号进行标准化、统一化转换。
ModelArts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格
用的便捷性。 平台提供导入知识功能，支持用户存储和管理数据，并与AI应用进行互动。支持多种格式的本地文档（如docx、pptx、pdf等），方便导入至知识，为Agent应用提供个性化数据支持。 平台还提供全链路信息观测和调试工具，支持开发者深入分析Agent执行过程中的每个环节。
产品优势 预置多，数据工程“易” ModelArts Studio大模型开发平台预置多种数据处理AI算子，多种标注工具，满足用户多任务多场景需求，提高开发/标注效率>10X。 0代码，模型开发“简” ModelArts Studio大模型开发平台预置盘古系列预训练大模型，支持快速
将处理后的数据集发布为多种格式，包括默认格式和盘古格式。尤其对于文本类和图片类数据集，平台支持将其转换为专门用于训练盘古大模型的盘古格式，为后续模型训练提供高效的数据支持。 数据管理：平台支持数据全链路血缘追溯，用户单击数据集名称可以在“数据血缘”页签，查看该数据集所经历的操作。
型消除语义歧义性，识别用户查询意图，并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输入抽取关键信息并转换为JSON格式输出，以供下游操作，从而满足该场景下客户需求。 金融场景下，NL2JSON能力可以有效消除用户语义歧义性，提高数据处理的灵活
变更计费模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费，数据智算单元、数据通算单元默认采用按需计费，训练单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
不同环境中的高效应用。 Agent开发工具链 应用开发工具链是盘古大模型平台的关键模块，支持提示词工程和智能Agent应用创建。该工具链提供提示词设计和管理工具，优化大模型的输入提示，提升输出的准确性和相关性。通过可视化编排工具，应用开发工具链加速大模型应用的开发，满足复杂业务需求。
的各个环节。平台支持全流程的模型生命周期管理，确保从数据准备到模型部署的每一个环节都能高效、精确地执行，为实际应用提供强大的智能支持。 模型训练：在模型开发的第一步，ModelArts Studio大模型开发平台为用户提供了丰富的训练工具与灵活的配置选项。用户可以根据实际需求选择
大模型的计量单位token指的是什么 令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。 例如，在英文中，有些组合单词会根据语义拆分，如overweight会被设计为2个to
开发盘古科学计算大模型 开发盘古专业大模型 应用开发工具链 应用开发工具链是盘古大模型平台的关键模块，支持提示词工程和智能Agent应用创建。 该工具链提供提示词设计和管理工具，优化大模型的输入提示，提升输出的准确性和相关性。通过可视化编排工具，应用开发工具链加速大模型应用的开发，满足复杂业务需求。
平台提供了知识库功能来管理和存储数据，支持为应用提供自定义数据，并与之进行互动。 知识库支持导入以下格式的本地文档： 文本文档数据。支持上传常见文本格式，包括：txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式，便于管理和分析结构化数据，包括：xlsx、xls、csv格式。
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
视频类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。
通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。 提高训练效率 发布符合标准的数据集可以大幅提升数据处理效率，减少后续调整工作，帮助用户快速进入模型训练阶段。 数据集发布是数据工程中的关键环节，通过科学的数据比例调整和格式转换，确保数据集符合
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
