检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据工程是ModelArts Studio大模型开发平台为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、标注、评估和发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。 数据工程所包含的具体功能如下：
Studio大模型开发平台可以辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 表1 功能说明 功能 说明 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度，一个任务代表一个场景或一个调优需求，在提示词工程任务下可以进行提示词的调优、比较和评估。 提示词工程任务管理支持工程任务的创建、查询、修改、删除。
管理盘古大模型空间资产 盘古大模型空间资产介绍 管理盘古数据资产 管理盘古模型资产
Agent平台快速创建各种类型的智能体。 开发盘古大模型Agent应用 管理盘古大模型空间资产 管理盘古数据资产 管理已发布的数据集。 管理盘古数据资产 管理盘古模型资产 管理预置或训练后发布的模型。 管理盘古模型资产 科学计算大模型开发流程 ModelArts Studio大模
创建并管理盘古工作空间 盘古工作空间介绍 创建并管理盘古工作空间 管理盘古工作空间成员 父主题： 准备工作
计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题：
创建与管理工作流 工作流简介 创建工作流 管理工作流 父主题： 开发盘古大模型Agent应用
管理NLP大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型，但在修改部署时模型不可替换。 在“模型更新”或“修改部署”后进行升级操作时，可选择全量升级或滚动升级两种方式：
数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台，进入所需空间。
此示例演示了如何从头创建SFT（有监督微调）训练任务。通过该示例，您将了解以下内容： 如何将数据导入平台并进行数据加工、标注和评估操作。 如何创建SFT训练任务并配置训练参数，以提升文本理解和生成的质量。 如何执行模型的压缩和部署操作。 准备工作 请提前准备文本类数据，文本类数据集格式要求请详见《用户指南》“使用数据工程准备与处理数据集
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
失、浪费和管理不善的情况？在社会建设专项资金的使用情况中，应规范操作，加强管理，及时纠正和化解建设过程中的解释、调取和留置问题，严防管理漏洞，保证应用资金的安全性和真实性。同时，应建立完善的监管机制，严格管理，加强监督，加强专项资金使用情况的评估，加强对建设过程的监管和评估，节约
发、优化和部署应用智能体。无论您是新手还是有经验的开发者，都能通过平台提供的提示词工程、插件扩展、灵活的工作流设计和全链路调测功能，快速实现智能体应用的开发与落地，加速行业AI应用的创新与应用。 对于零码开发者（无代码开发经验的用户）： 平台提供了Prompt提示词工程和插件自定
数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。
集的标注质量。针对文本和图片类数据集，平台还提供AI预标注功能，利用盘古大模型的智能能力，显著降低人工标注的工作量和成本，从而提高标注效率。 数据评估：平台支持对处理后的数据进行质量评估，生成详细的质量评估报告。这些报告能够帮助用户检验数据的准确性、完整性和一致性，确保数据在进入模型训练前的高质量标准。
要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，您可以查看账号ID和用户ID。通常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 区域（Region）
获取项目ID 从控制台获取项目ID 登录管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面，获取项目ID（project_id），以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时，获取的项目id需要与盘古服
自定义知识库：平台提供了知识库功能来管理和存储数据，支持为AI应用提供自定义数据，并与之进行互动。多种格式的本地文档（支持docx、pptx和pdf等）都可以导入至知识库。 灵活的工作流设计：平台提供灵活的工作流设计，用于开发者处理逻辑复杂、且有较高稳定性要求的任务流。 支持“零码”和“低码”开发者通
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
