检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据工程 ModelArts Studio开发平台提供了全面的数据工程功能。该模块涵盖数据获取、加工、标注、评估和发布等关键环节，帮助用户高效构建高质量的训练数据集，推动AI应用的成功落地。具体功能如下： 数据获取：用户可以轻松将多种类型的数据导入ModelArts Studio大模型开发平台
NLP大模型训练流程与选择建议 NLP大模型训练流程介绍 NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础，如阅读理解、文本生成和情感分析，但它还未能针对特定任务进行优化
概述 盘古大模型整合华为云强大的计算和数据资源，将先进的AI算法集成在预训练大模型中，打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后，可以通过API调用推理接口。 表1 API
约束与限制 本节介绍盘古大模型服务在使用过程中的约束和限制。 规格限制 盘古大模型服务的规格限制详见表1。 表1 规格限制 资产、资源类型 规格 说明 模型资产、数据资源、训练资源、推理资源 所有按需计费、包年/包月中的模型资产、数据资源、训练资源、推理资源。 购买的所有类型的资产与资源仅支持在西南
产品优势 预置多，数据工程“易” ModelArts Studio大模型开发平台预置多种数据处理AI算子，多种标注工具，满足用户多任务多场景需求，提高开发/标注效率>10X。 0代码，模型开发“简” ModelArts Studio大模型开发平台预置盘古系列预训练大模型，支持快速开发
Agent开发 Agent开发平台为开发者提供了一个全面的工具集，帮助您高效地开发、优化和部署应用智能体。无论您是新手还是有经验的开发者，都能通过平台提供的提示词工程、插件扩展、灵活的工作流设计和全链路调测功能，快速实现智能体应用的开发与落地，加速行业AI应用的创新与应用。 对于零码开发者
调用工作流 工作流试运行成功后，可以使用API调用该工作流。 获取调用路径 工作流的调用路径获取步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。 在“工作台 >
使用数据工程构建预测大模型数据集 预测大模型支持接入的数据集类型 盘古预测大模型仅支持接入预测类数据集，不同模型所需数据见表1，该数据集格式要求请参见预测类数据集格式要求。 表1 预测大模型与数据集类型对应关系 基模型 模型分类 数据集内容 文件格式 预测大模型 时序预测模型 时序数据
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤
Agent开发平台介绍 Agent开发平台简介 Agent开发平台是基于NLP大模型，致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验，都可以通过Agent平台快速创建各种类型的智能体。Agent开发平台旨在帮助开发者高效低成本的构建AI
使用数据工程构建CV大模型数据集 CV大模型支持接入的数据集类型 盘古CV大模型支持接入图片类、视频类、其他类数据集，，不同模型所需数据见表1，数据集格式要求请参见图片类数据集格式要求、视频类数据集格式要求、其他类数据集格式要求。 表1 训练CV大模型数据集类型要求 基模型 训练场景
合成文本类数据集 当前，数据合成功能支持合成单轮问答、单轮问答（人设）类型的数据。 创建文本类数据集合成任务 合成文本类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建文本类数据集合成任务步骤如下： 登录ModelArts Studio大模型开发平台，在
应用场景 客服 通过NLP大模型对传统的客服系统进行智能化升级，提升智能客服的效果。企业原智能客服系统仅支持回复基础的FAQ，无语义泛化能力，意图理解能力弱，转人工频率极高。面对活动等时效性场景，智能客服无回答能力。提高服务效率：大模型智能客服可以7x24小时不间断服务，相较于人工客服
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，数据集文件内容包括：预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等，不同训练方式所需要使用的数据见表1，该数据集格式要求请参见文本类数据集格式要求。 表1
数据集发布场景介绍 数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估、数据配比和数据流通操作，旨在通过数据质量评估和合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。 数据发布不仅包括将数据发布为适合使用的格式
使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 训练科学计算大模型训练数据要求所需数据量 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求
云容器引擎-成长地图 | 华为云 盘古大模型 盘古大模型服务（PanguLargeModels）致力于深耕行业，打造多领域行业大模型和能力集。盘古大模型能力通过ModelArts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
