检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 父主题:
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。存储在OBS服务中的数据或本地数据导入ModelArts Studio大模型开发平台后,将以数据集的形式进行统一管理。 用户将数据导入至平台后,这些数据会生成一个“原始数据集”,用于对导入的数据进行集中管理和进一步操作。 创建原始数据集
数据工程是ModelArts Studio大模型开发平台为用户提供的一站式数据处理与管理功能,旨在通过系统化的数据获取、加工、标注、评估和发布等过程,确保数据能够高效、准确地为大模型的训练提供支持,帮助用户高效管理和处理数据,提升数据质量和处理效率,为大模型开发提供坚实的数据基础。 数据工程所包含的具体功能如下:
HTTP请求方法,表示服务正在请求操作类型,包括: GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region)
高级配置项供进阶开发者修改模型和提示词,如果不配置将会使用系统默认值。模型的选择和提示词的撰写可能影响到意图分类组件的准确性。 模型选择:选择要使用的LLM,不同的模型效果存在差异。 Prompt提示词:用户对模型的指令,提示词可能影响模型效果。 单击“确定”,完成参数配置。 连接意图分类组件和其他组件。
创建工作流时,工作流默认包含了开始、结束和大模型组件,每个组件需要配置不同的参数,如组件配置、输入和输出参数等。基于该工作流,开发者可通过拖、拉、拽可视化组件等方式添加更多的组件,实现复杂业务流程的编排,从而快速构建Agent。 工作流方式主要面向目标任务包含多个复杂步骤、对输出结果成功率和准确率有严格要求的复杂业务场景。
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工
Agent平台快速创建各种类型的智能体。 开发盘古大模型Agent应用 管理盘古大模型空间资产 管理盘古数据资产 管理已发布的数据集。 管理盘古数据资产 管理盘古模型资产 管理预置或训练后发布的模型。 管理盘古模型资产 科学计算大模型开发流程 ModelArts Studio大模
资源到期了如何续费 包年/包月方式购买的资源到期后,请在平台订购管理页面进行续订操作。具体步骤如下: 登录ModelArts Studio大模型开发平台,单击页面右上角“订购管理”。 在“订购管理”页面,单击“资源订购”页签。 在“资源订购”页签可进行数据资源、训练资源、推理资源的续费操作。
计费FAQ 包年/包月和按需计费模式有什么区别 包年/包月和按需计费模式哪个更划算 同一资源是否同时支持包年/包月和按需计费两种模式 包年/包月和按需计费模式是否支持互相切换 资源到期了如何续费
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。 图2 标注管理 在“创建标注任务”页面选择需要标注的加工后的视频类数据集,并设置标注项。 当选择“视频Caption”标注项时
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。 图2 标注管理 在“创建标注任务”页面选择需要标注的加工后的文本类数据集,并设置标注项。 设置标注项时,不同类型的数据文件对应
创建提示词工程 通过精心设计和优化提示词,可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验,来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台,进入所需空间。
获取项目ID 从控制台获取项目ID 登录管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”,单击页面右上角“创建标注任务”。 图2 标注管理 在“创建标注任务”页面选择需要标注的加工后的图片类数据集,并设置标注项。 当选择“图片Caption”标注项时
集的标注质量。针对文本和图片类数据集,平台还提供AI预标注功能,利用盘古大模型的智能能力,显著降低人工标注的工作量和成本,从而提高标注效率。 数据评估:平台支持对处理后的数据进行质量评估,生成详细的质量评估报告。这些报告能够帮助用户检验数据的准确性、完整性和一致性,确保数据在进入模型训练前的高质量标准。
NLP大模型专门用于处理和理解人类语言。它能够执行多种任务,如对话问答、文案生成和阅读理解,同时具备逻辑推理、代码生成和插件调用等高级功能。 NLP大模型的训练分为两个关键阶段:预训练和微调。 预训练阶段:在这一阶段,模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模
登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理” 在“标注管理”页面,单击操作列的“上线”对数据集进行上线。 图2 上线标注后的数据集 对不再使用的数据集可在操作列执行下线操作。若对当前标注数