检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理盘古工作空间 使用数据工程准备与处理数据集 导入数据至盘古平台 将用户数据导入至盘古平台的过程。 导入数据至盘古平台 创建文本类数据集加工任务
以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题： 安全
LP大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图2
开发盘古大模型Agent应用 Agent开发平台概述 手工编排Agent应用 创建与管理工作流
计算大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图2
调试Agent应用 平台提供对Agent执行过程的全链路信息观测与调试调优，通过对信息的分层分析和展示，为开发者提供了AI应用在不同层级的运行情况指导和操作，提升观测和调试效率。通过Insight提供了Agent的运行和观测能力。创建并运行Agent后，可通过单击Insight查
登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“Agent开发”，将跳转至Agent开发平台。 单击左侧导航栏“工作台”，在“插件”页签，单击右上角“创建插件”。 配置插件的基本信息，输入插件名称和插件描述等信息。配置完成后，单击“下一步”。 输入插件名称后，支持手动上传插件的头像。
控制。 表2 角色定义 角色名称 角色描述 超级管理员 订购服务的用户，具备当前平台下对所有工作空间的所有权限。 管理员 对工作空间有完全访问权，包括查看、创建、编辑或删除（适用时）工作空间中的资产，同时拥有添加、移除所在空间成员以及编辑所在空间成员角色的权限。 模型开发工程师
场景描述 此示例演示了如何使用盘古能力调测功能与盘古NLP大模型进行对话问答。您将学习如何通过调试模型超参数，实现智能化对话问答功能。 准备工作 请确保您有预置的NLP大模型，并已完成模型的部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。
任务具体要求”和“输出格式要求”等部分后，模型通常能够生成质量较高的数据。示例如下： 大模型输入： 你是一名短视频的知名带货博主，你的日常工作在短视频平台上进行各类产品的带货直播。你很擅长根据一段简要的产品介绍，创作出高质量的带货口播。 请根据如下产品介绍，生成一篇字数不超过200个字的高质量带货口播，产品介绍如下：
PI接口发送请求，传递对话输入，并接收模型生成的智能回复。通过这一过程，您可以快速集成NLP对话功能，使应用具备自然流畅的交互能力。 准备工作 调用盘古NLP大模型API实现文本对话前，请确保您已完成NLP大模型的部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型
创建盘古图片类数据集标注任务 场景描述 此示例演示了如何快速创建图片Caption数据标注任务。您将学习如何设置任务参数、配置标注要求并进行标注。 准备工作 请提前准备数据并上传至OBS服务，上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台，进入所需空间。
数据预处理工具，能够帮助您将原始数据转化为所需的格式。通过使用加工算子，您可以提取、转换、过滤原始数据，生成适合大模型训练的数据集。 准备工作 请提前准备数据并上传至OBS服务，上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台，进入所需空间。
数据标注：对于无标签的数据，平台支持进行标注或重新标注，以提升数据集的标注质量。针对文本和图片类数据集，平台还提供AI预标注功能，利用盘古大模型的智能能力，显著降低人工标注的工作量和成本，从而提高标注效率。 数据评估：平台支持对处理后的数据进行质量评估，生成详细的质量评估报告。这些报告能够帮助用户检验数据的准确性、
如何创建SFT训练任务并配置训练参数，以提升文本理解和生成的质量。 如何执行模型的压缩和部署操作。 准备工作 请提前准备文本类数据，文本类数据集格式要求请详见《用户指南》“使用数据工程准备与处理数据集 > 数据集格式要求 > 文本类数据集格式要求”。 上传文本类数据至OBS服务，上传步骤请详见通过控制台快速使用OBS。
可以选择“从资产选模型”和“从任务选模型”，模型会自带时间分辨率，会根据预设的时间间隔处理和生成预测结果。 若训练类型为“预训练”，训练任务使用训练数据重新训练出与基础模型分辨率相同的模型。 若训练类型为“微调”，训练任务会使用训练数据在基础模型的基础上进行训练。 plog日志 plog日志。plog日
数据标注意义 数据标注在数据工程中的作用是不可忽视的。它不仅是模型训练的基础，还直接影响到训练结果的准确性与有效性。通过标注，平台帮助用户提高数据的可用性，确保数据集与业务需求高度契合。数据标注的意义主要体现在以下几个方面： 提升训练数据的质量：通过高质量的标注，用户能够获得准
保数据与特定模型（如盘古大模型）兼容，并优化训练效果。 灵活的定制化服务：对于文本类、图片类数据集，用户自定义数据格式，用户可以使用脚本灵活调整数据格式，以满足特定业务场景的需求。 提高训练效率：通过发布符合标准的数据集，用户可以大幅提升数据的处理效率，减少后续的调整工作，快速进入模型训练阶段。
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务，有以下两种调用方式： Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要
当前，大模型对于私域数据的利用仍然面临一些挑战。私域数据是由特定企业或个人所拥有的数据，通常包含了领域特定的知识。将大模型与私域知识进行结合，将发挥巨大价值。私域知识从数据形态上又可以分为非结构化与结构化数据。对于非结构化数据，如文档，可以利用大模型+外挂检索库（如Elastic Search）的方
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
