检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变更计费模式 盘古大模型的模型订阅服务、数据托管服务、推理服务默认采用包周期计费,数据智算服务、数据通算服务、训练服务默认采用按需计费。 盘古大模型使用周期内不支持变更配置。
错与解决方案。 训练日志可以按照不同的节点(训练阶段)进行筛选查看。分布式训练时,任务被分配到多个工作节点上进行并行处理,每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点(如worker-0表示第一个工作节点)进行筛选查看。 图2 获取训练日志 父主题:
Agent Operator 拥有该权限的用户可以切换角色到委托方账号中,访问被授权的服务。 Tenant Administrator 全部云服务管理员(除IAM管理权限)。 Security Administrator 统一身份认证服务(除切换角色外)所有权限。 图3 添加用户组权限 设置最小授权范围。
格、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中的电话号码、邮箱、身份证、车牌号、IP地址、URL地址、MAC地址、护照号、IMEI等个人敏感信息进行数据脱敏,或直接删除敏感信息。 中文简繁转换 将简体文本转换为繁体,或将繁体文本转换为简体。 符号标准化 查找数据中携
动训练任务。 克隆。单击操作列的“更多 > 克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可以编辑运行失败的节点,重试该节点的训练。 删除。单击操作列的“更多 > 删除”,可以删除当前不需要的训练任务。 父主题: 训练科学计算大模型
错与解决方案。 训练日志可以按照不同的节点(训练阶段)进行筛选查看。分布式训练时,任务被分配到多个工作节点上进行并行处理,每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点(如worker-0表示第一个工作节点)进行筛选查看。 图2 获取训练日志 父主题:
动训练任务。 克隆。单击操作列的“更多 > 克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可以编辑运行失败的节点,重试该节点的训练。 删除。单击操作列的“更多 > 删除”,可以删除当前不需要的训练任务。 父主题: 训练NLP大模型
单击“确定”,完成参数配置。 连接插件组件和其他组件。 配置判断组件 判断组件是一个if-else节点,提供了多分支条件判断的能力,用于设计分支流程。 当向该节点输入参数时,节点会判断输入是否符合“参数配置”中预设的条件,符合则执行“IF”对应的工作流分支,否则执行“ELSE”对应的工作流分支。
流程型Agent:以工作流为任务执行核心,用户通过在画布上对组件进行“拖拉拽”即可搭建出任务流程,场景的组件包括LLM节点、Code节点、Branch节点等,优点是可扩展能力强,用户适当使用低码开发,缺点是对话交互智能度不高,复杂场景下分支多,难以维护。 父主题: 开发盘古大模型Agent应用
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,例如,对话机器人服务部署的区域为“cn-north-4”,响应消息体中查找“
量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。 这里提供了一些将无监督数据转换为有监督数据的方案,供您参考: 基于规则构建:您可以通过采用一些简单的规则来构建有监督数据。比如:
Studio大模型开发平台,平台支持数据工程、模型开发、Agent开发等功能。 如果用户具备多个空间的访问权限,可在页面左上角单击切换空间。 图2 切换空间 管理盘古工作空间 盘古工作空间支持用户查看当前空间详情,修改空间名称与描述,还可以对不需要的空间实现删除操作。 登录ModelArts
这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTPS的新版本协议。 200 OK 服务器已成功处理了请求。 201 Created 创建类的请求完全成功。 202
Studio大模型开发平台,进入所需空间。 在左侧导航栏“空间资产 > 模型”中可以查看当前空间和预置的模型资产,如果有多个空间的访问权限,可切换空间查看其他空间内的资产。 在“本空间”页签可查看模型资产,并可对模型进行删除操作。单击模型名称可进入详情页面查看模型的基础信息。 在“预
数据加工:数据加工是确保数据质量的关键步骤。平台提供一系列数据清洗、过滤、转换等加工操作,旨在确保原始数据能够满足各种业务需求和模型训练的标准。针对不同类型的数据集,平台设计了专用的加工算子(即为特定数据处理任务预定义的操作模块,如文本去重、格式转换、异常处理等),通过这些算子能够高效地处理各类数据。
在调试详情页面,单击,选择需要查看的信息。 单击“日志概览”页签。 可以查看到该次执行的整体情况,包括执行状态、开始/结束时间、运行时长和输入/输出。 单击“节点详情”页签。 可以查看到该次执行的主要组件耗时时长和占比情况,以及该次执行的调用链及其是否成功的状态。 单击调用链中的某个组件(例如插件天气搜索),展开调用链。
气象类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单
图片类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类加工算子,算子能力清单见表1、表2。 图文类加工算子能力清单 表1
视频类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持视频类数据集的加工操作,分为数据提取、数据过滤、数据打标三类,视频类加工算子能力清单见表1。
平台支持发布的数据集格式为默认格式、盘古格式、自定义格式,可按需进行数据集格式转换。 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。 父主题: 使用数据工程准备与处理数据集