检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
视频类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持视频类数据集的清洗操作,分为数据提取、数据过滤、数据打标三类,视频类加工算子能力清单见表1。
error。 请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。 查看认证配置。 110001 用户信息获取失败。 查看用户信息是否正确配置。 工作流 112501 工作流认证失败。 查看认证配置。 112502 缺少必要参数。 从打印日志可以看出当前缺失何种参数。 112503
decrypt token fail:token解析失败。 token expires:token过期。 verify aksk signature fail:AK/SK认证失败。 x-auth-token not found:未找到x-auth-token参数。 token解析
认格式和盘古格式。尤其对于文本类和图片类数据集,平台支持将其转换为专门用于训练盘古大模型的盘古格式,为后续模型训练提供高效的数据支持。 数据管理:平台支持数据全链路血缘追溯,用户单击数据集名称可以在“数据血缘”页签,查看该数据集所经历的操作。全链路血缘追溯可以帮助用户正向实现数据
Studio大模型开发平台的空间资产中,包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础,便于用户实现统一查看和操作管理。 数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,包括数据格式、大小、配比比例等。同时,平台支持数据集的删除等管理操作,使用户能
查询推理作业详情 功能介绍 根据创建推理作业的作业ID获取科学计算大模型的结果数据。 URI 获取URI方式请参见请求URI。 GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作
结构化数据,包括:xlsx、xls、csv格式。 无论是文本文档、演示文稿,还是电子表格文件,用户都可以轻松地将数据导入知识库,无需额外的转换或格式处理。 父主题: 创建与管理知识库
这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTPS的新版本协议。 200 OK 服务器已成功处理了请求。 201 Created 创建类的请求完全成功。 202
查询推理作业详情 功能介绍 根据创建推理作业的作业ID获取科学计算大模型的结果数据。 URI 获取URI方式请参见请求URI。 GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作
通过这些格式的转换,用户可以确保数据与特定模型(如盘古大模型)兼容,并优化训练效果。 提高训练效率 发布符合标准的数据集可以大幅提升数据处理效率,减少后续调整工作,帮助用户快速进入模型训练阶段。 数据集发布是数据工程中的关键环节,通过科学的数据比例调整和格式转换,确保数据集符合
选择合适的模型,从而提高模型的整体效果,详见表1。 此外,不同类型的NLP大模型在训练过程中,读取中文、英文内容时,字符长度转换为Token长度的转换比有所不同,详见表2。 表1 不同系列NLP大模型对处理文本的长度差异 模型名称 可处理最大Token长度 说明 Pangu-N
Agent Operator 拥有该权限的用户可以切换角色到委托方账号中,访问被授权的服务。 Tenant Administrator 全部云服务管理员(除IAM管理权限)。 Security Administrator 统一身份认证服务(除切换角色外)所有权限。 图3 添加用户组权限 设置最小授权范围。
类别特征的列表。格式为["列名1","列名2"],默认设置为[],表示没有需要处理的类别特征。 LabelEncoder的作用是将类别特征转换为数值型特征,使模型能够处理这些特征。 非特征列 列出不需要输入到模型中的特征列,用于排除冗余或无意义的特征。格式为["列名1","列名2
在提示词“候选”页面,选择质量好的提示词,并单击“保存到模板库”。 图1 保存提示词至模板库 进入“Agent 开发 > 提示词工程 > 提示词模板”页面,查看发布的提示词。 父主题: 开发盘古大模型提示词工程
览、数据血缘以及操作记录。 在“基本信息”页签可查看数据集的详细信息。 在“数据预览”页签可查看发布后的数据内容。 在“数据血缘”页签查看该数据集所经历的操作,如导入、合成等操作。 在“操作记录”页签可以查看数据集所经历的操作及状态等信息。 单击操作列的“删除”,可删除不需要的数据集。
创建多语言文本翻译插件 准备工作 提前开通“文本翻译”服务。登录自然语言处理控制台,切换区域至华北-北京四,在“总览”页面下方开通“文本翻译”服务。 图1 开通文本翻译服务 操作流程 创建多语言文本翻译插件的流程见表1。 表1 创建多语言文本翻译插件流程 操作步骤 说明 步骤1:获取文本翻译服务Token与调用地址
单击“任务发布”页签,可对用户自行发布的数据集执行以下操作: 查看基本信息。单击具体数据资产,可查看资产的配比详情、数据详情等基本信息。 发布至Gallery。单击操作列的“发布至Gallery”,可发布数据资产至AI Gallery。 查看发布信息。单击“查看发布信息”,查看该资产的发布信息(该操作需提前发布该数据资产至AI
览、数据血缘以及操作记录。 在“基本信息”页签可查看数据集的详细信息。 在“数据预览”页签可查看加工后的数据内容。 在“数据血缘”页签查看该数据集所经历的操作,如导入、合成等操作。 在“操作记录”页签可以查看数据集所经历的操作及状态等信息。 单击操作列的“删除”,可删除不需要的数据集。
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对,以查看其效果。 每个工程任务下候选提示词上限9个,达到上限9个时需要删除其他候选提示词才能继续添加。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发