检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据集导出任务列表 功能介绍 分页查询数据集导出任务列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets
查询数据处理任务的版本列表 功能介绍 查询数据处理任务的版本列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/processor-tasks
特权池信息数据显示均为0%如何解决? 问题现象 特权池基本信息页面数据均显示为0%(如CPU使用率、内存使用率、加速卡使用率、加速卡显存使用率)。 原因分析 原因是集群没有安装ICAgent。新建特权池时默认会安装ICAgent,可能由于用户自行卸载ICAgent,导致资源池数据显示异常
上传数据和算法至SFS(首次使用时需要) 前提条件 ECS服务器已挂载SFS,请参考ECS服务器挂载SFS Turbo存储。 在ECS中已经创建ma-user和ma-group用户,请参考在ECS中创建ma-user和ma-group。 已经安装obsutil,请参考下载和安装obsutil
在Workflow中使用大数据能力(DLI/MRS) 功能介绍 该节点通过调用MRS服务,提供大数据集群计算能力。主要用于数据批量处理、模型训练等场景。 应用场景 需要使用MRS Spark组件进行大量数据的计算时,可以根据已有数据使用该节点进行训练计算。 使用案例 在华为云MRS
重置AppSecret 功能介绍 重置指定API网关应用的AppSecret,只有APP的创建用户才可以重置AppSecret。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
创建APP 功能介绍 创建API网关应用(简称APP),每个用户最多只能创建5个APP,有需求可以申请增加配额。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST
如何用ModelArts训练基于结构化数据的模型? 针对一般用户,ModelArts提供自动学习的预测分析场景来完成结构化数据的模型训练。 针对高阶用户,ModelArts在开发环境提供创建Notebook进行代码开发的功能,在训练作业提供创建大数据量训练任务的功能;用户在开发、训练流程中使用
数据集版本管理找不到新建的版本 版本列表是可以缩放的,请缩小页面后查找。 单击数据集名称,进入数据集概览页,在概览页选择“版本管理”,可对页面进行缩小。 父主题: Standard数据管理
增加AppCode 功能介绍 为指定API网关应用创建新的AppCode,只有APP的创建用户才可以创建AppCode,且只有共享/专享版APIG的APP才能创建AppCode。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成
删除AppCode 功能介绍 删除指定API网关应用的指定的AppCode,只有APP的创建用户才可以删除AppCode,且只有共享/专享版APIG的APP才支持AppCode。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成
重置AppCode 功能介绍 重置指定API网关应用的指定的AppCode,只有APP的创建用户才可以重置AppCode,且只有共享/专享版APIG的APP才支持AppCode。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成
标注过程中,已经分配标注任务后,能否将一个labeler从标注任务中删除?删除后对标注结果有什么影响?如果不能删除labeler,能否删除将他的标注结果从整体标注结果中分离出来? 目前不支持从标注任务中删除labeler。 labeler的标注必须通过审核后,才能同步到最终结果,不支持单独分离操作
自动学习的每个项目对数据有哪些要求? 图像分类对数据集的要求 文件名规范:不能有+、空格、制表符。 保证图片质量:不能有损坏的图片,目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。 每一类数据尽量多,尽量均衡。期望获得良好效果,
如何使用pandas库处理OBS桶中的数据? 参考下载OBS文件到Notebook中的指导,将OBS中的数据下载至Notebook本地处理。 参考pandas用户指南处理pandas数据。 父主题: 数据存储
数据集图片无法显示,如何解决? 问题现象 创建的数据集,在进行标注时无法显示图片,单击单张图片也无法查看。或者数据集中提示图片加载异常。 原因分析 可能由于用户本地网络原因,无法正常访问OBS导致图片无法正常加载。 可能由于没有OBS桶的访问权限导致,请检查数据集输入位置所在的OBS
使用ma-cli obs-copy命令复制OBS数据 使用ma-cli obs-copy [SRC] [DST]可以实现本地和OBS文件或文件夹的相互复制。 $ma-cli obs-copy -h Usage: ma-cli obs-copy [OPTIONS ] SRC
查询数据集的团队标注任务列表 功能介绍 查询数据集的团队标注任务列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets
训练作业使用MoXing复制数据较慢,重复打印日志 问题现象 ModelArts训练作业使用MoXing复制数据较慢。 重复打印日志“INFO:root:Listing OBS”。 原因分析 复制数据慢的可能原因如下: 直接从OBS上读数据会造成读数据变成训练的瓶颈,导致迭代缓慢。
管理训练容器环境变量 什么是环境变量 本章节展示了训练容器环境中预置的环境变量,方便用户查看,主要包括以下类型。 路径相关环境变量 分布式训练作业环境变量 NCCL(Nvidia Collective multi-GPU Communication Library)环境变量 OBS