-
创建数据集 - AI开发平台ModelArts
选择数据的标注状态,分为“未标注”和“已标注”。 选择“已标注”时,需指定标注格式,并保证数据文件满足相应的格式规范,否则可能存在导入失败的情况。 仅图片(物体检测、图像分类、图像分割)、音频(声音分类)、文本(文本分类)类型的标注任务支持导入已标注数据。 数据集输出位置 选择数据集输出位置的OBS路径,此位置会存放输出的标注信息等文件。
-
推理业务迁移评估表 - AI开发平台ModelArts
性能预期:QPS 20/s - 业务访问方式 推理业务访问:“客户端 -> 云服务” 或 “云客户端 -> 云服务”。 推理业务时延要求,客户端到云服务端到端可接受时延。 例如:当前是“客户端 -> 云服务”模式,客户端请求应答可接受的最长时延为2秒。 - 模型参数规模,是否涉及分布式推理
-
如何导入大文件到Notebook中? - AI开发平台ModelArts
如何导入大文件到Notebook中? 大文件(大于100MB的文件) 针对大文件,建议使用OBS服务上传文件。使用OBS客户端,将本地文件上传至OBS桶中,然后使用ModelArts SDK从OBS下载文件至Notebook本地。 使用OBS客户端上传文件的操作指导:上传文件。 使用ModelArts
-
自动分组 - AI开发平台ModelArts
“分组数”:填写2~200之间的整数,指将图片分为多少组。 “结果处理方式”:“更新属性到当前样本中”,或者“保存到对象存储服务(OBS)”。 “属性名称”:当选择“更新属性到当前样本中”时,需输入一个属性名称。 “结果存储目录”:当选择“保存到对象存储服务(OBS)”时,需指定一个用于存储的OBS路径。
-
创建处理任务 - AI开发平台ModelArts
ow/entry/p/br {""}) (br]、Map<String,String>类型。对于数据预处理任务比较特殊的两个场景物体检测和图像分类,键“task_type”对应的值为“object_detection”或“image_classification”。 表6 WorkPath
-
Step3 制作自定义镜像 - AI开发平台ModelArts
Successfully tagged mindspore:2.1.1-cann6.3.RC2 将制作完成的镜像上传至SWR服务,具体参见Step4 上传镜像至SWR。 父主题: 示例:从 0 到 1 制作自定义镜像并用于训练(MindSpore+Ascend)
-
Step3 制作自定义镜像 - AI开发平台ModelArts
Successfully tagged mindspore:2.1.1-cann6.3.RC2 将制作完成的镜像上传至SWR服务,具体参见Step4 上传镜像至SWR。 父主题: 示例:从 0 到 1 制作自定义镜像并用于训练(MindSpore+Ascend)
-
访问在线服务(AK/SK认证) - AI开发平台ModelArts
根据提示完成身份验证,下载密钥,并妥善保管。 获取在线服务信息 在调用接口时,需获取在线服务的调用地址,以及在线服务的输入参数信息。步骤如下: 登录ModelArts管理控制台,在左侧导航栏中选择“部署上线 > 在线服务”,默认进入“在线服务”列表。 单击目标服务名称,进入服务详情页面。 在“在线服务”的详情页面,可以获取该服务的调用地址和输入参数信息。
-
自动学习中偏好设置的各参数训练速度大概是多少 - AI开发平台ModelArts
performance_first:性能优先,训练时间较短,模型较小。对于TXT、图片类训练速度为10毫秒。 balance:平衡 。对于TXT、图片类训练速度为14毫秒 。 accuracy_first:精度优先,训练时间较长,模型较大。对于TXT、图片类训练速度为16毫秒。 父主题: 模型训练
-
数据去冗余 - AI开发平台ModelArts
数据去冗余 RRD算子概述 可以依据用户设置的比例去除差异最大的数据。 图1 RRD效果图 表1 高级参数说明 参数名 是否必选 默认值 参数说明 sample_ratio 否 0.9 数据留下的百分比。取值范围为0~1。例如0.9表示保留百分之90的原数据。 n_clusters
-
自动分组 - AI开发平台ModelArts
“分组数”:填写2~200之间的整数,指将图片分为多少组。 “结果处理方式”:“更新属性到当前样本中”,或者“保存到对象存储服务(OBS)”。 “属性名称”:当选择“更新属性到当前样本中”时,需输入一个属性名称。 “结果存储目录”:当选择“保存到对象存储服务(OBS)”时,需指定一个用于存储的OBS路径。
-
物理机环境配置 - AI开发平台ModelArts
address 192.168.100.18 -tcp RoCE测试结果如图: 图14 RoCE测试结果(接收端) 图15 RoCE测试结果(服务端) 当某网卡已经开始RoCE带宽测试时,再次启动任务会有如下报错: 图16 报错信息 需要执行下述命令后关闭roce_test任务后再启动任务。
-
Step4 上传镜像至SWR - AI开发平台ModelArts
Step4 上传镜像至SWR 本章节介绍如何将制作好的镜像上传至SWR服务,方便后续在ModelArts上创建训练作业时调用。 登录容器镜像服务控制台,选择区域,要和ModelArts区域保持一致,否则无法选择到镜像。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组
-
查询处理任务列表 - AI开发平台ModelArts
Integer 数据处理任务总数。 tasks Array of DescribeProcessorTaskResp objects 分页查询到的数据处理任务列表。 表4 DescribeProcessorTaskResp 参数 参数类型 描述 create_time Long 数据处理的创建时间。
-
模型训练 - AI开发平台ModelArts
在“模型训练”页签中,待训练状态由“运行中”变为“已完成”,即完成模型的自动训练。 图2 运行成功 训练完成后,您可以在界面中查看训练详情,如“准确率”、“评估结果”、“训练参数”、“分类统计表”等。评估结果参数说明请参见表2。 图3 模型训练结果 表2 评估结果参数说明 参数 说明 召回率 被用
-
GP Vnt1裸金属服务器用PyTorch报错CUDA initialization:CUDA unknown error - AI开发平台ModelArts
GP Vnt1裸金属服务器用PyTorch报错CUDA initialization:CUDA unknown error 问题现象 在Vnt1 GPU裸金属服务器(Ubuntu18.04系统),根据GP Vnt1裸金属服务器Ubuntu 18.04安装NVIDIA 470+CUDA
-
在容器镜像中安装MLNX - AI开发平台ModelArts
要优于NET/Socket。 表1 ModelArts GPU服务器Mellanox Technologies网卡和MLNX_OFED安装情况 服务器GPU型号 Mellanox Technologies网卡 服务器安装的MLNX_OFED版本 推荐容器镜像安装的MLNX_OFED版本
-
数据校验 - AI开发平台ModelArts
选择“OBS目录”,存放结构又分两种情况,“仅包含图片”或“包含图片和标注信息”。 “仅包含图片”:当目录下全是图片时,支持jpg、jpeg、png、bmp格式,嵌套子目录的图片也将全部读入。 “包含图片和标注信息”:根据不同场景类型,结构不同。 图像分类场景,其目录结构如下所示。如下目录结构,仅支持单标签场景。
-
数据校验 - AI开发平台ModelArts
选择“OBS目录”,存放结构又分两种情况,“仅包含图片”或“包含图片和标注信息”。 “仅包含图片”:当目录下全是图片时,支持jpg、jpeg、png、bmp格式,嵌套子目录的图片也将全部读入。 “包含图片和标注信息”:根据不同场景类型,结构不同。 图像分类场景,其目录结构如下所示。如下目录结构,仅支持单标签场景。
-
数据集版本不合格 - AI开发平台ModelArts
针对不同类型的自动学习项目,训练作业对数据集的要求如下。 图像分类:用于训练的图片,至少有2种以上的分类(即2种以上的标签),每种分类的图片数不少于5张。 物体检测:用于训练的图片,至少有1种以上的分类(即1种以上的标签),每种分类的图片数不少于5张。 预测分析:由于预测分析任务的数据集