检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据集的最大样本数量限制:1000000,最大标签数量限制:10000。 除图片类型之外的数据集(如视频、文本、音频等),单个样本大小限制:5GB。 针对图片类数据集(物体检测、图像分类、图像分割),单个图片大小限制:25MB。 单个manifest文件大小限制:5GB。 文本文件单行大小限制:100KB。
准备一个图像分类算法(或者可以直接从AI Gallery搜索订阅一个“图像分类-ResNet_v1_50”算法)。 准备一个图片类型的数据集,请参考准备数据集。可从AI Gallery直接下载(例如:8类常见生活垃圾图片数据集)。 from modelarts import workflow as wf # 定义统一存储对象管理输出目录
模型部署完成后,“服务部署”节点,单击“实例详情”按钮,进入服务预测界面,在“预测”页签单击“上传”,选择本地图片进行测试。 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出结果。如模型准确率不满足预期,可在“数据标注”页签中添加图片并进行标注,重新进行模型训练及模型部署。预测结果中的参数
create_time Long 版本创建时间。 crop Boolean 是否对图片进行裁剪,只对标注框形状为bndbox的物体检测数据集有效。可选值如下: true:对图片进行裁剪 false:不对图片进行裁剪(默认值) crop_path String 裁剪后的文件存放路径。
文件删除后不可恢复,请谨慎操作。 下架镜像 AI Gallery中已上架的资产支持下架操作。 在AI Gallery首页,选择右上角“我的Gallery”。 在“我的资产”下,查看已上架的资产。 单击资产名称,进入资产详情页。 在资产详情页,单击“下架”,在弹窗中单击“确定”。即可将资产下架。 删除镜像
通过人工标注方式标注数据 创建ModelArts人工标注作业 人工标注图片数据 人工标注文本数据 人工标注音频数据 人工标注视频数据 管理标注数据 父主题: 标注ModelArts数据集中的数据
info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器
ModelArts.4711 数据集标注样本数满足算法要求 每个类别至少包含5张以上图片。 ModelArts.4342 标注信息不满足切分条件 出现此故障时,建议根据如下建议,修改标注数据后重试。 多标签的样本(即一张图片包含多个标签),至少需要有2张。如果启动训练时,设置了数据集切分功能,
确保数据存储的OBS桶与ModelArts在同一区域,并确保用户具有OBS桶的操作权限。 文件型数据从Manifest导入操作 不同类型的数据集,导入操作界面的示意图存在区别,请参考界面信息了解当前类型数据集的示意图。当前操作指导以图片数据集为例。 登录ModelArts管理控制台,在左侧菜单栏中选择“
描述 add_sample_count Integer 处理后新增的图片数量。 create_time Long 数据处理任务的创建时间。 deleted_sample_count Integer 处理后删除的图片数量。 description String 数据处理任务的版本描述。
化开发。可广泛应用在工业、零售安防等领域。 图像分类:识别图片中物体的类别。 物体检测:识别出图片中每个物体的位置和类别。 预测分析:对结构化数据做出分类或数值预测。 声音分类:对环境中不同声音进行分类识别。 文本分类:识别一段文本的类别。 发布区域:华北-北京一、华北-北京四、
info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器
ModelArts Standard模型训练 基于ModelArts Standard上运行GPU训练任务 本案例介绍了如何使用ModelArts Standard专属资源池提供的计算资源,结合SFS和OBS存储,在ModelArts Standard的训练环境中开展单机单卡、单机多卡、多机多卡分布式训练。
请先解除桶加密,重新上传图片或文件。 检查OBS桶的ACLs设置 进入OBS管理控制台,查找对应的OBS桶,单击桶名称进入概览页。 在左侧菜单栏选择“访问权限控制>桶ACLs”,检查当前账号是否具备读写权限,如果没有权限,请联系桶的拥有者配置权限。 在左侧菜单栏选择“访问权限控
例如:“3-20-21-19”。难例原因ID可选值如下: 0:未识别出任何目标物体。 1:置信度偏低。 2:基于训练数据集的聚类结果和预测结果不一致。 3:预测结果和训练集同类别数据差异较大。 4:连续多张相似图片的预测结果不一致。 5:图像的分辨率与训练数据集的特征分布存在较大偏移。
通过日志查看数据切分是否对齐,如果未对齐,容易导致部分进程完成训练退出,而部分训练进程因未收到其他进程反馈卡死,如下图同一时间有的进程在epoch48,而有的进程在epoch49。 loss exit lane:0.12314446270465851 step loss is 0.29470521211624146
bandwidth contention 通信维度,识别计算和通信相互掩盖,可能会抢占通信带宽。 communication - retransmission 通信维度,识别通信重传问题,单次重传耗时4秒以上。 memory 内存维度,识别异常内存算子。 dataloader 数据加载
例如:“3-20-21-19”。难例原因ID可选值如下: 0:未识别出任何目标物体。 1:置信度偏低。 2:基于训练数据集的聚类结果和预测结果不一致。 3:预测结果和训练集同类别数据差异较大。 4:连续多张相似图片的预测结果不一致。 5:图像的分辨率与训练数据集的特征分布存在较大偏移。
create_time Long 版本创建时间。 crop Boolean 是否对图片进行裁剪,只对标注框形状为bndbox的物体检测数据集有效。可选值如下: true:对图片进行裁剪 false:不对图片进行裁剪(默认值) crop_path String 裁剪后的文件存放路径。
上传一张AI应用封面图,AI应用创建后,将作为AI应用页签的背景图展示在AI应用列表。建议使用16:9的图片,且大小不超过7MB。 如果未上传图片,AI Gallery会为AI应用自动生成封面。 应用描述 否 输入AI应用的功能介绍,AI应用创建后,将展示在AI应用页签上,方便其他用户了解与使用。 支持0~100个字符。