检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的存储解决方案 OBS + SFS Turbo存储加速的具体方案请查看: 面向AI场景使用OBS+SFS Turbo的存储加速实践。 设置训练存储加速 当完成上传数据至OBS并预热到SFS
如需要提前上传待标注的图片,请创建一个空文件夹,然后将图片文件保存在该文件夹下,图片的目录结构如:“/bucketName/data-cat/cat.jpg”。 如您将已标注好的图片上传至OBS桶,请按照如下规范上传。 图像分类数据集要求将标注对象和标注文件存储在同一目录,并且一一对应,例如标注对象文件名为“10
创建模型成功后,部署服务报错,如何排查代码问题 问题现象 创建模型成功后,部署服务失败,如何定位是模型代码编写有问题。 原因分析 用户自定义镜像或者通过基础镜像导入的模型时,用户自己编写了很多自定义的业务逻辑,这些逻辑有问题将会导致服务部署或者预测失败,需要能够排查出哪里有问题。
如需要提前上传待标注的图片,请创建一个空文件夹,然后将图片文件保存在该文件夹下,图片的目录结构如:“/bucketName/data-cat/cat.jpg”。 如您将已标注好的图片上传至OBS桶,请按照如下规范上传。 物体检测数据集要求用户将标注对象和标注文件存储在同一目录,并且一
Turbo文件系统进行数据挂载,训练作业产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中,并可被下游业务环节继续读取并处理,结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储,从而加速训练场景下加速OBS对象存储中的数据访问 ModelArts Standard模型训练提供便捷的作业管理能力,提升用户模型训练的开发效率
ModelArts上传数据集收费吗? ModelArts中的数据集管理、标注等操作不收费,但是由于数据集存储在OBS中,因此会根据您使用的OBS桶进行收费。建议您前往OBS服务,了解OBS计费详情,创建相应的OBS桶用于存储ModelArts使用的数据。 ModelArts标注完样本集后,如何保证退出后不再产生计费?
物体检测或图像分类项目支持对哪些格式的图片进行标注和训练? 图片格式支持JPG、JPEG、PNG、BMP。 父主题: 准备数据
以及输出数据的存储位置。 训练作业运行成功之后,在训练作业列表中,您可以单击作业名称,查看该作业的详情。在“日志”页签搜索输入输出参数名称获取参数信息。 如果需在训练中获取“train_url”、“data_url”和“test”参数的值,可在训练作业的启动文件中添加以下代码获取:
DUMP_GRAPH_LEVEL=2 # 1:表示dump图所有图。 2:表示dump除子图外的所有图。 3:表示只dump最后一张图。 问题分析。 配置以上的环境变量之后,再重新转换模型,导出对应的日志和dump图进行分析: 报错日志中搜到“not support
准备需要导入的数据,具体可参见从OBS目录导入数据规范说明。 需导入的数据,已存储至OBS中。Manifest文件也需要存储至OBS。详细指导请参见创建OBS桶用于ModelArts存储数据。 确保数据存储的OBS桶与ModelArts在同一区域,并确保用户具有OBS桶的操作权限。
移到其他可用节点上,实例状态会自动恢复。针对数据存储部分,提供了云硬盘存储挂载方式,华为云云硬盘提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,数据持久性高达99.9999999%。 训练故障自动恢复 用户在训练模型过程中,存在因硬件故障而产生的训练失败场景。针对硬件故障
存到对象存储服务(OBS)”。 “属性名称”:当选择“更新属性到当前样本中”时,需输入一个属性名称。 “结果存储目录”:当选择“保存到对象存储服务(OBS)”时,需指定一个用于存储的OBS路径。 “高级特征选项”:启用此功能后,可选择“清晰度”、“亮度”、“图像色彩”等维度为自动
规范说明。 需导入的数据,已存储至OBS中。Manifest文件也需要存储至OBS。 确保数据存储的OBS桶与ModelArts在同一区域,并确保用户具有OBS桶的操作权限。 文件型数据从Manifest导入操作 不同类型的数据集,导入操作界面的示意图存在区别,请参考界面信息了解
本地添加图片和同步OBS中的图片数据。 图3 添加本地图片 图4 同步OBS图片数据 添加数据:您可以将本地图片快速添加到ModelArts,同时自动上传至创建项目时所选择的OBS路径中。单击“添加数据”,根据弹出的对话框的引导,输入正确的数据并添加。 同步新数据:将图片数据上传
只支持JPG、JPEG、PNG、BMP格式的图片,单张图片大小不能超过5MB,且单次上传的图片总大小不能超过8MB。 图像分割 ModelArts image segmentation 1.0: 要求用户将标注对象和标注文件存储在同一目录,并且一一对应,如标注对象文件名为“IMG_20180919_114746
路径,找到对应版本号目录,即可获取数据集对应的标注结果。 如需将标注结果下载至本地,可前往manifest文件存储的OBS中,单击“下载”,即可将标注结果存储至本地。 图1 下载标注结果 父主题: Standard数据管理
标注结果存储在哪里? ModelArts管理控制台,提供了数据可视化能力,您可以在控制台中查看详细数据以及标注信息。如需了解标注结果的存储路径,请参见如下说明。 背景说明 针对ModelArts中的数据集,在创建数据集时,需指定“数据集输入位置”和“数据集输出位置”。两个参数填写的均是OBS路径。
rm已与实例连接成功。 图21 实例运行中状态 停止Notebook实例。 当Notebook实例为绿色勾状态时,表示该实例运行中且与PyCharm连接成功。此时单击该实例名称,实例会变为黄色感叹号状态,表示停止Notebook实例。 图22 实例运行中且与PyCharm连接成功状态
同时,也需清理存储到OBS中的数据。 自动学习:自动学习运行时会收取费用,使用完请及时停止自动学习、停止因运行自动学习而创建的训练作业和部署的服务。同时,也需清理存储到OBS中的数据。 Notebook实例: 运行中的Notebook实例会收费,使用完成后请及时停止Notebo
启动智能标注前,保证当前系统中不存在正在进行中的智能标注任务。 检查用于标注的图片数据,确保您的图片数据中,不存在RGBA四通道图片。如果存在四通道图片,智能标注任务将运行失败,因此,请从数据集中删除四通道图片后,再启动智能标注。 启动智能标注作业 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备