检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保OBS中的文件是非加密状态 上传图片或文件时不要选择KMS加密,否则会导致数据集读取失败。文件加密无法取消,请先解除桶加密,重新上传图片或文件。 图3 OBS桶中的文件未加密 检查图片是否符合要求 目前自动学习不支持四通道格式的图片。请检查您的数据,排除或删除四通道格式的图片。 检查标注框是否符合要求(物体检测)
支持管理托管的资产文件,例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。选择填入的信息将会变成该模型资产的标签,并且自动同步在模型描述部分,保存到“README
模型训练 创建图像分类自动学习项目并完成图片标注,训练按钮显示灰色,无法开始训练? 自动学习项目中,如何进行增量训练? 自动学习训练后的模型是否可以下载? 自动学习为什么训练失败? 自动学习模型训练图片异常? 自动学习使用子账号单击开始训练出现错误Modelarts.0010 自
测模型 AI练习生 基于ModelArts的手写数字识别 AXYZdong AI 文字编辑图片 instruct-pix2pix 案例 AXYZdong Standard推理部署 上线二维码检测识别服务 林欣 使用ModelArts对8类常见生活垃圾进行分类 福州司马懿 使用ModelArts搭建"花卉种类识别"服务
支持管理托管的资产文件,例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。选择填入的信息将会变成该模型资产的标签,并且自动同步在模型描述部分,保存到“README
数据属性:筛选数据的来源,选择“全部”或“推理”。 图1 筛选条件 查看已标注图片 在标注任务详情页,单击“已标注”页签,您可以查看已完成标注的图片列表。图片缩略图下方默认呈现其对应的标签,您也可以勾选图片,在右侧的“选中文件标签”中了解当前图片的标签信息。 查看已标注文本 在数据集详情页,单击“已标
撤销审批:单击用户操作列的“撤销”可以取消已审批通过或已拒绝的用户权限,用户的“审批状态”从“已审批”变成“未审批”,或者从“已拒绝”变成“未审批”。 同意用户使用该资产:单击用户操作列的“同意”可以通过用户的申请,用户的“审批状态”从“未审批”变成“已审批”。 拒绝用户使用该资产:单击用户操作列的“拒绝”并填写拒
将yaml文件中的per_device_train_batch_size调小,重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级,可参考各个模型深度学习训练加速框架的选择,如原使用Accelerator可替换为Deepspeed-ZeRO-1,Deepspee
慢。 重复打印日志“INFO:root:Listing OBS”。 原因分析 复制数据慢的可能原因如下: 直接从OBS上读数据会造成读数据变成训练的瓶颈,导致迭代缓慢。 由于环境或网络问题,读OBS时遇到读取数据失败情况,从而导致整个作业失败。 重复打印日志,该日志表示正在读取远
类别一致。 选择“OBS目录”,存放结构又分两种情况,“仅包含图片”或“包含图片和标注信息”。 “仅包含图片”:当目录下全是图片时,支持jpg、jpeg、png、bmp格式,嵌套子目录的图片也将全部读入。 “包含图片和标注信息”:根据不同数据类型,结构不同。 图像分类,其目录结构
Standard数据管理 添加图片时,图片大小有限制吗? 数据集图片无法显示,如何解决? 如何将多个物体检测的数据集合并成一个数据集? 导入数据集失败 表格类型的数据集如何标注 本地标注的数据,导入ModelArts需要做什么? 为什么通过Manifest文件导入失败? 标注结果存储在哪里?
上传预测图片 单击“上传”,选择一张需要预测的图片,单击“预测”,即可在右边的预测结果显示区查看您的预测结果。 图5 预测样例图 图6 查看预测结果 本案例中数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练数据集中的图片相似才可能预测准确。
上传预测图片 单击“上传”,选择一张需要预测的图片,单击“预测”,即可在右边的预测结果显示区查看您的预测结果。 图5 预测样例图 图6 查看预测结果 本案例中数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练数据集中的图片相似才可能预测准确。
查看特征分析结果 在特征分析结果中,例如图片亮度指标,数据分布中,分布不均匀,缺少某一种亮度的图片,而此指标对模型训练非常关键。此时可选择增加对应亮度的图片,让数据更均衡,为后续模型构建做准备。 数据标注 人工标注 在“未标注”页签图片列表中,单击图片,自动跳转到标注页面。 在标注页面
在线服务部署完成后,单击“预测”页签。 在“预测”页签,单击“上传”,上传一个测试图片,单击“预测”查看预测结果。此处提供一个样例图片供预测使用。 本案例中使用的订阅模型可以识别81类常见超市商品,模型对预测图片有一定范围和要求,不满足条件的图片会影响预测结果的准确性。 图4 预测样例图 图5 预测结果
examples/deepspeed/ds_z3_config.json 可选项。用于指定DeepSpeed的配置文件相对或绝对路径。DeepSpeed是一个开源库,用于加速深度学习训练。通过使用DeepSpeed,可以实现如混合精度训练、ZeRO内存优化等高级特性,以提高训练效率和性能 stage sft 表示当前
多标签的标签文件示例,如2.txt文件内容如下所示: Cat Dog 只支持JPG、JPEG、PNG、BMP格式的图片。单张图片大小不能超过5MB,且单次上传的图片总大小不能超过8MB。 物体检测 支持两种格式: ModelArts PASCAL VOC 1.0 物体检测的简易模
在线服务部署完成后,单击“预测”页签。 在“预测”页签,单击“上传”,上传一个测试图片,单击“预测”查看预测结果。此处提供一个样例图片供预测使用。 本案例中使用的订阅模型可以识别81类常见超市商品,模型对预测图片有一定范围和要求,不满足条件的图片会影响预测结果的准确性。 步骤5:清理资源 体验结束后,建
String 文件名称。 source Object 数据源信息,详细请见表3。 width Long 图片长度。 height Long 图片高度。 depth Long 图片深度。 segmented String 分割。 mask_source String 图像分割得到的m
入服务预测界面,在“预测”页签单击“上传”,选择本地图片进行测试。 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出标签名称“sunflowers”和检测的评分。如模型准确率不满足预期,可在“数据标注”页签中添加图片并进行标注,重新进行模型训练及模型部署。预测结果中的参