检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于数据预处理任务比较特殊的两个场景物体检测和图像分类,键“task_type”对应的值为“object_detection”或“image_classification”。 表6 WorkPath 参数 是否必选 参数类型 描述 name 否 String 数据集的名称。
=None, validate=False) image = BytesIO(image) image = Image.open(image) image.save(".
标注多个标签,是否可针对一个标签进行识别? 数据标注时若标注多个标签进行训练而成的模型,最后部署成在线服务之后也是对标注的多个标签去进行识别的。如果只需要快速识别一种标签,建议单独训练识别此标签的模型使用,并选择较大的部署上线的规格也可以提供识别速度。 父主题: Standard数据管理
", desc="this is a image classification workflow", steps=[job_step], storages=[output_storage] ) 用户需要完成上述代码中**部分的配置,主要涉及以下三项。
quota" : 10, "min_quota" : -1, "name_cn" : "自动学习(图像分类、物体检测、声音分类)训练时长", "unit_cn" : "分钟", "name_en" : "ExeMLtraining duration (image
) image1 = np.array(image1, dtype=np.float32) image1.resize((28, 28, 1)) images.append(image1
确认智能标注作业的数据难例 在数据量很大的标注任务中,标注初期由于已标注图片不足,智能标注的结果无法直接用于训练。如果对所有的未标注数据一一进行调整确认仍然需要较大的人力和时间成本。为了更快地完成标注任务,在对未标注数据进行智能标注的任务中,ModelArts嵌入了自动难例发现功能
Standard开发环境 将Notebook的Conda环境迁移到SFS磁盘 使用ModelArts PyCharm插件调试训练ResNet50图像分类模型 使用ModelArts VS Code插件调试训练ResNet50图像分类模型
) image1 = np.array(image1, dtype=np.float32) image1.resize((28, 28, 1)) images.append(image1
quota" : 20, "min_quota" : -1, "name_cn" : "自动学习(图像分类、物体检测、声音分类)训练时长", "unit_cn" : "分钟", "name_en" : "ExeML training duration (image
ModelArts最佳实践案例列表 在最佳实践文档中,提供了针对多种场景、多种AI引擎的ModelArts案例,方便您通过如下案例快速了解使用ModelArts完成AI开发的流程和操作。 LLM大语言模型训练推理场景 样例 场景 说明 主流开源大模型基于DevServer适配ModelLink
此处以前提条件里获取的“images”为例。
data 是 String 针对files、images类型的数据, 该参数为其本地路径,如 : data = "/home/ma-user/work/test.jpg" 针对json类型的数据, 该参数可以是其本地路径,如: data = "/home/ma-user/work/
导出ModelArts数据集中的数据 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件
PUBLIC: 所有用户可以根据ImageId来进行只读使用。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
应用示例 创建图像分类数据集并进行标注任务 创建并完成图像分类的智能标注任务 开发环境的应用示例 以PyTorch框架创建训练作业(新版训练) 创建和修改工作空间 管理ModelArts服务的委托授权
否 LabelTaskTypeEnum 支持以下几种类型: IMAGE_CLASSIFICATION (图像分类) OBJECT_DETECTION = 1 (物体检测) IMAGE_SEGMENTATION (图像分割) TEXT_CLASSIFICATION (文本分类) NAMED_ENTITY_RECOGNITION
昇腾能力应用地图 ModelArts支持如下开源模型基于Ascend卡进行训练和推理。 主流三方大模型 ModelArts针对以下主流的LLM大模型进行了基于昇腾NPU的适配工作,可以直接使用适配过的模型进行推理训练。 表1 LLM模型训练能力 支持模型 支持模型参数量 应用场景
镜像地址{image_url}请参见表1。 docker pull {image_url} Step5 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。
ModelArts入门实践 本章节列举了一些常用的实践案例,方便您快速了解并使用ModelArts完成AI开发。 表1 常用最佳实践 分类 实践案例 描述 适用人群 ModelArts Studio 在ModelArts Studio基于Llama3-8B模型实现新闻自动分类 本案例介绍在