检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Step4 准备镜像主机 准备一台Linux x86_64架构的主机,操作系统使用ubuntu-18.04。您可以准备相同规格的弹性云服务器ECS或者应用本地已有的主机进行自定义镜像的制作。 购买ECS服务器的具体操作请参考购买并登录Linux弹性云服务器。“CPU架构”选择“x86计
8.2.70 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.909-xxx.zip软件包中的AscendCloud-CV-6.3.909-xxx.zip 说明: 包名中的xxx表示具体的时间戳,以包名的实际时间为准。 获取路径:Support-E
列当前账号下创建的标注团队及其成员。 “选择标注接口人”:任务类型设置为“指定标注管理员”,需在所有团队的“Team Manager”中选择一人作为管理员。 “自动将新增图片同步给标注团队”:根据需要选择是否将任务中新增的数据自动同步给标注人员。 “团队标注的图片自动加载智能标注
ch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您还可以基于这些基础镜像制作一个新的镜像并进行训练。 训练作业的预置框架介绍 ModelArts中预置的训练基础镜像如下表所示。 表1 ModelArts训练基础镜像列表
自定义一个易于分辨的AI应用中文名称。 字符长度在1到30之间。 许可证 否 选择AI应用遵循的许可证。 计算规格选择 是 按需选择计算规格。单击“选择”,在弹窗中选择资源规格并设置运行时长控制,单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择
目标:构建安装如下软件的容器镜像,并在ModelArts平台上使用CPU/GPU规格资源运行训练任务。 ubuntu-18.04 cuda-11.1 python-3.7.13 pytorch-1.8.1 操作流程 使用自定义镜像创建训练作业时,需要您熟悉docker软件的使用,并具备一定的开发经验。详细步骤如下所示:
目标:构建安装如下软件的容器镜像,并在ModelArts平台上使用CPU/GPU规格资源运行训练任务。 ubuntu-18.04 cuda-11.1 python-3.7.13 pytorch-1.8.1 操作流程 使用自定义镜像创建训练作业时,需要您熟悉docker软件的使用,并具备一定的开发经验。详细步骤如下所示:
昇腾云服务6.3.904版本说明 昇腾云服务6.3.904版本发布支持的软件包和能力说明如下,软件包获取路径:Support-E网站。 发布包 软件包特性说明 配套说明 备注 昇腾云模型代码 三方大模型,包名:AscendCloud-3rdLLM PyTorch框架下支持如下模型训练:
音分类和文本分类模型的定制化开发。可广泛应用在工业、零售安防等领域。 图像分类:识别图片中物体的类别。 物体检测:识别出图片中每个物体的位置和类别。 预测分析:对结构化数据做出分类或数值预测。 声音分类:对环境中不同声音进行分类识别。 文本分类:识别一段文本的类别。 发布区域:华
目标:构建安装如下软件的容器镜像,并在ModelArts平台上使用CPU/GPU规格资源运行训练任务。 ubuntu-18.04 cuda-11.1 python-3.7.13 openmpi-3.0.0 操作流程 使用自定义镜像创建训练作业时,需要您熟悉docker软件的使用,并具备一定的开发经验。详细步骤如下所示:
目标:构建安装如下软件的容器镜像,并在ModelArts平台上使用CPU/GPU规格资源运行训练任务。 ubuntu-18.04 cuda-11.1 python-3.7.13 openmpi-3.0.0 操作流程 使用自定义镜像创建训练作业时,需要您熟悉docker软件的使用,并具备一定的开发经验。详细步骤如下所示:
如果没有软件下载权限,请联系您所在企业的华为方技术支持下载获取。 ascendcloud-aigc-6.3.902-*.tar.gz文件名中的*表示具体的时间戳,以包名的实际时间为准。 Step1 准备环境 请参考DevServer资源开通,购买DevServer资源,并确保机器
数据标注 物体检测图片标注,一张图片是否可以添加多个标签? 在物体检测作业中上传已标注图片后,为什么部分图片显示未标注? 父主题: Standard自动学习
导出ModelArts数据集中的数据到OBS 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,当需要将数据集中的数据存储至OBS用于后续导出使用时,可通过此种方式导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测
Step1 创建用户组并加入用户 主用户账号下面可以创建多个子账号,并对子账号的权限进行分组管理。此步骤介绍如何创建用户组、子账号、并将子账号加入用户组中。 主用户登录管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入IAM服务。 图1 统一身份认证 创建用户组。
增量训练的操作步骤 登录ModelArts管理控制台,单击左侧导航栏的自动学习。 在自动学习项目管理页面,单击对应的项目名称,进入此项目的自动学习详情页。 在数据标注页面,单击未标注页签,在此页面中,您可以单击添加图片,或者增删标签。 如果增加了图片,您需要对增加的图片进行重新标注。如
多数场景下的问题可以通过日志报错信息直接定位。 ModelArts Standard提供了训练作业失败定位与分析功能,如果训练作业运行失败,ModelArts会自动识别导致作业失败的原因,在训练日志界面上给出提示。提示包括三部分:失败的可能原因、推荐的解决方案以及对应的日志(底色标红部分)。
训练作业的简要描述。 Algorithm Source 训练算法来源,分为“常用框架”和“自定义镜像”两种,二者选一项即可。 常用框架指使用ModelArts训练管理中支持的常用AI引擎,当前支持的引擎列表请参见训练管理支持的常用框架。 如果您使用的AI引擎为支持列表之外的,建议使用自定义镜像的方式创建训练作业。
业务中是否有大量使用CPU的代码,以及日常运行过程中CPU的占用率(占用多少个核心),以及使用CPU计算的业务功能说明和并发机制。 - 是否有Linux内核驱动 是否有业务相关的Linux内核驱动代码。 - 依赖第三方组件列表 当前业务依赖的第三方软件列表(自行编译的第三方软件列表)。 例如:Faiss等。
训练任务的排队逻辑是什么? 当前训练任务排队的逻辑是先进先出,前面的任务没运行完后面的任务不会运行,有可能会造成小任务被“饿死”,需要用户注意。 饿死指的是前面的任务被一个大的任务堵着(例如是64卡),需要等空闲64卡这个任务才能运行,64卡的任务后面跟着1卡的。即使现在空出来30卡,这个1卡的任务也排不上。