检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
g_data。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS
elArts资源的使用范围。 关于IAM的详细介绍,请参见IAM产品介绍。 角色与策略权限管理 ModelArts服务支持角色与策略授权。默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称
监控资源 用户可以通过资源占用情况窗口查看计算节点的资源使用情况,最多可显示最近三天的数据。在资源占用情况窗口打开时,会定期向后台获取最新的资源使用率数据并刷新。 操作一:如果训练作业使用多个计算节点,可以通过实例名称的下拉框切换节点。 操作二:单击图例“cpuUsage”、“g
调试与训练 单机单卡 单机多卡 多机多卡 父主题: 专属资源池训练
下载进行备份。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS
原因分析 出现该问题的可能原因如下: 新安装的包与镜像中带的CUDA版本不匹配。 处理方法 必现的问题,使用本地Pycharm远程连接Notebook调试安装。 先远程登录到所选的镜像,使用“nvcc -V”查看目前镜像自带的CUDA版本。 重装torch等,需要注意选择与上一步版本相匹配的版本。
单机多卡 准备镜像 上传数据和算法至SFS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 父主题: 调试与训练
ModelArts在线服务和批量服务有什么区别? 在线服务 将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 批量服务一次性推理批量数据,处理完服务结束。在线服务提供API接口,供用户调用推理。
验证VPC权限。 在左上角的服务列表中,选择VPC服务,进入VPC管理控制台。 在VPC管理控制台,单击右上角的“创建虚拟私有云”,如果能正常打开页面,表示当前用户具备VPC的操作权限。 验证DEW权限。 在左上角的服务列表中,选择DEW服务,进入DEW管理控制台。 在DEW管理控
准备镜像 构建容器镜像并调试 镜像构建及调试与单机单卡相同。 具体操作,请参考线下容器镜像构建及调试。 上传镜像 请参考单机单卡训练的上传镜像章节操作。 父主题: 单机多卡
多机多卡 线下容器镜像构建及调试 上传数据至OBS(首次使用时需要) 上传算法至SFS 创建训练任务 父主题: 调试与训练
0-ubuntu16.04-x86_64.tgz。 宿主机安装的infiniband驱动版本为4.3-1.0.1.0,容器镜像中安装的infiniband驱动版本需要与宿主机版本匹配,即同为4.3-1.0.1.0。 可能部分区域的网卡较新,会出现更高版本的infiniband驱动版本,如果您遇到了i
务实例中访问名下VPC内的其他服务组件,则可配置此参数为对应VPC的ID。VPC一旦配置,不支持修改。当vpc_id与cluster_id一同配置时,只有专属资源池参数生效。 否 str subnet_network_id 子网的网络ID,默认为空,当配置了vpc_id则此参数必
该案例是使用华为云一站式AI开发平台ModelArts的新版“自动学习”功能,基于华为云AI开发者社区AI Gallery中的数据集资产,让零AI基础的开发者完成“物体检测”的AI模型的训练和部署。依据开发者提供的标注数据及选择的场景,无需任何代码开发,自动生成满足用户精度要求的模型。可支持图片分类、物体检
配置ModelArts委托授权章节中介绍的一键式自动授权方式创建的委托的权限比较大,基本覆盖了依赖服务的全部权限。如果华为云账号已经能满足您的要求,则不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用MaaS服务的功能。 ModelArts作为一个完备的AI开发平台,支持用户对其进行细粒度的权限配置,
单击“提交”,在“信息确认”页面,确认训练作业的参数信息,确认无误后单击“确定”。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。训练作业执行成功后,日志信息如下所示。
启动方式:选择“自定义”。 镜像:选择上传的自定义镜像。 启动命令: cd ${MA_JOB_DIR}/demo && python main.py -a resnet50 -b 128 --epochs 5 dog_cat_1w/ 此处的“demo”为用户自定义的OBS存放代码路径的最后一级目录,可以根据实际修改。
从AI Gallery订阅模型 在AI Gallery中,支持订阅官方发布或者他人分享的模型,订阅后的模型,可推送至ModelArts模型管理中,进行统一管理。 订阅模型与云服务订阅模型的区别: 在管理控制台,模型管理所在位置不同。订阅模型统一管理在“模型管理>订阅模型”页面中,
Browser+(win)、obsutil(linux)。上述例子为obsutil使用方法。 准备算法 main.py文件内容如下,并将其上传至OBS桶的demo文件夹中: import argparse import os import random import shutil import
创建训练任务之前,建议先调试代码。 由于Notebook的/cache目录只能支持500G的存储,超过后会导致实例重启,ImageNet数据集大小超过该限制,因此建议用线下资源调试、或用小批量数据集在Notebook调试(Notebook调试方法与使用Notebook进行代码调试、使用Notebook进行代码调试相同)。