检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
供此参数。 user_password 否 String 用户密码,GaussDB(DWS)数据需提供此参数。 vpc_id 否 String MRS集群所在的vpc的ID。 表6 Label 参数 是否必选 参数类型 描述 attributes 否 Array of LabelAttribute
ModelArts数据集保存到容器的哪里? ModelArts的数据集和数据存储位置对应的数据都保存在OBS中。 父主题: 一般性问题
lArts的Notebook中。 建议配置。 VPC接入 VPC vpc:ports:create vpc:ports:get vpc:ports:delete vpc:subnets:get 实例能够挂载在用户的VPC下,实现多网络平面接入。 按需配置。 操作步骤 本案例场景为
基本配置 权限配置 创建网络 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutil安装和配置 (可选)工作空间配置 父主题: 专属资源池训练
日志提示“ Network is unreachable” 问题现象 在使用pytorch时,将torchvision.models中的pretrained置为了True,日志中出现如下报错: ‘OSError: [Errno 101] Network is unreachable’
创建资源池失败 资源配额限制 在使用专属资源池时(如资源扩缩容、创建VPC、创建VPC-子网、打通VPC),如果提示相关资源配额受限,请提交工单处理。 创建失败/变更失败 登录ModelArts管理控制台,在左侧导航栏中选择“AI专属资源池 > 弹性集群 Cluster”,进入“弹性集群
的资产在上传过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。ModelArts提供通过计算SHA256值的方式对上传下载的数据进行一致性校验。 数据隔离机制 在ModelArts的开发环境中创建Notebook实例时,数据存储是按照租户隔离,租户之间互相看不到数据。
Integer 存储容量,EVS默认5G,EFS默认50G,最大限制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Note
Integer 存储容量,EVS默认5G,EFS默认50G,最大限制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Note
Integer 存储容量,EVS默认5G,EFS默认50G,最大限制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Note
导入数据集失败 导入数据集失败可能原因为OBS桶类型选择错误,请您选择标准存储类型的桶导入。 父主题: Standard数据管理
布式训练。 当使用SFS+OBS的存储方案可以实现存储加速,该方案的端到端实践案例请参见面向AI场景使用OBS+SFS Turbo的存储加速实践。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买(并行文件系统)
两个训练作业的模型都保存在容器相同的目录下是否有冲突? ModelArts训练作业之间的存储目录相互不影响,每个环境之间彼此隔离,看不到其他作业的数据。 父主题: 查看作业详情
1卡Vnt1),存储方案使用“OBS的并行文件系统(存放数据和代码)”。 单机多卡:中等数据量(50G左右训练数据)、中等算力场景(8卡Vnt1),存储方案使用“SFS(存放数据和代码)”。 多机多卡:大数据量(1T训练数据)、高算力场景(4台8卡Vnt1),存储方案使用“SFS
Integer 存储容量,EVS默认5G,EFS默认50G,最大限制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Note
推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。
File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,详细介绍可以参见并行文件系统。 在ModelArts运行态的Notebook容器中,采用动态挂载特性,将OBS对象存储模拟成本地文件系统。其本质是通过
推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。
在部署上线前,您需要基于训练后的模型编写配置文件和推理代码。 如果您的模型存储路径下,缺少配置文件“confi.json”,或者缺少推理代码“customize_service.py”时,将出现错误,错误信息如下图所示。 解决方案: 请参考模型包规范写配置文件和推理代码,并存储至需部署的模型所在OBS目录下。 图1
原因分析 专属池网段和推理微服务dispatcher网段冲突,导致专属池上的VPCEP终端节点无法创建,该region无法使用此网段创建包含推理服务的资源池。 处理方法 选择其他网段的ModelArts网络重建资源池即可解决网段冲突问题。 父主题: 资源池