检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建网络 购买ModelArts专属资源池 购买弹性云服务器ECS 基本配置: 权限配置 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutils安装和配置 (可选)工作空间配置 训练: 上传数据至OBS(首次使用时需要)
1*节点 & 4*Ascend 以上参数为开启NPU FlashAttention融合算子,上述参数值仅供参考,请根据自己实际要求合理配置其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数及其他配置。 具体优化工具使用说明可参考如何选择
2*节点 & 8*Ascend 以上参数为开启NPU FlashAttention融合算子,上述参数值仅供参考,请根据自己实际要求合理配置其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数及其他配置。 具体优化工具使用说明可参考如何选择
2*节点 & 8*Ascend 以上参数为开启NPU FlashAttention融合算子,上述参数值仅供参考,请根据自己实际要求合理配置其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数及其他配置。 具体优化工具使用说明可参考如何选择
IPV6:开启IPv6功能后,将自动为子网分配IPv6网段,暂不支持自定义设置IPv6网段,该功能一旦开启,将不能关闭。 若创建网络时未勾选开启IPv6,也可在创建网络后在操作列单击“启动IPv6”,如图3 打通VPC前,需要保证ModelArts网络和您的VPC网络都已开启IPv6
I应用,确保镜像可以正常启动,并可以在本地curl通返回预期内容。 镜像中配置的端口错误 模型可以正常启动,但是因为镜像中启用的端口非8080,或者镜像启用的端口与创建模型时配置的端口不一致,导致部署服务时register-agent无法与模型通信,超过一定时间后(最长20分钟)认为模型启动失败。
请根据界面提示,填写必选参数,然后单击“下一步”。 在“加入用户组”步骤中,选择“用户组02”,然后单击“创建用户”。 系统将逐步创建好前面设置的2个用户。 父主题: 配置ModelArts基本使用权限
子用户在创建ModelArts的专属资源池过程中,如果需要开启自定义网络配置,需要配置VPC权限。 VPC FullAccess 可选 配置MaaS基础操作权限 创建用户组。 登录IAM管理控制台,单击“用户组>创建用户组”。在“创建用户组”界面,输入“用户组名称”单击“确定”。 配置用户组权限。 在用户组列表
上传数据和算法至SFS(首次使用时需要) 前提条件 ECS服务器已挂载SFS,请参考ECS服务器挂载SFS Turbo存储。 在ECS中已经创建ma-user和ma-group用户,请参考在ECS中创建ma-user和ma-group。 已经安装obsutil,请参考下载和安装obsutil。 参考线下容
Gallery CLI配置工具指南 安装Gallery CLI配置工具 使用Gallery CLI配置工具下载文件 使用Gallery CLI配置工具上传文件 父主题: AI Gallery(新版)
TOTAL_LIMIT的值一致。 MA_TRAIN_AUTO_RESUME False 【可选】【故障快恢】是否开启此功能,【True、False】默认False不开启,当训练中断时重启任务会从最新生成权重文件处继续训练。详见断点续训和故障快恢说明 CKPT_LOAD_TYPE 1
TOTAL_LIMIT的值一致。 MA_TRAIN_AUTO_RESUME False 【可选】【故障快恢】是否开启此功能,【True、False】默认False不开启,当训练中断时重启任务会从最新生成权重文件处继续训练。详见断点续训和故障快恢说明 CKPT_LOAD_TYPE 1
如何在ModelArts的Notebook中配置Conda源? 用户可以在Notebook开发环境中自行安装开发依赖包,方便使用。常见的依赖安装支持pip和Conda,pip源已经配置好,可以直接使用安装,Conda源需要多一步配置。 本章节介绍如何在Notebook开发环境中配置Conda源。 配置Conda源
用内存,导致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间,再查看回收站文件占用内存,根据实际删除回收站里不需要的大文件。 在Notebook实例详情页,查看实例的存储容量。 执行如下命令,排查虚拟机所使用的存储空间,一般接近存储容量,请排查回收站占用内存。
详细操作请参考VS Code一键连接Notebook。 步骤2:安装Python插件以及配置入参 打开VS Code工具,单击“Extensions”,搜索python,然后单击“Install”。 图3 安装Python 输入Ctrl+Shirt+P,搜索“python:select
Lite Cluster资源配置 Lite Cluster资源配置流程 配置Lite Cluster网络 配置kubectl工具 配置Lite Cluster存储 (可选)配置驱动 (可选)配置镜像预热
配置仪表盘查看指标数据 Grafana中可以自定义配置各种视图的仪表盘,ModelArts也提供了针对集群的配置模板。本章节通过使用ModelArts提供的模板查看指标和创建Dashboards查看指标的方式,说明如何进行仪表盘配置。Grafana的更多使用请参考Grafana官方文档。
Lite Server资源配置 Lite Server资源配置流程 配置Lite Server网络 配置Lite Server存储 配置Lite Server软件环境
配置多分支节点数据 功能介绍 仅用于存在多分支执行的场景,在编写构建工作流节点时,节点的数据输入来源暂不确定,可能是多个依赖节点中任意一个节点的输出。只有当依赖节点全部执行完成后,才会根据实际执行情况自动获取有效输出作为输入。 使用案例 from modelarts import
"ecs:serverKeypairs:list", "ecs:serverKeypairs:get", "ecs:serverKeypairs:delete", "ecs:serverKeypairs:create"