检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
历史待下线案例 使用AI Gallery的订阅算法实现花卉识别 使用ModelArts PyCharm插件调试训练ResNet50图像分类模型 示例:从 0 到 1 制作自定义镜像并用于训练(Pytorch+CPU/GPU) 示例:从 0 到 1 制作自定义镜像并用于训练(MPI+CPU/GPU)
EOUT,因此会导致通信速度慢且不稳定,最后造成IB通信断连,偶发上述现象。 原因2:NCCL_SOCKET_IFNAME设置错误。当用户的NCCL版本低于2.14时,则需要手动设置NCCL_SOCKET_IFNAME环境变量。 处理方法 针对原因1,需要在代码中补充如下环境变量。
资源管理 查询OS的配置参数 查询插件模板 查询节点列表 批量删除节点 批量重启节点 查询事件列表 创建网络资源 查询网络资源列表 查询网络资源 删除网络资源 更新网络资源 查询资源实时利用率 创建资源池 查询资源池列表,可通过标签、资源池状态筛选查询资源池列表 查询资源池 删除资源池
模型管理权限 表1 模型管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 导入模型 POST /v1/{project_id}/models modelarts:model:create obs:bucket:ListAllMybuckets o
<master_addr> --num_nodes <nodes> --rank <rank> <cfgs_yaml_file>:性能测试配置的yaml文件地址,如代码目录中performance_cfgs.yaml相对或绝对路径。 <model_name>:训练模型名,如qwen2-7b
from daemon: Cannot pause container xxx”。 原因分析 执行镜像保存时,Notebook中存在状态为D的进程,会导致镜像保存失败。 解决方案 在Terminal里执行ps -aux命令检查进程。 执行kill -9 <pid>命令将相关进程结束后,再次执行镜像保存即可。
制作自定义镜像用于训练模型 训练作业的自定义镜像制作流程 使用预置镜像制作自定义镜像用于训练模型 已有镜像迁移至ModelArts用于训练模型 从0制作自定义镜像用于创建训练作业(Pytorch+Ascend) 从0制作自定义镜像用于创建训练作业(PyTorch+CPU/GPU)
登录ModelArts管理控制台。 在左侧导航栏中,选择“AI专属资源池 > 弹性节点 Server”,进入“节点”列表页面。 在弹性节点Server列表中,单击的“同步”,在弹出的确认对话框中,确认信息无误,然后单击“确定”,完成同步操作。 图1 同步状态 父主题: Lite Server资源管理
'feat_2:0', 'feat_3': 'feat_3:0'} 不做数据集切分操作。如果选择未切分的数据集,算法将做纯训练场景; 父主题: 服务部署
<master_addr> --num_nodes <nodes> --rank <rank> <cfgs_yaml_file>:性能测试配置的yaml文件地址,如代码目录中performance_cfgs.yaml相对或绝对路径。 <model_name>:训练模型名,如qwen2-7b
登录ModelArts控制台,在“开发环境 > Notebook”中创建Notebook实例,在Terminal或ipynb文件中直接调用ModelArts SDK的接口。在Notebook中调用SDK,可直接参考接口说明,执行OBS管理、作业管理、模型管理和服务管理等操作。 ModelArts SDK支
User:用户名,例如:ma-user - HostName:IP地址 - Port:端口号 在VS Code中手工配置远程连接时,在本地的ssh config文件中增加配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”
工作空间管理权限 表1 工作空间管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建工作空间 POST /v1/{project_id}/workspaces modelarts:workspace:create - √ √ 查询工作空间列表 GET
无法再新建。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。 常见问题 下线镜像对现有用户的使用是否有影响? 下线镜像对已有用户不影响,用户可以继续使用已有实例启动Notebook,但是需要注意删除实例后无法再新建实例。 镜像下线后是否可以继续基于该镜像新建实例?
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理?
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
然后将remote.SSH.path属性添加到settings.json中,例如:"remote.SSH.path": "本地OpenSSH的安装路径" 父主题: VS Code连接开发环境失败故障处理
DevServer权限 表1 DevServer细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建DevServer实例 POST /v1/{project_id}/dev-servers modelarts:devserver:create e
训练作业权限 表1 训练作业(新版)细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建训练作业 POST /v2/{project_id}/training-jobs modelarts:trainJob:create swr:repository:listTags
Browser+(win)、obsutil(linux)。上述例子为obsutil使用方法。 准备算法 main.py文件内容如下,并将其上传至OBS桶的demo文件夹中: import argparse import os import random import shutil import