检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
json文件,其中xx表示当前实例的IP地址,yy表示当前实例使用的device_id信息;当实例类型为服务入口实例,local rank_table配置local_ranktable_xx_host.json文件,其中xx表示当前实例的IP地址。 NODE_PORTS:仅在服务入口实例生效,用于与
ModelArts环境挂载目录说明 本小节介绍Notebook开发环境、训练任务实例的目录挂载情况(以下挂载点在保存镜像的时候不会保存)。详情如下: Notebook 表1 Notebook挂载点介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。
Integer 模型部署的实例数。 status String 服务状态,取值包含: running:运行中,服务正常运行。 deploying:部署中,服务正在部署,包含打镜像和调度资源部署。 concerning:告警,后端实例部分存在异常。 failed:失败,服务部署失败,失败原因可以看事件和日志标签页。
在“专属资源池扩缩容”页面,可通过增减“目标总实例数”实现扩缩容,请用户根据本身业务诉求进行调整。增加目标实例数量即表示扩容,减少目标实例数量即表示缩容。 如果购买资源池时,节点数量采用整柜方式购买(部分规格支持),则在扩缩容时为整柜方式扩缩容,目标实例总数等于“数量*整柜”。“整柜”参数
ModelArts训练专属资源池如何与SFS弹性文件系统配置对等链接? 配置训练专属资源池与SFS弹性文件系统的对等链接,需要资源池打通VPC,使得资源池与SFS弹性文件系统所配置的VPC相同。配置完成后,在创建训练作业时,就可以看到SFS的配置选项。 打通VPC步骤请参考打通VPC。 父主题:
ModelArts控制台为什么能看到创建失败被删除的专属资源池? 在控制台页面操作删除专属资源池后,后端服务需要进行资源实例释放。在资源实例释放过程中,用户依然可以查询到资源池。如果需要创建专属资源池,建议等待5min后再创建,且不要使用已创建过的专属资源池名称来命名新建的专属资
0%。 “实例规格” 请根据界面显示的列表,选择可用的规格,置灰的规格表示当前环境无法使用。 如果公共资源池下规格为空数据,表示当前环境无公共资源。建议使用专属资源池。 说明: 使用所选规格部署服务时,会产生必要的系统消耗,因此服务实际占用的资源会略大于该规格。 “实例数” 设置
在ModelArts的Notebook中如何打开VS Code的配置文件settings.json? 在VS Code环境中执行Ctrl+Shift+P 搜Open User Settings (JSON) 父主题: Standard Notebook
如果出现以下信息则表示创建成功。 uid=1000(ma-user) gid=100(ma-group) groups=100(ma-group) 父主题: 基本配置
源池界面填写参数。 “作业类型”包括推理服务。“网络”选择上文中已打通VPC的网络。 图3 作业类型 单击“立即购买”确认规格。产品规格和协议许可确认无误后,单击“提交”,即可创建专属资源池。 步骤二:使用Docker安装和配置正向代理 购买弹性云服务器ECS,详情请见购买ECS
参数 是否必选 参数类型 描述 changed_property 是 String 属性名称,目前只支持instance_count(更新模型服务实例数量)。 configs 否 Array of UpdateServiceConfig objects 服务配置。 表4 UpdateServiceConfig
自定义镜像训练作业配置节点间SSH免密互信 当用户使用基于MPI和Horovod框架的自定义镜像进行分布式训练时,需配置训练作业节点间SSH免密互信,否则训练会失败。 配置节点间SSH免密互信涉及代码适配和训练作业参数配置,本文提供了一个操作示例。 准备一个预装OpenSSH的自
客户创建了多个虚拟环境,numba库安装在了python-3.7.10中,如图1所示。 图1 查询创建的虚拟环境 解决方案 在Terminal中执行conda deactivate命令退出当前虚拟环境,默认进入base环境。执行pip list命令查询已安装的包,然后安装需要的依赖进行保存,最后切换至指定的虚拟环境后再运行脚本。
} 图3 scheduler 如果重启后,还是会Pending,建议多重复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息,可通过访问官网链接:工作负载异常:实例调度失败,进行查找。 父主题: 主流开源大模型基于Lite Cluster适配PyTorch
pu同时配置。 表8 ModelAdditionalProperties 参数 参数类型 描述 log_volume Array of LogVolume objects 主机日志目录挂载。 仅支持使用专属资源池部署服务场景。如果用户使用公共资源池部署服务,则不支持配置该参数,否则会报错。
购买ModelArts专属资源池 购买弹性云服务器ECS 基本配置: 权限配置 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutils安装和配置 (可选)工作空间配置 训练: 上传数据至OBS(首次使用时需要)
${pod_scheduler_name} 图3 scheduler 若重启后,还是会Pending,建议多重复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息,可通过访问官网链接:工作负载异常:实例调度失败,进行查找。 父主题: 主流开源大模型基于Lite Cluster适配PyTorch
线服务。 实例 查看异步在线服务的实例信息。这里的实例个数和部署服务时设置的“实例数”相对应,如果修改服务或服务异常,实例数会有变化。如果存在某个实例异常希望重建实例,您可单击“删除”按钮,该实例被删除后会自动新建一个相同计算规格的实例。 配置更新记录 展示“当前配置”详情和“历史更新记录”。
${pod_scheduler_name} 图3 scheduler 若重启后,还是会Pending,建议多重复重启几次。 其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息,可通过访问官网链接:工作负载异常:实例调度失败,进行查找。 父主题: 主流开源大模型基于Lite Cluster适配PyTorch
Notebook中安装依赖包报错ERROR: HTTP error 404 while getting xxx 问题现象 在Notebook中安装依赖包时报错,报错截图如下: 原因分析 pypi源没有这个包或源不可用。 解决方案 使用别的源下载。 pip install -i 源地址