检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
json 单图单轮对话的post请求json， 可参考表2.请求服务json参数说明 docker_ip 是 str 启动多模态openAI服务的主机ip served_port 是 str 启动多模态openAI服务的端口号 表2 请求服务json参数说明 参数 是否必须 默认值
String 部署类型，当前仅支持Docker。 spec Object 部署详情，如表5所示。 表5 spec字段数据结构说明 参数 参数类型 说明 engine String 部署引擎，当前仅支持CCE。 params Object 部署参数，当前仅支持Docker，如表6所示。 表6 Docker部署参数数据结构说明
如果元模型来源于对象存储服务/容器镜像，显示健康检查状态。当健康检查为开启时，会根据您启用的探针显示对应探针的参数设置情况。 启动探针：用于检测应用实例是否已经启动。如果提供了启动探针(startup probe)，则禁用所有其他探针，直到它成功为止。如果启动探针失败，将会重启实例。如
问题现象 启动tensorboard后，打开tensorboard提示502 bad gateway，或者偶现502 bad gateway。 原因分析 出现该问题的可能原因如下: 启动tensorboard对应的summary目录错误，导致tensorboard启动失败。 启动
模型管理”页面，单击“创建”，跳转至创建模型页面。 完成模型配置，部分配置如下： 元模型来源：选择“从容器镜像中选择”。 容器镜像所在的路径：选择上传镜像至容器镜像服务上传的路径。 容器调用接口：根据实际情况配置容器调用接口。 健康检查：保持默认。如果镜像中配置了健康检查则按实际情况配置健康检查。 图1
储扩容。 Lite Cluster 只支持对状态为“运行中”的Lite Cluster资源池进行扩缩容，且不能缩容到0。 对于新建的Lite Cluster资源池，支持在新建时资源池指定容器引擎空间大小。 对于存量的Lite Cluster资源池，可设置容器引擎空间大小应用于新增
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
本文介绍三种使用训练作业来启动PyTorch DDP训练的方法及对应代码示例。 使用PyTorch预置框架功能，通过mp.spawn命令启动 使用自定义镜像功能 通过torch.distributed.launch命令启动 通过torch.distributed.run命令启动 创建训练作业
Standard池，资源池创建阶段指定容器网段，根据实际需要设置更大的容器网段。 图7 设置容器网段 ModelArts Lite池，选择/创建具有更大容器网段的CCE集群。CCE容器网段配置参见网络规划。 账号冻结导致创建失败？ 查看资源池失败报错信息，存在"frozen deposit f
如果是自定义镜像中拉取的.sh脚本没有执行权限，可以在自定义脚本启动前执行"chmod +x xxx.sh"添加可执行权限。 ModelArts控制台上创建训练作业自定义镜像入口，默认以1000 uid用户来启动v2容器镜像，将ma-user的uid从1102改为1000，改变方式
自定义镜像的大小推荐15GB以内，最大不要超过资源池的容器引擎空间大小的一半。镜像过大会直接影响训练作业的启动时间。 ModelArts公共资源池的容器引擎空间为50G，专属资源池的容器引擎空间的默认为50G，支持在创建专属资源池时自定义容器引擎空间。 确定错误类型 提示找不到文件等错误，请参见训练作业日志中提示“No
使用自定义镜像创建训练作业时，在代码目录下载完成后，镜像的启动命令会被自动执行。启动命令的填写规范如下： 如果训练启动脚本用的是py文件，例如train.py，运行命令可以写为python ${MA_JOB_DIR}/demo-code/train.py。 如果训练启动脚本用的是sh文件，例如main.sh，运行命令可以写为bash
用户的自定义镜像中无ascend_check工具，导致启动预检失败。 用户的自定义镜像中的ascend相关工具不可用，导致预检失败。 处理方法 通过给训练作业加环境变量“MA_DETECT_TRAIN_INJECT_CODE”并将对应的值设置成0，就可以将预检功能关闭。环境变量说明参考查看训练容器环境变量。 父主题：
考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 图1 创建训练作业 训练作业启动命令中输入： cd /home/ma-user/work/Qwen-VL; ln -s ${DATA}/ qwenvl_dataset;
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
py”的代码示例如下。其中，加粗的代码为必须保留的内容。 import gradio as gr import os POD_IP = os.getenv('POD_IP') // 获取容器IP ROOT_PATH = os.getenv('ROOT_PATH') //获取服务根路径 def
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
