检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
录，在宿主机和容器对应目录的所有改动都是实时同步的。 分析错误时：训练镜像先看日志，推理镜像先看API的返回。 可以通过命令查看容器输出到stdout的所有日志： docker logs -f 39c9ceedb1f6 一般在做推理镜像时，部分日志是直接存储在容器内部的，所以需要
服务部署、启动、升级和修改时，容器健康检查失败如何处理？ 问题现象 服务部署、启动、升级和修改时，容器健康检查失败。 原因分析 容器提供的健康检查接口调用失败。容器健康检查接口调用失败，原因可能有两种： 镜像健康检查配置问题 模型健康检查配置问题 解决方法 根据容器日志进行排查，查看健康检查接口失败的具体原因。
ModelArts部署使用的是容器化部署，容器运行时有空间大小限制，当用户的模型文件或者其他自定义文件，系统文件超过Docker size大小时，会提示镜像内空间不足。 处理方法 公共资源池容器Docker size的大小最大支持50G，专属资源池Docker size的大小最大支持50G。
图7 检查固件和驱动版本 安装docker环境。 先执行“docker -v”检查机器是否已安装docker，若已安装，则可跳过此步骤。 安装docker命令如下。 yum install -y docker-engine.aarch64 docker-engine-selinux
系统容器异常退出 问题现象 在训练创建后出现“系统容器异常退出”的故障。 [ModelArts Service Log]2022-10-11 19:18:23,267 - file_io.py[1ine:748] - ERROR: stat:404 errorCode:NoSuchKey
服务启动失败 问题现象 当服务事件中出现如下事件时，表示容器启动失败。 图1 服务启动失败 原因分析 服务启动失败的原因比较多样，可能有如下几种情况： AI应用本身问题，无法启动 镜像中配置的端口错误 健康检查配置有问题 模型推理代码customize_service.py编写有问题
如何修改环境变量 用户可以在创建训练作业页面增加新的环境变量，也可以设置新的取值覆盖当前训练容器中预置的环境变量值。 为保证数据安全，请勿输入敏感信息，例如明文密码。 训练容器中预置的环境变量 训练容器中预置的环境变量如下面表格所示，包括表1、表2、表3、表4、表5、表6、表7。 此处的
所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 图2 CloudShell远程登录界面 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install
所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 图2 CloudShell远程登录界面 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install
Notebook专属预置镜像列表 ModelArts开发环境提供Docker容器镜像，可作为预构建容器运行。预置镜像里面包含PyTorch，Tensorflow，MindSpore等常用AI引擎框架，镜像命名以AI引擎为主，并且每个镜像里面都预置了很多常用包，用户可以直接使用而无需重新安装。
客户端上传镜像，是指在安装了容器引擎客户端的机器上使用docker命令将镜像上传到容器镜像服务的镜像仓库。 如果容器引擎客户端机器为云上的ECS或CCE节点，根据机器所在区域有两种网络链路可以选择： 如果机器与容器镜像仓库在同一区域，则上传镜像走内网链路。 如果机器与容器镜像仓库不在同一区
服务部署、启动、升级和修改时，镜像不断重启如何处理？ 问题现象 服务部署、启动、升级和修改时，镜像不断重启。 原因分析 容器镜像代码错误 解决方法 根据容器日志进行排查，修复代码，重新创建模型，部署服务。 父主题： 服务部署
所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 图2 CloudShell远程登录界面 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install
所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 图2 CloudShell远程登录界面 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install
复制数据至容器中空间不足 问题现象 ModelArts训练作业运行时，日志中遇到如下报错，导致数据无法复制至容器中。 OSError:[Errno 28] No space left on device 原因分析 数据下载至容器的位置空间不足。 处理方法 请排查是否将数据下载至“
被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux
构建自定义镜像diffusers-train:0.0.1。 docker build -t koyha_ss-train:0.0.1 . Step4 启动镜像 启动容器镜像。启动前可以根据实际需要增加修改参数，Lora微调启动单卡，finetune微调启动八卡。 docker run -itd --name
通过运行的实例保存成容器镜像 功能介绍 运行的实例可以保存成容器镜像，保存的镜像中，安装的依赖包（pip包）不丢失，VS Code远程开发场景下，在Server端安装的插件不丢失。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
线下容器镜像构建及调试 构建容器镜像并调试 镜像构建及调试与单机单卡相同，请参考线下容器镜像构建及调试。 上传镜像 请参考单机单卡训练的上传镜像章节操作。 父主题： 多机多卡
Standard使用run.sh脚本实现OBS和训练容器间的数据传输 自定义容器在ModelArts上训练和本地训练的区别如下图： 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
