检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务部署、启动、升级和修改时，容器健康检查失败如何处理？ 原因分析 容器提供的健康检查接口调用失败。容器健康检查接口调用失败，原因可能有两种： 镜像健康检查配置问题 AI应用健康检查配置问题 解决方法 根据容器日志进行排查，查看健康检查接口失败的具体原因。 镜像健康检查配置问题，需修复代码
服务部署成功的标志是模型启动完成，如果没有配置健康检查，就无法检测到模型是否真实的启动。 在自定义镜像健康检查接口中，用户可以实现实际业务是否成功的检测。在创建AI应用时配置健康检查延迟时间，保证容器服务的初始化。 因此，推荐在创建AI应用时配置健康检查，并设置合理的延迟检测时间， 实现
系统容器异常退出 问题现象 在训练创建后出现“系统容器异常退出”的故障。 [ModelArts Service Log]2022-10-11 19:18:23,267 - file_io.py[1ine:748] - ERROR: stat:404 errorCode:NoSuchKey
Server资源 场景描述 本文主要介绍如何配置DCGM监控。DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具，提供多种能力，包括主动健康监控、诊断、系统验证、策略、电源和时钟管理、配置管理和审计等。 前提条件 裸金属服务器需要安装driver、c
动态挂载OBS并行文件系统 什么是动态挂载OBS并行文件系统 并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，详细介绍可以参见并行文件系统。 在ModelArts运行
Server服务器操作系统 场景描述 Lite Server为一台弹性裸金属服务器，您可以使用BMS服务提供的切换操作系统功能，对Lite Server资源操作系统进行切换。本文介绍以下三种切换操作系统的方式： 在BMS控制台切换操作系统 使用BMS Go SDK的方式切换操作系统 使用Python封装API的方式切换操作系统
集的如下指标： 表1 指标列表 指标英文名 指标中文名 说明 单位 维度 gpu_status gpu健康状态。 BMS上GPU健康状态，是一个综合指标，0代表健康，1代表亚健康，2代表故障。 - instance_id，gpu gpu_utilization gpu使用率。 该GPU的算力使用率。
自定义镜像中的代码开放的端口 图3 创建AI应用界面上配置的端口 健康检查配置有问题 镜像如果配置了健康检查，服务启动失败，从以下两个方面进行排查： 健康检查端口是否可以正常工作 自定义镜像中配置了健康检查，需要在测试镜像时，同步测试健康检查接口是否可以正常工作，具体参考从0-1制作自定义镜像并创建AI应用中的本地验证镜像方法。
NPU设备异常，昇腾dcmi接口中返回设备存在重要或紧急告警。 可能是亚健康，建议先重启节点，若重启节点后未恢复，发起维修流程。 NT_NPU_NET NPU 链路 npu dcmi net异常。 NPU网络链接异常。 可能是亚健康，建议先重启节点，若重启节点后未恢复，发起维修流程。 NT_NPU_CARD_LOSE
部署。 说明： 如果使用他人共享的镜像，需要开启镜像复制功能，否则会导致创建AI应用失败。 “健康检查” 用于指定AI应用的健康检查。仅当自定义镜像中配置了健康检查接口，才能配置“健康检查”，否则会导致AI应用创建失败。当前支持以下三种探针： 启动探针：用于检测应用实例是否已经启动。如果提供了启动探针(startup
存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。 3种探针的配置参数均为： 检查方式：仅支持“HTTP请求检查”。 健康检查URL：健康检查的URL固定为“/health”。 健康检查周期（秒）：填写1-2147483647之前的整数，单位为秒。
存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。 每种探针下会显示以下字段：检查方式、健康检查URL（检查方式为“HTTP请求检查”时显示）、健康检查命令（检查方式为“执行命令检查”时显示）、健康检查周期、延迟时间、超时时间、最大失败次数。
当用户使用自定义引擎时，默认开启动态加载，模型包与镜像分离，在服务部署时动态将模型加载到服务负载。 配置健康检查 大模型场景下导入的AI应用，要求配置健康检查，避免在部署时服务显示已启动但实际不可用。 图3 采用自定义引擎，开启动态加载并配置健康检查示例图 部署在线服务 部署服务时，需满足以下参数配置： 自定义部署超时时间
不启用自动停止，系统会自动停掉Notebook实例吗？会删除Notebook实例吗？ 针对此问题，需要根据选择的不同资源规格进行说明。 如果使用免费规格，Notebook实例将在运行1小时后，自动停止。如果72小时内没有再次启动，会释放资源，即删除此Notebook实例。因此使用
{"mnist_result": 7} （可选）健康检查接口 如果在滚动升级时要求不中断业务，那么必须在config.json文件中配置健康检查的接口，供ModelArts调用，在config.json文件中配置。当业务可提供正常服务时，健康检查接口返回健康状态，否则返回异常状态。 如果要实现无损滚动升级，必须配置健康检查接口。
如何解决“在IOS系统里打开ModelArts的Notebook，字体显示异常”的问题？ 问题现象 在IOS系统里打开ModelArts的Notebook时，字体显示异常。 解决方法 设置Terminal的“fontFamily”为“Menlo”。 操作步骤 登录ModelArt
训练专属资源池如何与SFS弹性文件系统配置对等链接？ 配置训练专属资源池与SFS弹性文件系统的对等链接，需要资源池打通VPC，使得资源池与SFS弹性文件系统所配置的VPC相同。配置完成后，在创建训练作业时，就可以看到SFS的配置选项。 打通VPC步骤请参考打通VPC。 父主题： Standard资源池
check_method 是 String 健康检查方式。可选“HTTP/EXEC”。 HTTP：HTTP请求检查 EXEC：执行命令检查。 command 否 String 健康检查命令。健康检查方式为EXEC时必选。 url 否 String 健康检查接口请求路径。健康检查方式为HTTP时必选。
json中的swr_location字段后重试。 异常 自定义镜像健康检查接口必须是xxx。 The health check url of custom image model must be %s. 请修改自定义镜像健康检查接口后重试。 正常 当前镜像构建任务状态为xxx。 The
紧急 CacheVolumeExceedQuota /cache目录文件大小超过最大限制 紧急 NotebookHealthy 实例从不健康恢复到了健康状态 重要 EVSSoldOut EVS存储售罄 紧急 表7 OBS动态挂载产生的事件列表 事件名称 事件描述 事件级别 DynamicMountStorage
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
