检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他实例调度失败问题 首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。 如何删除config.yaml创建出的所有工作负载Pod 若要删除config.yaml创建出的所有工作负载Pod，需要先找到config.yaml所在路径，并执行以下命令。 kubectl
附录：工作负载Pod异常问题和解决方法 Pod状态为Pending 当Pod状态长时间为“Pending”，事件中出现“实例调度失败”的信息时，可根据具体事件信息确定具体问题原因。 图1 pod状态pending 通过以下命令打印Pod日志信息。 kubectl describe
Value service_id 在线服务ID。 model_id 模型负载ID。 设置告警规则 通过设置ModelArts在线服务和模型负载告警规则，用户可自定义监控目标与通知策略，及时了解ModelArts在线服务和模型负载状况，从而起到预警作用。 设置ModelArts服务和模型的告
理、生产部署上对平台系统产生了新的要求。例如：导入AI应用时，需要支持动态调整租户存储配额；模型加载、启动慢，部署时需要灵活的超时配置；当负载异常重启，模型需要重新加载，服务恢复时间长的问题亟待解决。 为了应对如上诉求，ModelArts推理平台针对性给出解决方案，用于支持大模型场景下的AI应用管理和服务部署。
监控安全风险 ModelArts支持监控ModelArts在线服务和对应模型负载，执行自动实时监控、告警和通知操作，帮助用户更好地了解服务和模型的各项性能指标。详细内容请参见ModelArts支持的监控指标。 父主题： 安全
post(url, data=body) print(response.content) 由于高速通道特性会缺失负载均衡的能力，因此在多实例时需要自主制定负载均衡策略。 父主题： Standard推理部署
post(url, data=body) print(response.content) 由于高速通道特性会缺失负载均衡的能力，因此在多实例时需要自主制定负载均衡策略。 父主题： 访问在线服务支持的访问通道
GPU负载不均衡：负责reducer的GPU需要负责汇总输出、计算损失和更新权重，因此显存和使用率相比其他GPU都会更高。 DistributedDataParallel进行多机多卡训练的优缺点 通信更快：相比于DP，通信速度更快 负载相对均衡：相比于DP，GPU负载相对更均衡
Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力，负责建立和管理机器学习训练工作负载所需的基础设施，减轻用户的负担，为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练，用户可以专注于开发、训练和微调模型。
6333错误，如何处理？ 问题现象 在使用Notebook过程中，界面出现“ModelArts.6333”报错信息。 原因分析 可能由于实例过负载引起故障，Notebook正在自动恢复中，请刷新页面并等待几分钟。常见原因是内存占用满。 处理方法 当出现此错误时，Notebook会自动恢复，您可以刷新页面，等待几分钟。
Server资源 场景描述 本文主要介绍如何配置华为云BMS+CES联合提供的裸金属服务器的指标监控方案，可帮助您查看CPU相关监控指标、CPU负载类相关监控指标、内存相关监控指标、磁盘相关监控指标、磁盘I/O类、文件系统类、网卡类、软RAID相关监控指标和进程相关监控指标。 裸金属服务器监控介绍
ModelArts Edge 为客户提供了统一边缘部署和管理能力，支持统一纳管异构边缘设备，提供AI应用部署、Al应用和节点管理、资源池与负载均衡、应用商用保障等能力，帮助客户快速构建高性价比的边云协同AI解决方案。 适用于边缘部署场景。 ModelArts Edge是白名单功能，如果有试用需求，请提工单申请。
能触发了某种硬件自检或修复机制，从而恢复了正常的带宽。 系统负载问题：最初测试GPU卡间带宽时，可能存在其他系统负载，如进程、服务等，这些负载会占用一部分网络带宽，从而影响NVLINK带宽的表现。重新安装软件后，这些负载可能被清除，从而使NVLINK带宽恢复正常。 父主题： Lite
期，与Pod一起创建和删除。 使用临时存储路径 HostPath 适用于以下场景： 容器工作负载程序生成的日志文件需要永久保存。 需要访问宿主机上Docker引擎内部数据结构的容器工作负载。 节点存储。多个容器可能会共享这一个存储，会存在写冲突的问题。 Pod删除后，存储不会清理。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.909）
部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法 父主题： LLM大语言模型训练推理
参考pull/push 镜像体验章节，将上一步build的镜像上传到容器镜像服务上。 Step5 使用CCE进行部署 在CCE上创建工作负载，创建工作负载时所需的yaml文件可参考在Lite Cluster资源池上使用Snt9B完成推理任务。 在CCE上创建服务。 父主题： AIGC模型训练推理
供启动探针，则默认状态为成功Success。 就绪探针：用于检测应用实例是否已经准备好接收流量。如果就绪探针失败，即实例未准备好，会从服务负载均衡的池中剔除该实例，不会将流量路由到该实例，直到探测成功。 存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。
供启动探针，则默认状态为成功Success。 就绪探针：用于检测应用实例是否已经准备好接收流量。如果就绪探针失败，即实例未准备好，会从服务负载均衡的池中剔除该实例，不会将流量路由到该实例，直到探测成功。 存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。
删除maos-node-agent的pod（重启pod）。 CCE页面上删除节点上的污点A200008。 ModelArts页面上重置节点。 该方案的缺点：用户新建负载时需要手动指定调度器为volcano，参考指导。 解决方案二（默认全部使用volcano调度器）： CCE页面上配置中心修改默认调度器为kube-scheduler。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
