检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父主题： 系统视图
父主题： 系统视图
/bin/bash while true; do nvidia-smi & sleep 1 # 可以根据需要调整间隔时间 done 然后执行查看产生nvidia D+进程 ps -aux | grep -w D+ 结果如下： 图1 nvidia D+进程 此时可以观察你的训练任务或者执行
样例如下： 图3 示例图片 单击确定，即可出现指标信息。 图4 示例图片 自定义监控指标上报到AOM 用户有一些自定义的指标数据需要保存到AOM，ModelArts提供了命令方式将用户的自定义指标上报保存到AOM。
平台具备对GPU加速型云服务器、连接设备、应用等进行统一管理及细粒度业务监控能力，具有降低消费成本，提升用户体验，普及商业场景和保护内容版权等显著优势。
图1 运行 展开“显示适配器”，并右键单击NVIDIA显卡，打开“属性”。 图2 显示适配器 查看显卡属性，发现设备状态异常。 图3 显卡状态异常 处理方法 在云服务器上查找对应的NVIDIA驱动，并重新安装。操作如下： 登录GPU云服务器。 在C盘查找已安装的NVIDIA驱动。
的metadata.annotations中添加cri.cci.io/gpu-driver字段，指定使用哪个版本显卡驱动，取值如下： gpu-418.126 gpu-460.106 创建Pod时挂载OBS的使用限制请参见挂载OBS使用限制。
DeepSpeed的核心思想是在单个GPU上实现大规模模型并行训练，从而提高训练速度。DeepSpeed提供了一系列的优化技术，如ZeRO内存优化、分布式训练等，可以帮助用户更好地利用多个GPU进行训练 Accelerate是一种深度学习加速框架，主要针对分布式训练场景。
Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
Pi2型云服务器运行VR应用时，出现闪退 可能原因 Pi2型云服务器默认安装的是NVIDIA计算驱动，未安装图形驱动。 处理方法 安装图形驱动，并购买License激活，详情请参见GPU加速型云服务器安装GRID驱动。
规格：选择执行作业的CPU和GPU配置。 支持使用租户订购的ModelArts专属资源池。 实例：JupyterLab开发环境实例。显示“创建一个新环境”，不支持修改。 单击“确定”。 当“状态”值由“创建中”变为“可用”时，即成功创建开发环境。 单击“关闭”。
、高性价比鲲鹏实例、GPU和华为云独有的昇腾算力；支持GPU虚拟化、共享调度、资源感知的调度优化。
CUDA版本需要参考专属资源池的GPU驱动版本，自主进行适配，GPU驱动版本可在专属资源池详情页面查看。 父主题： Standard镜像相关
Step1使用tensorRT量化工具进行模型量化，必须在GPU环境 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
graph_id 是 String 图ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。
请求示例 删除HyG图。 DELETE http://{SERVER_URL}/ges/v1.0/{project_id}/hyg/{graph_name} SERVER_URL：图的访问地址，取值请参考业务面API使用限制。
模型验证使用的AI算法框架和CPU、GPU资源等能力与模型训练等同。验证完成后，查看验证报告中模型的准确率等信息。 父主题： 模型验证
父主题： 系统视图
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
