检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型训练存储加速 针对AI训练场景中大模型Checkpoint保存和加载带来的I/O挑战，华为云提供了基于对象存储服务OBS+高性能弹性文件服务SFS Turbo的AI云存储解决方案，如下图所示。 SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo H
Gallery。 填写“发布标题”，标题长度为3~64个字符，不能包含字符“\ / : * ? " < > | ' &”。 选择运行环境：CPU、GPU或ASCEND。 勾选“我已阅读并同意《华为云AI Gallery数字内容发布协议》和《华为云AI Gallery服务协议》”。 图2 发布AI
置等。 表6 PoolResource 参数 参数类型 描述 flavor String 资源规格名称，比如：modelarts.vm.gpu.t4u8。 count Integer 规格保障使用量。 maxCount Integer 资源规格的弹性使用量，物理池该值和count相同。
译的缓存文件。当服务第二次启动时，可通过缓存文件来快速完成图编译的过程，避免长时间的等待，并且基于图编译缓存文件来启动服务可获得更优的推理性能，因此请在有图编译缓存文件的前提下启动服务。另外，当启动服务时的模型或者参数发生改变时，请删除.torchair_cache文件夹，避免由于缓存文件与实际推理不匹配而报错。
所有进程IO都没有变化，则进入资源利用率检测阶段。 资源利用率：在作业进程IO没有变化的情况下，采集一定时间段内的GPU利用率或NPU利用率，并根据这段时间内的GPU利用率或NPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。 系统预置了卡死检测的
零配置，即开即用，面向特定的场景，将AI开发过程中常用的依赖环境进行固化，提供合适的软件、操作系统、网络等配置策略，通过在硬件上的充分测试，确保其兼容性和性能最合适。 方便自定义，预置镜像已经在SWR仓库中，通过对预置镜像的扩展完成自定义镜像注册。 安全可信，基于安全加固最佳实践，访问策略、用户
描述 metric String 运行指标，可选值如下： cpuUsage：CPU使用率 memUsage：物理内存使用率 gpuUtil：GPU使用率 gpuMemUsage：显存使用率 npuUtil：NPU使用率 npuMemUsage：NPU显存使用率 value Array
Session() #训练脚本里接收的参数，请根据实际情况填写 parameters = [{"name": "mod", "value":"gpu"}, {"name": "epoc_num", "value":2}] estimator = Estim
等基础资源费用组成。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 适用的功能模块 计算资源费用 计费因子：包括vCPU、GPU和NPU。 按需计费的资源，按购买规格和时长计费 包年/包月的资源，按购买规格和周期计费 按需计费 包年/包月 按需计费：规格单价 * 计算节点个数
同一时间单个节点只能处于一个重置任务中，无法对同一个节点同时下发多个重置任务。 当资源池处于驱动升级状态时，该资源池无法进行重置节点操作。 GPU和NPU规格，重置节点完成后，节点可能会出现驱动升级的现象，请耐心等待。 修复节点 修复节点功能是白名单功能，如果有试用需求，请提工单申请权限。
specification refers to a valid device, The requested device appeares to be a GPU,but CUDA is not enabled” 原因分析 出现该问题的可能原因如下： 新安装的包与镜像中带的CUDA版本不匹配。 处理方法
NPU的Finetune训练指导(6.3.912) Qwen-VL是规模视觉语言模型，可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu + 华为自研Ascend
NPU的推理指导（6.3.909） Qwen-VL是规模视觉语言模型，可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu + 华为自研Ascend
Gallery提供了基础镜像的依赖环境，如果要添加自定义依赖项，可通过requirements.txt文件实现。基础镜像包含python、PyTorch、cuda（GPU）、CANN（NPU）。 自定义模型规范（推理） 当托管自定义模型到AI Gallery时，如果模型要支持AI Gallery的推理服务，
PFA算子是否使用高精度模式；默认值为0表示不开启。针对Qwen2-7B模型和Qwen2-57b模型，必须开启此配置，否则精度会异常；其他模型不建议开启，因为性能会有损失。 如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化或使用SmoothQuant量化章节对模型做量化处理。 启动服务
一指标直接关系到模型的响应速度和处理效率。不当的QPS配置可能导致用户等待时间延长，影响满意度。因此，能够灵活调整模型的QPS对于保障服务性能、优化用户体验、维持业务流畅及控制成本至关重要。 ModelArts Studio大模型即服务平台支持手动修改模型服务的实例流量限制QPS，该操作不会影响部署服务的正常运行。
否 ServiceAffinity object 服务亲和部署 表6 CustomSpec 参数 是否必选 参数类型 描述 gpu_p4 否 Float GPU个数，可选，默认不使用，支持配置小数，输入值不能小于0（最多支持2位小数，小数点后第3位做四舍五入处理）。 memory 是
便用户调测。 MindInsight能可视化展现出训练过程中的标量、图像、计算图以及模型超参等信息，同时提供训练看板、模型溯源、数据溯源、性能调试等功能，帮助您更高效地训练调试模型。MindInsight当前支持基于MindSpore引擎的训练作业。MindInsight相关概念请参考MindSpore官网。
译的缓存文件。当服务第二次启动时，可通过缓存文件来快速完成图编译的过程，避免长时间的等待，并且基于图编译缓存文件来启动服务可获得更优的推理性能，因此请在有图编译缓存文件的前提下启动服务。另外，当启动服务时的模型或者参数发生改变时，请删除.torchair_cache文件夹，避免由于缓存文件与实际推理不匹配而报错。
置等。 表6 PoolResource 参数 参数类型 描述 flavor String 资源规格名称，比如：modelarts.vm.gpu.t4u8。 count Integer 规格保障使用量。 maxCount Integer 资源规格的弹性使用量，物理池该值和count相同。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
