检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
runtime is found分析，是cuda runtime没有找到。 处理方法 建议您按以下步骤排查处理： 确认部署在线服务时是否选择了GPU规格。 在customize_service.py中添加一行代码os.system('nvcc -V)查看该镜像的cuda版本（customize_service
资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 公共资源池 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。 xxx 流量限制（QPS） 设置待部署模型的流量限制QPS。 3 实例数 设置服务器个数。 1
PRE_PAID：包周期 cloud_server CloudServer object 云服务信息。 endpoints_response Array of Endpoints objects 实例私有IP信息。 flavor String 实例规格名称。 id String 实例ID。
indices_out_cuda_frame failed with error code 0” 问题现象 pytroch1.3镜像中，去升级了pytroch1.4的版本，导致之前在pytroch1.3跑通的代码报错如下： “RuntimeError:max_pool2d_wit
api_id 是 String API编号。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 String 分页展示时，一页展示多少项。默认为1000。 offset 否 String 分页展示时，从第几页开始。默认为0。 app_name 否 String APP名称，支持模糊查找。
不同的学习率调度器（决定什么阶段用多大的学习率）有不同的学习率调度相关超参，例如线性调度可以选择从一个初始学习率lr-warmup-init开始预热。您可以选择多少比例的训练迭代步使用预热阶段的学习率。不同的训练框架有不同的参数命名，需要结合代码实现设置对应的参数。 模型结构 配置模型结构的超参主要有
STOPPING，停止中 STOPPED，停止 UNAVAILABLE，故障 DELETED，已删除 RESIZING，规格变更中 RESIZE_FAILED，规格变更失败 sortby 否 String 分类标准，支持“name”、“creation_timestamp”。默认为“name”。
启训练作业，提高训练成功率和提升作业的稳定性。详细可了解：无条件自动重启。 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
启训练作业，提高训练成功率和提升作业的稳定性。详细可了解：无条件自动重启。 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
Query参数 参数 是否必选 参数类型 描述 app_name 否 String APP名称。 limit 否 String 分页展示时，一页展示多少项。默认为1000。 offset 否 String 分页展示时，从第几页开始。默认为0。 order 否 String 返回的APP列表
${image_name} 代表 ${image_name}。 -p 8443:8443：容器内映射到宿主机的端口号，如果已被占用可以使用其他未占用的端口号 进入容器。需要将${container_name}替换为实际的容器名称。 docker exec -it ${container_name}
A模式下，会根据服务启动时的max_num_seqs参数对档位进行调整，使得最终的最大档位为max_num_seqs，因此，请根据使用场景合理设置动态分档以及max_num_seqs参数，避免档位过大导致图编译错误。 MoE模型依赖MindSpeed，当使用MoE模型推理时，需提前安装：
本文档主要介绍如何利用ModelArts Lite Server，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成LLaVA模型训练。 资源规格要求 推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B。训练至少需要单机8卡，推理需要单机单卡。 表1 环境要求
件服务SFS Turbo。用于存储模型训练的代码及输入输出数据。 具体费用可参见弹性文件服务价格详情。 按需计费 包年/包月 按文件系统所占用的存储空间容量和使用时长收费 存储空间费用=每GB费率*存储容量*使用时长 事件通知（不开启则不计费） 订阅消息使用消息通知服务，在事件列
影响ModelArts侧基本功能，包括但不限于节点管理、扩缩容、驱动升级等。 高 不可恢复。 插件 升级、卸载gpu-beta插件。 可能导致GPU驱动使用异常。 中 回退版本、重装插件。 升级、卸载huawei-npu插件。 可能导致NPU驱动使用异常。 中 回退版本、重装插件。 升级、卸载volcano插件。 可能导致作业调度异常。
训练的详细过程。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买Lite Server资源。 本方案目前仅适用于企业客户。 资源规格要求 推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B单机单卡。 表1 环境要求 模型 版本 CANN
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True；允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。开启时可能提升模型性能。报错则关闭。 --chat-template：对话构建模板，可选参数。如： （1）llava ch
PRE_PAID：包周期 cloud_server CloudServer object 云服务信息。 endpoints_response Array of Endpoints objects 实例私有IP信息。 flavor String 实例规格名称。 id String 实例ID。
/home/ma-user/modelarts/user-job-dir/data/cn-news-128-1f-mind/ 图14 训练进程 查看卡占用情况，如图所示，此时0号卡被占用，说明进程正常启动。 npu-smi info //查看卡信息 图15 查看卡信息 训练任务大概会运行两小时左右，训
模型配置文件config.json里面定义的“max_position_embeddings”和“seq_length”；如果设置过大，会占用过多显存，影响kvcache的空间。不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM（v0.3.2）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
