检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
流畅及控制成本至关重要。 ModelArts Studio大模型即服务平台支持手动修改模型服务的实例流量限制QPS，该操作不会影响部署服务的正常运行。 约束限制 仅当模型服务处于这几个状态下才能修改QPS：运行中、异常。 修改QPS 登录ModelArts Studio控制台，在顶部导航栏选择目标区域。
启训练作业，提高训练成功率和提升作业的稳定性。详细可了解：无条件自动重启。 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考不同模型推荐参数、NPU卡数进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS
保存与加载checkpoint。 在保存Checkpoint的时候，利用两阶段写、内存副本、异步持久化等技术保证Checkpoint的快速、高可靠存储。 在加载Checkpoint的时候，利用内存快恢、Checkpoint广播等技术，大大减少后端存储的带宽压力，提升加载效率。 设置训练存储加速
d为受限购买，需要提前联系ModelArts运营或提工单申请开通资源规格。 图2 报错信息 ECS、EVS配额不足，导致创建失败？ 集群所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小资源会超出华为云默认提供的资源配额，因此需要申请扩大配额。解决方法请参见申请扩大资源配额。 图3 报错信息（1）
CPU软锁 在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限制 根据规格情况合理使用数据盘，数据盘大小请参考训练环境中不同规格资源大小。 CPU过载 减少线程数。 排查办法 根据错误信息判断，报错原因来源于用户代码。
一般下载包失败时，可能有如下几个原因： pip源中不存在该包，当前默认pip源为pypi.org中的包，请在pypi.org中查看是否有对应版本的包并查看包安装限制。 下载的包与对应基础镜像架构不匹配，如arm系统下载了x86的包，python2版本的pip下载了python3的包。具体基础镜像运行环境请参见推理基础镜像列表。
rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 从SWR拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.909版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。
该指标用于统计ModelArts用户服务的CPU使用率。 单位：百分比。 ≥ 0% ModelArts模型负载 1分钟 mem_usage 内存使用率 该指标用于统计ModelArts用户服务的内存使用率。 单位：百分比。 ≥ 0% ModelArts模型负载 1分钟 gpu_util GPU使用率 该指标用
定义运行参数，丰富版本分流策略或同一版本内的不同运行配置。您可以打开个性化配置按钮，单击“查看配置”修改服务个性化配置。 服务流量限制 服务流量限制是指每秒内一个服务能够被访问的次数上限。 运行日志输出 默认关闭，在线服务的运行日志仅存放在ModelArts日志系统。 启用运行日
训练作业的运行时间，单位为毫秒。 spec_id Long 训练作业资源规格ID。 core String 资源规格的核数。 cpu String 资源规格CPU内存。 gpu_num Integer 资源规格gpu的个数。 gpu_type String 资源规格gpu的类型。 worker_server_num
rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 从SWR拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.912版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
训练作业的运行时间，单位为毫秒。 spec_id Long 训练作业资源规格ID。 core String 资源规格的核数。 cpu String 资源规格CPU内存。 gpu Boolean 是否使用gpu。 gpu_num Integer 资源规格gpu的个数。 gpu_type String 资源规格gpu的类型。
PYTORCH_NPU_ALLOC_CONF=expandable_segments:False；llava多卡启动时需要关闭虚拟内存扩展；开启时可能提升模型性能。允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。 --image-input-type：图像输入模式，pixel_values and
rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b 从SWR拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.910版本，请参考表2的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。
计算机架构。可选值如下： x86：x86架构 arm64：ARM架构 cpu String CPU核心数量。 memory String 内存大小，单位为Gi。 gpu gpu object GPU信息。 npu npu object NPU信息。 dataVolume Array
er文件，具体请参见训练tokenizer文件说明。 Step4 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图2 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后，提交训练
er文件，具体请参见训练tokenizer文件说明。 Step4 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图2 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后，提交训练
PYTORCH_NPU_ALLOC_CONF=expandable_segments:False；llava多卡启动时需要关闭虚拟内存扩展；开启时可能提升模型性能。允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。 --image-input-type：图像输入模式，pixel_values and
er文件，具体请参见训练tokenizer文件说明。 Step4 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图3 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后，提交训练
作业所使用的节点资源信息 表5 resourceRequirement 参数 参数类型 描述 cpu String CPU使用量。 memory String 内存使用量。 nvidia.com/gpu String GPU资源使用量。 huawei.com/ascend-snt3 String 昇腾资源使用量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
