检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.910版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。
$PYTHON_SCRIPT \ $PYTHON_ARGS " echo $CMD $CMD torchrun.sh内容如下： PyTorch 2.1版本需要将“rdzv_backend”参数设置为“static：--rdzv_backend=static”。 #!/bin/bash # 系统默认环境变量，不建议修改
性能benchmark验证使用到的脚本存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目录中。 代码目录如下: benchmark_tools ├── benchmark_parallel.py # 评测静态性能脚本 ├──
String 训练作业的日志OBS输出路径URL，默认为空。如：“/usr/train/”。 pre_version_id 是 Long 训练作业前一版本的ID。 可通过查询训练作业版本列表 中查找“version_id”。 user_image_url 否 String 自定义镜像训练作业
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。
${container_draft_model_path}同时使用。 --use-v2-block-manager：vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引，如果不使用该功能，则无需配置。注意：如果使用投机推理功能，必须开启此参数。 -
2312-aarch64-snt9b-20240727152329-0f2c29a 从SWR拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.907版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 Step1 准备环境 请参考DevSe
plugins: configmap1980: - --rank-table-version=v2 # 保持不动，生成v2版本ranktablefile env: [] svc: - --publish-not-ready-addresses=true
支持昇腾的后端，仅直接支持CUDA和AMD ROCm，因此PyTorch在GPU上的训练代码无法直接在昇腾设备运行。PyTorch 2.1版本提供了新硬件适配的插件机制，通过昇腾提供的Ascend Extension for PyTorch插件，NPU可以成为PyTorch支持的硬件直接使用。
ndError: No module named 'multipart'"关键字异常，可更新python-multipart为0.0.12版本，具体请参考问题4："No module named 'multipart'"报错： 父主题： 主流开源大模型基于DevServer适配LlamaFactory
${container_draft_model_path}同时使用。 --use-v2-block-manager：vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引，如果不使用该功能，则无需配置。注意：如果使用投机推理功能，必须开启此参数。 -
可选参数，此处以订阅算法举例 item_version_id="1.0.1", # 订阅算法的版本号，该示例为1.0.1版本，可选参数，此处以订阅算法举例 parameters=[ wf.AlgorithmParameters(name="task_type"
图12 aarch64 torch+NPU 图13 aarch64 torch+CPU 而inv_freq恰好都是在CPU上初始化。修改NPU版代码，强制使用torch+NPU进行初始化后，可以消除einsum算子输入偏差的问题。修改如下： inv_freq = 1. / (base
2312-aarch64-snt9b-20240528150158-b521cc0 SWR上拉取 约束限制 本文档适配昇腾云ModelArts 6.3.905版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 Lora训练使用单机单卡资源。 确保容器可以访问公网。 Step1
zip cd llm_inference/ascend_vllm bash build.sh 运行完后，会安装适配昇腾的vllm-0.4.2版本。 Step6 启动推理服务 配置需要使用的NPU卡编号。例如：实际使用的是第1张卡，此处填写“0”。 export ASCEND_RT_VISIBLE_DEVICES=0
适配的Cann版本是cann_8.0.rc3。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.910版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”
业务场景 依赖的服务 依赖策略项 支持的功能 管理模型 SWR SWR Admin 从自定义镜像导入、从OBS导入时使用自定义引擎。 SWR共享版不支持细粒度权限项，因此需要配置Admin权限。 OBS obs:bucket:ListAllMybuckets（获取桶列表） obs:bu
2312-aarch64-snt9b-20240606190017-b881580 从SWR拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.906版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 训练至少需要单机8卡。 确保容器可以访问公网。 Step1
2312-aarch64-snt9b-20240528150158-b521cc0 SWR上拉取 约束限制 本文档适配昇腾云ModelArts 6.3.905版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 训练资源需要使用单机8卡。 确保容器可以访问公网。 Step1
2312-aarch64-snt9b-20240606190017-b881580 从SWR拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.906版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 推理需要单机单卡。 确保容器可以访问公网。 Step1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
