检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"、"<sfs_path>"、"<sfs_option>"，需要根据您的业务需求替换为实际的参数，各参数含义如下。 表1 参数解释 参数 参数解释 Action 表示在何种场景下授予SFS Turbo文件夹访问权限。 创建开发环境实例：modelarts:notebook:create
0” 原因分析 出现该问题的可能原因如下： pytorch1.4引擎与之前pytorch1.3版本兼容性问题。 处理方法 在images之后添加contigous。 images = images.cuda() pred = model(images.permute(0, 3,
本文档适配昇腾云ModelArts 6.3.907版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称 获取路径
准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
该样例已将安装包上传至“obs://cnnorth4-test/codes/mox_benchmarks/apex-master/”中，将在启动文件中添加以下代码进行安装。 try: import apex except Exception: import os import
型中的tokenizer文件，需要修改代码。修改文件chatglm3-6b/tokenization_chatglm.py 。 271行要添加注释，修改后如图1所示。 图1 修改ChatGLMv3-6B tokenizer文件（1） 291至300行要修改，修改后如图2所示。 图2
型中的tokenizer文件，需要修改代码。修改文件chatglm3-6b/tokenization_chatglm.py 。 271行要添加注释，修改后如图1所示。 图1 修改ChatGLMv3-6B tokenizer文件（1） 291至300行要修改，修改后如图2所示。 图2
推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B单机。 表1 环境要求 名称 版本 driver 23.0.6 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3
数据管理权限 表1 数据集管理的细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 查询数据集列表 GET /v2/{project_id}/datasets modelarts:dataset:list - √ √ 创建数据集 POST /v2/{project_id}/datasets
准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912） Ascend-vLLM介绍 支持的模型列表 版本说明和要求 推理服务部署 推理关键特性使用 推理服务精度评测 推理服务性能评测 附录 父主题： LLM大语言模型训练推理
${output_path} output_path 指定保存结果的路径。 参考模型llama3系列模型，数据集mmlu为例，配置如下： 表1 参数配置 模型 max_seq_len batch_size shot数 llama3_8b 3200 8 采用默认值 llama3_70b
${output_path} output_path 指定保存结果的路径。 参考模型llama3系列模型，数据集mmlu为例，配置如下： 表1 参数配置 模型 max_seq_len batch_size shot数 llama3_8b 3200 8 采用默认值 llama3_70b
${output_path} output_path 指定保存结果的路径。 参考模型llama3系列模型，数据集mmlu为例，配置如下： 表1 参数配置 模型 max_seq_len batch_size shot数 llama3_8b 3200 8 采用默认值 llama3_70b
如果没有对应权限，需要到统一身份认证服务给对应委托中加上对应权限。 图1 权限管理 图2 查看权限详情和去IAM修改委托权限 图3 给委托添加授权 将镜像设置成私有镜像 登录容器镜像服务（SWR），左侧导航栏选择“我的镜像”，查看镜像详情，单击右上角“编辑”按钮，把镜像类型修改为“私有”。
${output_path} output_path 指定保存结果的路径。 参考模型llama3系列模型，数据集mmlu为例，配置如下： 表1 参数配置 模型 max_seq_len batch_size shot数 llama3_8b 3200 8 采用默认值 llama3_70b
准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
资源规格要求 推理部署推荐使用DevServer资源和Ascend Snt9B单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc1 PyTorch pytorch_2.1.0 获取镜像 表2 获取镜像 分类 名称 获取路径 基础镜像 西南-贵阳一：swr.cn-southwest-2
置。 样例yaml文件仅展示常用实验配置，如需其他配置需根据样例自行添加，样例截图如下： 步骤二：执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，卡数及其它配置参考NPU卡数取值表按自己实际情况决定 单机<可选>： # 默认8卡 ascendfactory-cli
不填默认使用name的值。 否 str description 描述信息。 否 str create_dir 表示是否自动创建目录，默认为“False”。 否 bool with_execution_id 表示创建目录时是否拼接execution_id，默认为“False”。该字段只有在create
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
