检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NPU Snt9裸金属服务器支持的镜像详情 镜像名称：ModelArts-Euler2.8_Aarch64_Snt9_C78 表1 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.0 (SP8) 内核版本 4.19.36-vhulk1907.1.0.h619.eulerosv2r8
的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.905版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8
l_limit的值一致。 plot_loss true 用于指定是否绘制损失曲线。如果设置为"true"，则在训练结束后，将损失曲线保存为图片 overwrite_output_dir true 是否覆盖输出目录。如果设置为"true"，则在每次训练开始时清空输出目录。“fals
构建ModelArts Standard推理镜像 获取模型软件包和依赖包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 在ModelArts官方提供的基础镜像上，构建一个用于ModelArts Standard推理部署的镜像。 在模型软件包和依赖包的同层目录下，创建并编辑Dockerfile。
9 \ --trust-remote-code 多模态推理服务启动模板参数说明如下： VLLM_IMAGE_FETCH_TIMEOUT：图片下载时间环境变量。 VLLM_ENGINE_ITERATION_TIMEOUT_S：服务间隔最大时长，超过会报timeout错误。 PYT
9 \ --trust-remote-code 多模态推理服务启动模板参数说明如下： VLLM_IMAGE_FETCH_TIMEOUT：图片下载时间环境变量。 VLLM_ENGINE_ITERATION_TIMEOUT_S：服务间隔最大时长，超过会报timeout错误。 PYT
SDK简介 ModelArts服务软件开发工具包（ModelArts SDK）是对ModelArts服务提供的REST API进行的Python封装，以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts
获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.906-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
“nvidia-smi”是一个NVIDIA GPU监视器命令行工具，用于查看GPU的使用情况和性能指标，可以帮助用户进行GPU优化和故障排除。 但是建议在业务软件或训练算法中，避免频繁使用“nvidia-smi”命令功能获取相关信息，存在锁死的风险。出现D+进程后可以尝试如下方法： 方法1： 可以根据ps
在导入模型时，提示模型或镜像大小超过限制。 原因分析 如果使用的是OBS导入或者训练导入，则是基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和超过了限制。 如果使用的是自定义镜像导入，则是解压后镜像和镜像下载文件的大小总和超过了限制。 处理方法 精简模型或镜像后，重新导入。
pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6.3.905-xxx.zip 文件名中的xxx表示具体的时间戳，以包名的实际时间为准。 获取路径：Support-E 如果没有软件下载权限，请联系您所在企业的华为方技术支持下载获取。
使用Ascend Snt9B单机单卡规格。 推荐使用“西南-贵阳一”Region上的昇腾资源。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 插件代码包 AscendCloud-3rdAIGC-6.3.908-xxx
-c45ac6b cann_8.0.rc3 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表2所示。 表2 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.912-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中
0”更换为“NVIDIA 515+CUDA 11.7”。 操作步骤 卸载原有版本的NVIDIA和CUDA。 查看使用apt包管理方式安装的nvidia软件包， 执行如下命令实现查看和卸载。 dpkg -l | grep nvidia dpkg -l | grep cuda sudo apt-get
可以直接使用安装，Conda源需要多一步配置。 本章节介绍如何在Notebook开发环境中配置Conda源。 配置Conda源 Conda软件已经预置在镜像中，具体操作可以参见https://mirror.tuna.tsinghua.edu.cn/help/anaconda/。 常用Conda命令
应为“obs://xxx-project/data”，（此路径后面标记为输入路径）。 安装VS Code插件并登录 本地打开VS Code软件，单击左侧导航栏的图标，将插件包拖入到扩展区空白处，即可自动安装。 待左侧导航出现图标，表示插件安装完成。 图1 安装VS Code插件 创建训练作业
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6
华为方技术支持。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.906版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 推理部署使用的服务框架是vLLM。vLLM支持v0.4.2版本。 仅支持FP16和BF16数据类型推理。
作请参见禁止容器获取宿主机元数据。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-3rdLLM-6.3.905-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的vLLM
获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.911-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
