GP Vnt1裸金属服务器支持的镜像详情 Vnt1规格在北京四、北京一和上海一虽然规格相同，但是产品的配置、发布时间都存在很大差异，因此镜像不能共用。 镜像名称：Ubuntu-18.04-server-64bit-for-V100-BareMetal（仅限于北京四） 表7 镜像详情 软件类型 版本详情 操作系统 Ubuntu 18.04 server 64bit 内核版本 4.15.0-45-generic 架构类型 x86 mlnx-ofed-linux 5.7-1.0.2.0 镜像名称：ModelArts-Euler2.3_X86_GPU-ROCE-BMS-202211301010（仅限于上海一） 表8 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.0(SP3) 内核版本 3.10.0-514.44.5.10.h254 架构类型 x86 mlnx-ofed-linux 4.3-1.0.1.0 镜像名称：Euler2.9-X86-for-V100-BareMetal（仅限于北京四和上海一） 表9 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.9 64bit 架构类型 x86 镜像名称：CentOS 7.3 64bit for BareMetal WithIBDriver（仅限于北京一） 表10 镜像详情 软件类型 版本详情 操作系统 CentOS 7.3 64bit 架构类型 x86 镜像名称：Ubuntu 16.04 server 64bit for BareMetal（仅限于北京一） 表11 镜像详情 软件类型 版本详情 操作系统 Ubuntu 16.04 64bit 架构类型 x86 镜像名称：CentOS 7.4 64bit for BareMetal（仅限于华南广州） 表12 镜像详情 软件类型 版本详情 操作系统 CentOS 7.4 64bit 架构类型 x86

GP Ant8裸金属服务器支持的镜像详情 镜像名称：Ubuntu 20.04 x86 64bit SDI3 for Ant8 BareMetal with RoCE and NVIDIA-525 CUDA-12.0 表4 镜像详情 软件类型 版本详情 操作系统 Ubuntu 20.04 server 64bit 内核版本 5.4.0-144-generic 架构类型 x86 驱动版本 525.105.17 cuda 12.0 container-toolkit 1.13.3-1 fabricmanager 525.105.17 mlnx-ofed-linux 5.8-2.0.3.0-ubuntu20.04-x86_64 peer-memory-dkms 1.2-0 libnccl2 2.18.1 nccl-test v.2.13.6 docker 20.10.23 RoCE路由配置 支持 镜像名称：Ubuntu 20.04 x86 64bit SDI3 for Ant8 BareMetal with RoCE and NVIDIA-515 CUDA-11.7 表5 镜像详情 软件类型 版本详情 操作系统 Ubuntu 20.04 server 64bit 内核版本 5.4.0-144-generic 架构类型 x86 驱动版本 515.105.01 cuda 11.7 container-toolkit 1.13.3-1 fabricmanager 525.105.17 mlnx-ofed-linux 5.8-2.0.3.0-ubuntu20.04-x86_64 peer-memory-dkms 1.2-0 libnccl2 2.14.3 nccl-test v.2.13.6 docker 20.10.23 RoCE路由配置 支持 镜像名称：EulerOS2.10 x86 64bit sdi3 for Ant1 BareMetal 表6 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.10 64bit 架构类型 x86 RoCE路由配置 不支持自动配置，需创建后手动配置。

NPU Snt9B裸金属服务器支持的镜像详情 镜像名称：EulerOS2.10-Arm-64bit-for-Snt9B-BareMetal-with-23.0.6-7.1.0.9.220-CANN7.0.1.5 表2 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.10 内核版本 Linux 4.19.90-vhulk2211.3.0.h1543.eulerosv2r10.aarch64 架构类型 aarch64 固件版本 7.1.0.9.220 npu-driver 23.0.6 Ascend-cann-toolkit 7.0.1.5 cann-kernels 7.0.1.5 Ascend-mindx-toolbox 5.0.1.1 Docker 24.0.7 Ascend-docker-runtime 5.0.1.1 MindSpore Lite 2.1.0-cp37-cp37m Mpich 3.2.1 镜像名称：HCE2.0-Arm-64bit-for-Snt9B-BareMetal-with-23.0.6-7.1.0.9.220-CANN7.1.0.5 表3 镜像详情 软件类型 版本详情 操作系统 HCE2.0 内核版本 Linux 5.10.0-60.18.0.50.r865_35.hce2.aarch64 架构类型 aarch64 固件版本 7.1.0.9.220 npu-driver 23.0.6 Ascend-cann-toolkit 7.0.1.5 cann-kernels 7.0.1.5 Ascend-mindx-toolbox 5.0.1.1 Docker 18.09 Ascend-docker-runtime 5.0.1.1 MindSpore Lite 2.1.0-cp37-cp37m Mpich 4.1.3

场景描述 本文旨在指导如何在Snt9b裸金属服务器上，进行磁盘合并挂载、安装docker等环境配置。在配置前请注意如下事项： 首次装机时需要配置存储、固件、驱动、网络访问等基础内容，这部分配置尽量稳定减少变化。 裸机上的开发形式建议开发者启动独立的Docker容器作为个人开发环境。Snt9b的裸机包含8卡算力资源，一般来说多人可以共用这个裸机完成开发与调测工作。多人使用为了避免冲突，建议各自在自己的docker容器中进行独立开发，并提前规划好每个人使用的具体卡号，避免相互影响。 ModelArts提供了标准化基础容器镜像，在容器镜像中已经预置了基础MindSpore或PyTorch框架和开发调测工具链，推荐用户直接使用该镜像，用户也可以使用自己的业务镜像或昇腾AscendHub提供的镜像。如果镜像中预置的软件版本不是您期望的版本，可以自行安装替换。 开发形式推荐通过容器中暴露的SSH端口以远程开发的模式(VSCode SSH Remote、 Xshell)连接到容器中进行开发，可以在容器中挂载宿主机的个人存储目录，用于存放代码和数据。 当前指导中很多操作步骤在最新发放的Snt9b裸机环境中已经预置，无需用户再手动配置，用户在操作中如发现某个步骤已有预置配置可直接跳过该步骤。

约束与限制 部署该解决方案前，您需 注册华为账号 并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态，请根据资源和成本规划中预估价格。 该方案只支持用户上传采样率为8000的双声道中文录音音频，其中音频支持pcm16k16bit、pcm8k16bit、ulaw16k8bit、ulaw8k8bit、alaw16k8bit、alaw8k8bit、vox8k4bit、v3_8k4bit、WAV（支持pcm/ulaw/alaw/adpcm编码格式）、MP3、M4A、ogg-speex、ogg-opus、AMR。 因 函数工作流 超时时间限制，上传的录音时长不应超过20min。 本解决方案提供的测试样例由华为云 语音交互 服务 语音合成 服务生成，仅用于demo演示。 卸载解决方案前，请先确保OBS桶中无数据，否则解决方案将卸载失败。

快速部署 本章节主要帮助用户快速部署该解决方案。 表1 参数填写说明 参数名称 类型 是否必填 参数解释 默认值 function_name String 必填 函数名称，用于定义创建函数及其他资源前缀，不支持重名。取值范围：2-60个字符，可包含字母、数字、下划线和中划线，以大/小写字母开头，以字母或数字结尾。 call-center-speech-analytics-demo speech_bucket_name String 必填 OBS桶名称，全局唯一，用于上传wav语音文件。取值范围：3~63个字符，支持小写字母、数字、中划线（-）、英文句号（.） 空 channel_id String 必填 事件网格 EG中云服务事件通道ID，默认default通道ID，用于接收云服务事件源产生的事件。获取请参考获取事件网格 EG云服务事件通道ID。 空 result_bucket_name String 必填 OBS桶名称，全局唯一，用于存放隐私通话质检识别结果。取值范围：3~63个字符，支持小写字母、数字、中划线（-）、英文句号（.） 空 channel String 必填 语音文件声道信息，可设置为MONO，LEFT_AGENT, RIGHT_AGENT。如果channel 为MONO，那么原始文件需要为单声道文件。LEFT_AGENT 指定左声道语音为agent（坐席）。RIGHT_AGENT 指定右声道为agent（坐席）。如果 channel 为 LEFT_AGENT或RIGHT_AGENT,则原始文件需要为双声道文件，如果为单声道文件，系统会将其转换成双声道文件，识别结果会出现两条内容完全一致的文本。 LEFT_AGENT 登录华为云解决方案实践，选择“ 语音识别 -客服中心语音质检”模板，单击“一键部署”，跳转至解决方案创建堆栈界面。 图1 解决方案实施库 在选择模板界面中，单击“下一步”。 图2 选择模板 在配置参数界面中，参考表1完成自定义参数填写，单击“下一步”。 图3 配置参数 在资源设置界面中，在权限委托下拉框中选择“rf_admin_trust”委托，单击“下一步”。 图4 资源栈设置 在配置确认界面中，单击“创建执行计划”。 图5 配置确认 在弹出的创建执行计划框中，自定义填写执行计划名称，单击“确定”。 图6 创建执行计划 单击“部署”，并且在弹出的执行计划确认框中单击“执行”。 图7 执行计划 图8 执行计划确认 待“事件”中出现“Apply required resource success”，表示该解决方案已经部署完成。 图9 部署完成 父主题： 实施步骤

给rf_admin_trust委托添加 IAM Agency Management FullAcces策略 打开“ 统一身份认证 ”菜单。 图13 统一身份认证菜单 进入“委托”菜单，选择rf_admin_trust委托。 图14 委托列表 进入“授权记录”菜单，单击“授权”按钮。 图15 授权记录 在搜索框输入IAM Agency Management FullAcces，勾选过滤出来的记录，单击下一步，并确认完成权限的配置。 图16 配置IAM Agency Management FullAcces策略 配置好后的情况：rf_admin_trust委托拥有Tenant Administrator和IAM Agency Management FullAccess权限。 图17 授权记录列表

资源和成本规划 该解决方案主要部署如下资源，不同产品的花费仅供参考，具体请参考华为云官网价格，实际以收费账单为准： 表1 资源和成本规划（按需计费） 华云服务 配置示例 每月预估花费 语音交互服务 区域：华北-北京四 计费模式：按需计费 涉及服务：录音文件识别 录音文件识别：2.5元/小时 2.5 * 10 = 25 元 对象存储服务 区域：华北-北京四 计费模式：按需计费 存储策略：多AZ存储 桶策略：私有 存储类别：标准存储 数据存储（多AZ存储）：0.1390元/GB/月 请求费用：0.0100元/万次 以未压缩的10小时8kHz 16bit采样位数采样率双声道WAV录音为例，预计每月新增1GB数据量，花费0.1390元。 该方案存储费用消耗较低，详细参考每月账号。 函数工作流服务 区域：华北-北京四 计费模式：按需计费 函数内存：128MB 执行超时时间：900秒 请求次数0-100万次/月：免费 计量时间：0-400,000GB/秒：免费 节点执行次数：0-5000次：免费 0.00元 事件网格 EG 区域：华北-北京四 华为云服务事件源自身产生发布的事件（任意事件状态变化 ）免费，事件消费免费。 免费 合计 - 约25.14元

结果示例 客服中心语音质检结果如下所示，支持语音识别结果、原始录音文件地址、录音时长、规则命中结果、命中位置等多个字段。 { 'asr_result': { 'status': 'FINISHED', 'create_time': '2022-11-26T11: 56: 16.152Z', 'start_time': '2022-11-26T11: 56: 16.307Z', 'finish_time': '2022-11-26T11: 56: 22.408Z', 'audio_duration': 34000, 'segments': [{ 'start_time': 4570, 'end_time': 8000, 'result': { 'text': '你好，客服中心总部客服一号，请问有什么可以帮您？', 'analysis_info': { 'role': 'AGENT', 'emotion': 'NORMAL', 'speed': 8.309038 } } }, { 'start_time': 9010, 'end_time': 10870, 'result': { 'text': '我在这里买的东西坏掉了。', 'analysis_info': { 'role': 'USER', 'emotion': 'NORMAL', 'speed': 10.483871 } } }, { 'start_time': 10990, 'end_time': 12980, 'result': { 'text': '上一个客服没有给我解决。', 'analysis_info': { 'role': 'USER', 'emotion': 'NORMAL', 'speed': 9.798995 } } }, { 'start_time': 13060, 'end_time': 14730, 'result': { 'text': '我就问你能不能给我解决吧。', 'analysis_info': { 'role': 'USER', 'emotion': 'NORMAL', 'speed': 12.27545 } } }, { 'start_time': 15560, 'end_time': 19440, 'result': { 'text': '非常抱歉，给您带来不便了。你是什么时候下单的呢？', 'analysis_info': { 'role': 'AGENT', 'emotion': 'NORMAL', 'speed': 8.762886 } } }, { 'start_time': 19790, 'end_time': 22610, 'result': { 'text': '客服这边给您看下能不能退款。', 'analysis_info': { 'role': 'AGENT', 'emotion': 'NORMAL', 'speed': 7.446809 } } }, { 'start_time': 23250, 'end_time': 28000, 'result': { 'text': '来人好几次都没有给我解决，我不要道歉，我也不要退款，我**要投诉。', 'analysis_info': { 'role': 'USER', 'emotion': 'NORMAL', 'speed': 10.421053 } } }, { 'start_time': 28830, 'end_time': 29260, 'result': { 'text': '再见。', 'analysis_info': { 'role': 'USER', 'emotion': 'NORMAL', 'speed': 6.976744 } } }, { 'start_time': 30090, 'end_time': 34260, 'result': { 'text': '非常抱歉，客服没能帮您解决问题祝您生活愉快，再见。', 'analysis_info': { 'role': 'AGENT', 'emotion': 'NORMAL', 'speed': 8.513189 } } }] }, 'audio_url': 'https: //call-center-speech-analytics-demo-input.obs.cn-north-4.myhuaweicloud.com/call-center-speech-analytics-demo.wav', 'audio_duration': 34000, 'rules_hit_results': [{ 'hit_rule_name': '客户投诉举报/坐席引导投诉', 'hit_rule_items': [{ 'hit_text': '来人好几次都没有给我解决，我不要道歉，我也不要退款，我**要投诉。', 'role': 'USER', 'start_time': 23250, 'end_time': 28000 }] }] }

名词解释 基本概念、云服务简介、专有名词解释 语音交互服务SIS：以API的形式，对外提供语音转文本以及文本转语音的服务。 函数工作流 FunctionGraph：FunctionGraph是一项基于事件驱动的函数托管计算服务。使用FunctionGraph函数，只需编写业务函数代码并设置运行的条件，无需配置和管理服务器等基础设施，函数以弹性、免运维、高可靠的方式运行。此外，按函数实际执行资源计费，不执行不产生费用。 对象存储服务 OBS：对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。

资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts： AI开发平台 ，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。 说明： 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 成本规划 OBS费用：详见OBS计费说明。 SFS Turbo费用：详见SFS计费说明。 ModelArts费用：详见ModelArts计费说明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction": "bbb", "input": "bbb", "output": "bbb"}] 父主题： AI原生应用引擎

配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2312-aarch64-snt9b-20240824153350-cebb080 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_2_ascend:pytorch_2.2.0-cann_8.0.rc3-py_3.10-hce_2.0.2312-aarch64-snt9b-20240829092203-4ccf328 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch_2.2.0 MindSpore：MindSpore 2.3.0 FrameworkPTAdapter：6.0.RC3 如果用到CCE，版本要求是 CCE Turbo v1.28及以上

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.908-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包：AscendCloud-OPP 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b mixtral-8x7b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-0.5b qwen1.5-1.8b qwen1.5-4b qwen1.5-7b qwen1.5-14b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b falcon-11B glm4-9b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导（6.3.908） LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导（6.3.908） LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.908） LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.908） 支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 LLM开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908） LLM开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908） AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理： Stable-diffusion-webui Wav2Lip OpenSora1.2 OpenSoraPlan1.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练： Diffusers Koyha_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 SD WEBUI套件适配PyTorch NPU的推理指导（6.3.908） SDXL基于Standard适配PyTorch NPU的LoRA训练指导（6.3.908） SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导（6.3.908） SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导（6.3.908） InternVL2基于DevServer适配PyTorch NPU训练指导（6.3.908） 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 无