检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。
说分段对比GPU的运行性能会有比较好的参考。算子级的调优某些情况下如果是明显的瓶颈或者性能攻坚阶段，考虑到门槛较高，可以联系华为工程师获得帮助。 精度问题根因和表现种类很多，会导致问题定位较为复杂，一般还是需要GPU上充分稳定的网络（包含混合精度）再到NPU上排查精度问题。常见的
推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。
精度函数 HLL（HyperLogLog）主要存在三种模式Explicit，Sparse，Full。当数据规模比较小的时候会使用Explicit模式和Sparse模式， 这两种模式在计算结果上基本上没有误差。 随着distinct值越来越多，就会转换成Full模式，但结果也会存在
精度函数 HLL（HyperLogLog）主要存在三种模式Explicit，Sparse，Full。当数据规模比较小的时候会使用Explicit模式和Sparse模式， 这两种模式在计算结果上基本上没有误差。 随着distinct值越来越多，就会转换成Full模式，但结果也会存在
（推荐）自动安装GPU加速型ECS的GPU驱动（Windows） 操作场景 在使用GPU加速型实例时，需确保实例已安装GPU驱动，否则无法获得相应的GPU加速能力。 本节内容介绍如何在GPU加速型Windows实例上通过脚本自动安装GPU驱动。 使用须知 如果GPU加速型实例已安装
/nvidia-smi 若能正常返回GPU信息，说明设备可用，插件安装成功。 GPU驱动支持列表 当前GPU驱动支持列表仅针对1.2.28及以上版本的GPU插件。 如果您需要安装最新版本的GPU驱动，请将您的GPU插件升级到最新版本。 表2 GPU驱动支持列表 GPU型号 支持集群类型 机型规格
（推荐）自动安装GPU加速型ECS的GPU驱动（Linux） 操作场景 在使用GPU加速型实例时，需确保实例已安装GPU驱动，否则无法获得相应的GPU加速能力。 本节内容介绍如何在GPU加速型Linux实例上通过脚本自动安装GPU驱动。 使用须知 本操作仅支持Linux操作系统。
ter1/保持一致。 使用MME精度测评工具进行精度评测 MME数据集获取。 请用户自行获取MME评估集，将MME评估集上传至llm_tools/llm_evaluation/mme_eval/data/eval/目录中。 获取精度测试代码。精度测试代码存放在代码包AscendC
r1/保持一致。 使用MME精度测评工具进行多模态模型精度评测 MME数据集获取。 请用户自行获取MME评估集，将MME评估集上传至llm_tools/llm_evaluation/mme_eval/data/eval/目录中。 获取精度测试代码。精度测试代码存放在代码包Asce
推理精度测试 本章节介绍如何进行推理精度测试。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目
推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu
执行精度比较脚本 进入精度训练benchmark目录目录执行命令。 ascendfactory-cli accuracy <cfgs_yaml_file> --o <output_dir> --baseline <baseline> <cfgs_yaml_file>：精度测试配
训练精度测试 约束限制 目前仅支持以下模型： qwen2.5-7b qwen2-7b qwen1.5-7b llama3.2-3b llama3.1-8b llama3-8b llama2-7b yi-6b 流程图 训练精度测试流程图如下图所示。 图1 训练精度测试流程图 执行训练任务
训练精度测试 约束限制 目前仅支持以下模型： qwen2.5-7b qwen2-7b qwen1.5-7b llama3.2-3b llama3.1-8b llama3-8b llama2-7b yi-6b 流程图 训练精度测试流程图如下图所示。 图1 训练精度测试流程图 执行训练任务
Gauge Byte GPU卡 GPU bar1 内存使用量 cce_gpu_bar1_memory_total Gauge Byte GPU卡 GPU bar1 内存总量 频率 cce_gpu_clock Gauge MHz GPU卡 GPU时钟频率 cce_gpu_memory_clock
固定精度型 名称 描述 存储空间 取值范围 字面量 DECIMAL 固定精度的十进制数。精度最高支持到38位，但精度小于18位能保障性能最好。 Decimal有两个输入参数： precision：总位数，默认38 scale：小数部分的位数，默认0 说明： 如果小数位为零，即十进制（38
位置精度（position_confidence） 数值 含义 0 不具备或不可用 1 500米 2 200米 3 100米 4 50米 5 20米 6 10米 7 5米 8 2米 9 1米 10 0.5米 11 0.2米 12 0.1米 13 0.05米 14 0.02米 15
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
