检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CCl Test,测试节点GPU状态,并且测试多个节点间的通信速度。 操作步骤 单击资源池名称,进入资源池详情。 单击左侧“AI组件管理 > AI诊断”。 单击“诊断”,选择“日志上传路径”和NCCL Test节点,其余参数可保持默认值或根据实际需求修改。 测试使用的最大数据:取值范围[1
每一类数据尽量多,尽量均衡。期望获得良好效果,图像分类项目中,至少有两种以上的分类,每种分类的样本不少于20张。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 在上传数据时,请选择非加密桶进行上传,否则会由于加密桶无法解密导致后期的训练失败。
GPU A系列裸金属服务器如何进行RoCE性能带宽测试? 场景描述 本文主要指导如何在GPU A系列裸金属服务器上测试RoCE性能带宽。 前提条件 GPU A系列裸金属服务器已经安装了IB驱动。(网卡设备名称可以使用ibstatus或者ibstat获取。华为云Ant8裸金属服务器使用Ubuntu20
主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.906) 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录:大模型推理常见问题 父主题: LLM大语言模型训练推理
simlarity_threshold 否 0.9 相似度阈值。两张图片相似程度超过阈值时,判定为相似图片,反之按非相似图片处理。输入取值范围为0~1。 embedding_distance 否 0.2 样本特征间距。两张图片样本特征间距小于设定值,判定为相似图片,反之按非相似图片处理。输入取值范围为0~1。
NPU推理指导(6.3.906) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 父主题: LLM大语言模型训练推理
主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.907) 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理常见问题 父主题: LLM大语言模型训练推理
NPU推理指导(6.3.907) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理standard常见问题 父主题: LLM大语言模型训练推理
NPU推理指导(6.3.908) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:Standard大模型推理常见问题 父主题: LLM大语言模型训练推理
NPU推理指导(6.3.909) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:Standard大模型推理常见问题 父主题: LLM大语言模型训练推理
NPU推理指导(6.3.905) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 父主题: LLM大语言模型训练推理
主流开源大模型基于Server适配PyTorch NPU推理指导(6.3.909) 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理常见问题 父主题: LLM大语言模型训练推理
主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.905) 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 附录:大模型推理常见问题 父主题: LLM大语言模型训练推理
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.909) 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理常见问题 附录:工作负载Pod异常问题和解决方法
主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.908) 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理常见问题 父主题: LLM大语言模型训练推理
获取超参敏感度分析结果 功能介绍 获取超参敏感度分析结果的汇总表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/trai
WebUI推理方案概览 在DevServer上部署SD WebUI推理服务 在Standard上部署SD WebUI推理服务 SD WebUI推理性能测试 父主题: AIGC模型训练推理
性能调优 单模型性能测试工具Mindspore lite benchmark 单模型性能调优AOE 父主题: 基于AIGC模型的GPU推理业务迁移至昇腾指导
Lite Server GPU A系列裸金属服务器如何进行RoCE性能带宽测试? GPU A系列裸金属服务器节点内如何进行NVLINK带宽性能测试方法? 如何将Ubuntu20.04内核版本从低版本升级至5.4.0-144-generic? 如何禁止Ubuntu 20.04内核自动升级?
获取某个超参敏感度分析图像的路径 功能介绍 获取某个超参敏感度分析图像的保存路径。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_