检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理性能测试 语言模型推理性能测试 多模态模型推理性能测试 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911）
准备环境 本文档中的模型运行环境是ModelArts Lite Server。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1 支持的模型列表所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
附录：训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表1。
准备环境 本文档中的模型运行环境是ModelArts Lite的Server。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
切换offering，服务名和微服务名没有发生变化，是否需要重新注册？ STS是按照 （服务+微服务）的粒度注册微服务的，不会保存offering信息，因此如果只是切换offering，服务名和微服务名保持不变，那么在STS上不用做任何操作，可以直接使用之前注册的微服务。 父主题：
VSCode远程连接时卡顿，或Python调试插件无法使用如何处理？ 问题现象 VSCode远程连接Notebook时，单击“VS Code接入”跳转至连接界面时一直卡顿，或Python调试插件无法使用。 图1 Python调试插件错误 原因分析 该问题通常由VS Code安装了第三方中文插件引起。
调整灰度泳道流量 根据实际业务需要修改路由配置，调整流量至灰度泳道。 操作步骤 登录ServiceStage控制台。 单击“全链路流量控制”。 单击待操作灰度泳道所在泳道组名称（例如：lane-test），进入“全链路流量控制”页面。 单击泳道组当前关联的流量入口网关卡片上的“网关路由配置”。
使用源码部署天气预报微服务 源码部署前准备 源码部署微服务 父主题： 使用ServiceStage托管和治理天气预报微服务应用
在WiseDBA中查看数据库WDR报表 GaussDB数据库支持生成WDR报表，WDR报表是长期性能问题最主要的诊断手段。基于快照的性能基线，从多维度做性能分析，用于诊断数据库内核的性能故障。能帮助DBA掌握系统负载繁忙程度、各个组件的性能表现及性能瓶颈。 查看WDR报表 进入AppStage运维中心。
在WiseDBA中查看数据库异常诊断记录 异常诊断任务可以帮助我们发现和解决数据库性能和健康方面的问题。以下是一些常见的异常诊断任务： 查询性能分析：通过分析慢查询日志或使用性能分析工具，可以识别哪些查询语句执行缓慢，从而进行优化。 索引分析：检查表的索引使用情况，确定是否存在缺
在SLB中创建Action任务 在SLB管理台创建action任务，在部署服务的变更管理中关联并执行任务。 创建节点上下线任务 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“灰度管理 > Action任务”。
error. 服务内部处理错误。 处理建议：物联网平台内部错误，请联系物联网平台维护人员处理。 500 100023 The data in dataBase is abnomal. 数据库异常。 处理建议：物联网平台内部错误，请联系物联网平台维护人员处理。 500 50252 Internal
管理工单 服务对象 客户 场景描述 客户在自建平台创建华为云工单，自建平台将请求转到华为云售后服务团队。客户提交工单的时候，需要按照模板填写，可以引导客户提交有效信息。 客户在自建平台查询其提交的华为云工单列表或者查询其提交的某个华为云工单详情。 客户可以对提交的工单做一些操作，
方案概述 应用场景 云专线（Direct Connect，DC）用于搭建线下IDC和云上虚拟私有云（Virtual Private Cloud，VPC）之间高速、低时延、稳定安全的专属连接通道，您可以通过企业路由器和云专线构建满足企业通信的大规模混合云组网。 虚拟专用网络（Virtual
方案概述 应用场景 云专线（Direct Connect，DC）用于搭建线下IDC和云上虚拟私有云（Virtual Private Cloud，VPC）之间高速、低时延、稳定安全的专属连接通道，您可以通过企业路由器和云专线构建满足企业通信的大规模混合云组网。 虚拟专用网络（Virtual
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
