检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）
推理精度测试 本章节介绍如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard。资源规格需要使用专属资源池中的昇腾Snt9B资源，请参考创建资源池购买资源。 推荐使用“西南-贵阳一”Region上的昇腾资源。 专属资源池驱动检查 登录ModelArts控制台，单击“专属资源池
推理精度测试 本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含
准备权重 获取对应模型的权重文件，获取链接参考支持的模型列表和权重文件。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/
准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
推理精度测试 本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含
示例：创建DDP分布式训练（PyTorch+NPU） 本文介绍了使用训练作业的自定义镜像+自定义启动命令来启动PyTorch DDP on Ascend加速卡训练。 前提条件 需要有Ascend加速卡资源池。 创建训练作业 本案例创建训练作业时，需要配置如下参数。 表1 创建训练作业的配置说明
在Workflow中更新已部署的服务 场景介绍 大部分场景下的工作流都是第一次运行部署新服务，后续进行模型迭代时，需要对已部署的服务进行更新。因此需要在同一条工作流中，同时支持服务的部署及更新能力。 编写工作流 基于编写工作流代码示例的场景案例进行改造，代码编写示例如下： from
修复Standard专属资源池故障节点 Standard专属资源池支持对故障节点进行修复操作，目前提供了替换节点、高可用冗余节点、重置节点和重启节点等方式。华为云技术支持在故障定位和性能诊断时，部分运维操作需要用户授权才可进行，本章节同时也介绍了如何进行授权操作。 故障节点处理方式
根据表或任务类型查看数据血缘 监控服务支持查看运维数据的数据血缘、关系及数量等信息。 前提条件 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 查看数据血缘 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“运维 > 监控服务（ServiceInsight）”。
按主机绑定监控模板 用户可以为主机绑定在模板管理定义的监控模板，绑定后监控服务会自动为该主机重启/重装agent，通过监控模板中的监控插件和agent采集主机监控数据。 前提条件 已创建监控模板。 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 使用限制 绑
容器日志接入监控服务 本章节介绍如何接入容器日志。 前提条件 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 步骤一：创建日志项目 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“运维 > 监控服务（ServiceInsight）”。 选择左侧导航栏的“日志
为指标创建不同类型的视图 创建数据视图，后续可以使用视图进行数据业务报表开发、告警配置等运维监控。 如果需要在大盘监控单个指标的报表（如折线型报表），可以创建单指标查询视图。 如果需要在大盘同时监控多个指标（如表格型报表），可以创建多指标组合查询视图。 持久化视图（自定义汇聚粒度
管理微服务引擎公网访问 绑定公网IP 解绑公网IP 父主题： 管理微服务引擎
查看微服务引擎操作日志 在“操作日志”区域，可以查看微服务引擎的操作日志信息。 查看微服务引擎操作日志 登录ServiceStage控制台，选择“微服务引擎 > 引擎实例”。 在页面上方“微服务引擎”下拉列表，选择待查看的微服务引擎。 在“操作日志”区域，查看微服务引擎的操作日志信息。
使用微服务仪表盘 您可以通过仪表盘实时查看微服务运行相关的指标，根据丰富实时的仪表盘数据，对微服务做相应的治理动作。 当使用Spring Cloud Huawei框架接入时，仪表盘上暂不支持查看中位数时延、90th时延、99th时延。 背景说明 如果微服务应用部署在Service
搜索运行日志 为组件关联LTS日志组后，您可以设置关键字和时间范围进行日志搜索。 前提条件 组件已关联LTS日志组，请参考关联LTS日志组。 搜索运行日志 登录ServiceStage控制台。 选择以下任意方式进入组件“日志”页面： 在“应用管理”页面，单击组件所属应用名称，在“
将华为云CCE容器集群纳管至运维中心ERS 在华为云购买的CCE容器集群，需要先进行纳管，才能在应用平台AppStage统一管理操作。 前提条件 已购买CCE容器集群，具体操作请参见购买集群。 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 已完成服务环境配置。
的展示，通过分析与洞察，更好地了解业务现存的问题与机遇。 业务报表是基于业务上报的日志或采集的指标数据，根据业务场景，定义出监控指标，使用平台的报表组件，用图表的形式展示监控指标。 监控服务当前提供了ELB和EIP的报表模板，可以直接使用模板一键创建报表，如图1所示，同时会自动添加warehouse类型数据源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
