检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用模板构建方式新建卡片 用户根据需求选择卡片模板或我的卡片快速创建所需卡片。 这里可以使用的卡片模板，包含系统预置的卡片模板和用户自定义创建的卡片模板。 前提条件 需要具备AppStage指标开发者或运营管理员权限，权限申请的操作请参见权限管理。 使用模板构建方式新建卡片 登录AppStage业务控制台。
新建卡片分类为卡片分组 为了更好地管理卡片，在新建卡片时选择相应的卡片分类，需要您使用该功能新建相应的卡片分类。 前提条件 需要具备AppStage指标开发者或运营管理员权限，权限申请的操作请参见权限管理。 新建卡片分类 在AppStage首页右上区域单击“运营中心”快捷入口，进入运营中心。
报错“The VS Code Server failed to start”如何解决？ 问题现象 解决方法 检查VS Code版本是否为1.78.2或更高版本，如果是，请查看Remote-SSH版本，若低于v0.76.1，请升级Remote-SSH。 打开命令面板（Windows：
终端设备绑定到边缘节点 一个边缘节点可以绑定多个终端设备，但一个终端设备只可以被绑定于一个边缘节点。通过绑定终端设备到固定的边缘节点，您可以在边缘节点部署相应的应用，实现管理终端设备和监控终端设备状态等功能。 绑定边缘节点 登录IEF管理控制台。 选择左侧导航栏的“边缘资源 > 终端设备”。
在SLB中创建和管理资源 在SLB中创建资源 在SLB中创建资源组 父主题： 配置运行时引擎负载均衡
ACMS敏感配置管理使用流程 由于业务的敏感配置不能明文地存放在版本包、配置中心、IaC代码中，因此业务可以借助STS敏感配置项的功能，存放业务的敏感配置。 敏感配置管理使用流程 在ACMS中录入敏感配置：业务研发人员登录ACMS管理台录入敏感配置。 通过IaC分发敏感配置：业务
创建泳道组 泳道组是一组泳道的集合，用于区分不同的组织或场景。 操作步骤 登录ServiceStage控制台。 选择“全链路流量控制 > 创建泳道组”，参考下表填写泳道组必填信息，其余参数保持默认。 参数名称 参数说明 泳道组名称 输入泳道组的名称，例如：lane-test。 流量入口网关
调整灰度泳道流量 根据实际业务需要修改路由配置，调整流量至灰度泳道。 操作步骤 登录ServiceStage控制台。 单击“全链路流量控制”。 单击待操作灰度泳道所在泳道组名称（例如：lane-test），进入“全链路流量控制”页面。 单击泳道组当前关联的流量入口网关卡片上的“网关路由配置”。
使用前准备 资源准备 创建一个虚拟私有云VPC，请参考创建虚拟私有云和子网。 创建两个处于不同可用区（例如：az1、az2）的CCE集群（例如：cce-az1、cce-az2）。如果只是试用场景，“集群规模”选择“50节点”，“集群master实例数”选择“单实例”即可。 请参考购买集群。
ServiceComb引擎仪表盘中的数据通过ServiceStage对接到AOM 背景信息 接入ServiceComb引擎的Java Chassis应用，在ServiceComb引擎仪表盘上的实时监控数据默认保留5分钟。如果需要持久化存储历史监控数据用于后续查询分析，可以使用Se
查看微服务引擎实例数配额 本章节指导您查看微服务引擎的实例数配额及配额使用情况。 查看微服务引擎实例数配额 登录ServiceStage控制台，选择“微服务引擎 > 引擎实例”。 在页面上方“微服务引擎”下拉列表，选择待查看的微服务引擎。 在“服务发现 & 配置”区域，查看引擎的实例数配额及配额使用情况。
GPT-2基于Server适配PyTorch GPU的训练推理指导 场景描述 本文将介绍在GP Ant8裸金属服务器中，使用DeepSpeed框架训练GPT-2（分别进行单机单卡和单机多卡训练）。 训练完成后给出自动式生成内容，和交互式对话框模式。 背景信息 Megatron-DeepSpeed
上传数据至OBS（首次使用时需要） 前提条件 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节，构建容器镜像并调试，镜像构建及调试与单机单卡相同。 上传镜像，参考单机单卡训练的上传镜像章节操作。
如何保证训练和调试时文件路径保持一致 云上挂载路径 Notebook中挂载SFS后，SFS默认在“/home/ma-user/work”路径下。在创建训练作业时，设置SFS Turbo的“云上挂载路径”为“/home/ma-user/work”，使得训练环境下SFS也在“/home/ma-user/work”路径下。
创建Notebook并执行性能诊断任务 本文介绍如何创建Notebook并执行性能诊断任务。 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例，选择要使用的AI框架，创建Notebook时可以选择任意镜像。具体参见创建Notebook实例。
推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendC
准备Notebook ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。
准备工作 准备环境 准备代码 准备镜像 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
