检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Notebook ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 图1 创建训练作业 训练作业启动命令中输入： cd /h
主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.3.912） Ascend-vLLM介绍 支持的模型列表 版本说明和要求 推理服务部署 推理关键特性使用 推理服务精度评测 推理服务性能评测 附录 父主题： LLM大语言模型训练推理
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户，完成本方案
准备Notebook ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。
准备工作 准备环境 准备代码 准备镜像 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910）
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
准备Notebook ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。
WiseDBA展示的Schema与数据库实例Schema不一致 问题描述 WiseDBA展示的Schema与数据库实例Schema不一致。 解决方法 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 数据库治理”。 选择左侧导航栏的“实例管理 >
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户，完成本方案
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的不同训练阶段方案，包括指令监督微调、DPO偏好训练、RM奖励模型训练、PPO强化训练方案。 DPO(Direct
升级Metrics Server 已安装的Metrics Server插件版本低于当前最新版本时，您可以升级插件到当前最新版本。 使用限制 升级Metrics Server插件版本过程中由于无法正常进行弹性伸缩，如果操作过程中流量异常可能会导致组件服务异常。 前提条件 待操作Metrics
微服务引擎转包周期 计费模式为按需计费的用户，可以选择“转包周期”，变更实例计费模式为包年/包月。 约束与限制 实例从按需变为包周期计费，只是改变计费方式，不会影响应用。 状态为“已冻结”、“删除中”的实例，不支持转包周期。 微服务引擎转包周期 登录ServiceStage控制台，选择“微服务引擎
关闭弹性伸缩-HPA策略 您可以根据实际业务需要，关闭不再使用的弹性伸缩-HPA策略。 关闭弹性伸缩-HPA策略后，所有数据将清空，请谨慎操作。 前提条件 已创建组件弹性伸缩-HPA策略，请参考创建弹性伸缩-HPA策略。 删除弹性伸缩-HPA策略 登录ServiceStage控制台。
重启Metrics Server 您可以根据实际业务需要，重新启动Metrics Server负载进程。 使用限制 启动Metrics Server负载过程中由于无法正常进行弹性伸缩，如果操作过程中流量异常可能会导致组件服务异常。 前提条件 待操作Metrics Server插件已经安装，请参考安装Metrics
查看微服务引擎实例数配额 本章节指导您查看微服务引擎的实例数配额及配额使用情况。 查看微服务引擎实例数配额 登录ServiceStage控制台，选择“微服务引擎 > 引擎实例”。 在页面上方“微服务引擎”下拉列表，选择待查看的微服务引擎。 在“服务发现 & 配置”区域，查看引擎的实例数配额及配额使用情况。
查看微服务引擎配置条目配额 本章节指导您查看微服务引擎的配置条目配额及配额使用情况。 该章节内容只适用于微服务引擎版本为2.x。 查看微服务引擎配置条目配额 登录ServiceStage控制台，选择“微服务引擎 > 引擎实例”。 在页面上方“微服务引擎”下拉列表，选择待查看的微服务引擎。
ServiceComb引擎仪表盘中的数据通过ServiceStage对接到AOM 背景信息 接入ServiceComb引擎的Java Chassis应用，在ServiceComb引擎仪表盘上的实时监控数据默认保留5分钟。如果需要持久化存储历史监控数据用于后续查询分析，可以使用Se
微服务日常运维 业务场景 ServiceStage支持应用监控、事件、告警、日志和调用链诊断，内置AI能力，可以实现轻松运维。 用户故事 在实际的使用场景中，用户可以通过图形化指标数据和阈值告警等能力，实时监控应用运行情况，同时结合性能管理与日志策略，快速定位应用的运行问题，分析性能瓶颈等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
