检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua
准备工作 准备资源 准备权重 准备代码 准备镜像 准备Notebook 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）
Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.906) Qwen-VL是规模视觉语言模型，可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。
准备工作 准备资源 准备权重 准备代码 准备镜像 准备Notebook 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）
昇腾迁移快速入门案例 ModelArts提供了两个昇腾迁移案例，方便您快速了解并完成昇腾迁移过程。 约束限制 当前仅贵阳一区域支持选择本案例中的规格及镜像。 操作步骤 ModelArts管理控制台左侧导航栏中选择“开发环境 > Notebook”，进入“Notebook”管理页面。
Wav2Lip基于DevServer适配PyTorch NPU推理指导（6.3.906） Wav2Lip是一种基于对抗生成网络的由语音驱动的人脸说话视频生成模型。主要应用于数字人场景。不仅可以基于静态图像来输出与目标语音匹配的唇形同步视频，还可以直接将动态的视频进行唇形转换，输出
主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906） 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 父主题： LLM大语言模型训练推理
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 获取配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-3rdLLM-6.3.905-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu
准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.906-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.909） 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.909） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
按分组绑定监控模板 用户可以按分组绑定监控模板，绑定后监控服务会自动为分组下配置的主机重启/重装agent，通过监控模板中的监控插件和agent采集主机监控数据。 前提条件 已创建监控模板。 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 使用限制 绑定监控
规划隔离域为业务网络进行安全分组 在ENS中创建隔离域 为隔离域关联子网 为隔离域关联安全组 为隔离域关联ACL 查看隔离域关联的IP信息 在ENS中创建隔离域规划 父主题： 使用弹性网络服务打通并规划网络
账号管理 您可以使用微服务引擎下关联了admin角色权限的账号登录该微服务引擎控制台，根据实际业务需求创建新账号或对该引擎下已创建的指定账号进行管理操作。 表1 账号管理操作说明 操作 说明 新增账号 根据实际业务需求创建新账号，把合适的角色同账号关联，使用该账号的用户则具有对该微服务引擎的相应的访问和操作权限。
LTS日志概述 云日志服务（Log Tank Service，简称LTS），用于收集来自主机和云服务的日志数据，通过海量日志数据的分析与处理，可以将云服务和应用程序的可用性和性能最大化，为您提供实时、高效、安全的日志处理能力，帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
