检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.911） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
Cloud Map服务资源介绍 服务发现（Cloud Map）是云服务统一的服务注册发现中心，主要是为解决业务依赖环境配置繁琐的难题。不支持替换业务自己的ZooKeeper、ETCD等配置中心。 服务资源介绍 Cloud Map根据服务注册和发现方式不同，把管理的服务资源分为三种
创建业务工具并执行脚本 监控服务支持创建业务工具用来定义相关业务脚本，例如机器的巡检、配置检查等，用户可以选择资源（虚拟机、容器或者虚拟机集群）来执行作业脚本。 目前此功能仅支持白名单用户通过提交工单申请使用。详细操作请参考提交工单。 前提条件 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。
应用迁移 模型适配 pipeline代码适配 父主题： 基于AIGC模型的GPU推理业务迁移至昇腾指导
使用Notebook进行代码调试 背景信息 Notebook使用涉及到计费，具体收费项如下： 处于“运行中”状态的Notebook，会消耗资源，产生费用。根据您选择的资源不同，收费标准不同，价格详情请参见产品价格详情。当您不需要使用Notebook时，建议停止Notebook，避免产生不必要的费用。
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法
推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua
推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题：
用户管理 认证源管理 组织信息 成员管理 父主题： 统一集成认证
日志管理 前提条件 查询操作日志，需要具有安全审计员权限。 查询日志 在角色桌面首页，选择左上角的，单击“管理中心”。 选择“系统管理 > 日志管理”，进入日志管理页面，查看操作日志。 您可以根据“账号名称”、“操作类型”或“操作时间”筛选查询。 图1 查看日志 父主题： 统一集成认证
2D&3D模型Viewer 轻量化模型卡片 父主题： IPDCenter基础服务使用指南
SDXL&SD1.5 WebUI基于Lite Cluster适配NPU推理指导（6.3.906） 本文档主要介绍如何在ModelArts Lite的Cluster环境中部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 方案概览 本方案介绍了在ModelArts的Lite
推理业务迁移评估表 通用的推理业务及LLM推理可提供下表进行业务迁移评估： 收集项 说明 实际情况（请填写） 项目名称 项目名称，例如：XXX项目。 - 使用场景 例如： 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。 使用BertBase算法对用户在app上购买商品后的评论进行理解。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件
准备工作 准备资源 准备权重 准备代码 准备镜像 准备Notebook 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）
MoXing Framework功能介绍 MoXing Framework模块为MoXing提供基础公共组件，例如访问华为云的OBS服务，和具体的AI引擎解耦，在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。目前，提供的MoXing
Notebook中快速使用MoXing 本文档介绍如何在ModelArts中调用MoXing Framework接口。 进入ModelArts，创建Notebook实例 登录ModelArts管理控制台，在左侧菜单栏中选择“开发空间>Notebook”，进入“Notebook”管理页面。
AXB模式绑定信息查询接口 接口功能 该接口用于客户向隐私保护通话平台查询已设置的AXB绑定关系的相关信息。 请求方向 客户应用（客户端） → 隐私保护通话平台（服务端） 接口类型 表1 请求说明 请求方法 GET 访问URI /rest/caas/relationnumber/partners/v1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
