检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
非分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是非分离部署 全量推理和增量推理在同一节点上进行。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
开启AstroZero根证书认证对方服务端身份 当AstroZero调用其他服务（包括原生服务）的HTTPS请求时，可以通过开启根证书校验来认证对方服务端的身份（公钥持有者的身份）是否安全。 前提条件 已获取对方服务的根证书。若对方服务没有提供根证书且其根证书为标准证书，可通过以下方式获取：
管理组件 什么是组件 组件（即Widget）是可复用的页面组成元素，一个页面由一个或多个Widget拼装而成。如果将一个页面看成拼图游戏的完整图案，那么Widget相当于拼图的每一小块。 在AstroZero环境配置中，可以管理当前环境中该账号下的组件资源。AstroZero组件分为如下两种：
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.910）
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
在DevServer上部署SD WebUI推理服务 本章节主要介绍如何在ModelArts的DevServer环境上部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 Step1 准备环境 请参考DevServer资源开通，购买DevServer资源，并
在DevServer上部署SD WebUI推理服务 本章节主要介绍如何在ModelArts的DevServer环境上部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 步骤一 准备环境 请参考DevServer资源开通，购买DevServer资源，并确保
将华为云CCE容器集群纳管至运维中心ERS 在华为云购买的CCE容器集群，需要先进行纳管，才能在应用平台AppStage统一管理操作。 前提条件 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 已完成服务环境配置。 约束限制 当前仅部分区域的CCE容器集群支
在监控服务开发业务报表 监控服务支持对业务数据进行报表开发，为报表添加表格、折线图、柱状图等类型图表来体现业务数据的动态变化，如图1所示。 图1 报表示例 当前支持折线图、柱状图、饼状图、比例进度条、表格、地图、飞行图、CityBar、仪表盘、热力图、信号图、Block、漏斗图、
CES告警接入监控服务 云监控服务CES提供对监控指标的告警功能，用户可以对云服务的核心监控指标设置告警规则，当监控指标触发用户设置的告警条件时通知用户，让用户在第一时间得知云服务发生异常，迅速处理故障，避免因资源问题造成业务损失。 AppStage运维中心支持将CES产生的告警
绑定公网IP 未绑定公网IP的微服务引擎专享版，绑定公网IP后可提供公网访问引擎的能力。 未开启安全认证的微服务引擎无认证鉴权能力，开放到公网面临安全风险，增加系统的脆弱性。如：配置、服务信息等数据资产可能会被窃取。 请不要在生产环境和安全要求较高的网络环境中使用该功能。 前提条件
相关负责人请求参与项目成员； 成立团队 通知所有项目成员，成立项目组。 内部启动会 项目组内部启动，全员了解项目情况，对项目实施相关规范与协同机制达成共识。 会前准备 提前准备项目相关内容，项目整体介绍、重点难点、风险项等； 提前安排日程（时间、地点），通知相关人员； 提前约好会议室，发出钉钉日程。协调资源。
平台IP：BindConfig.BIND_CONFIG_ADDR。 平台端口：BindConfig.BIND_CONFIG_PORT。 value 必选 String 设置的值。 平台IP：Agent Lite对接平台地址。 平台端口：8943。 接口返回值 返回值 描述 true 成功。
终端每次重启后投屏类型和扫码方式会自动复原为初始类型 当前云端的默认配置会自动下发，可在WeLink管理平台上修改。 父主题： WeLink云服务
下行数据的消息编码，将对象数据转换为TCP原始码流。 UpLinkHandler 设备上行数据处理类。把TCP协议数据转成平台格式数据，并调用SDK接口进行上报 DownLinkHandler IoT平台下发数据处理类。将平台下发数据转换为TCP协议数据，并下发给设备。 DeviceSessionManger 设备会话管理。管理设备同服务端的连接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
