检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.912） 场景介绍 准备工作 训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，以基于DeepSpeed的Qwen-VL模型为例，为用户提供了多模态理解模型在ModelArts Standard上的全量微调和LoRA微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署
Wav2Lip推理基于Lite Server适配PyTorch NPU推理指导（6.3.907） Wav2Lip是一种基于对抗生成网络的由语音驱动的人脸说话视频生成模型。主要应用于数字人场景。不仅可以基于静态图像来输出与目标语音匹配的唇形同步视频，还可以直接将动态的视频进行唇形转换
根据泳道组ID修改泳道组 功能介绍 此API用于根据泳道组ID修改泳道组。 URI PUT /v3/{project_id}/cas/swimlane-group/{lane_group_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
容器部署组件绑定分布式缓存 传统单实例应用使用本地会话管理，用户请求产生的会话上下文都被存于进程内存中。在加入负载均衡模块后，多实例的会话需要使用分布式存储进行共享。 ServiceStage提供开箱即用的分布式会话功能，使用分布式缓存服务作为会话持久化层，无需代码更改，即可赋予Tomcat
安装Sermant Injector 容器部署的Spring Cloud应用可通过Sermant Injector插件自动挂载Sermant Agent，通过Sermant Agent接入未开启安全认证的ServiceComb引擎或者注册配置中心。关于Sermant Agent，请参考
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的 llm_train/AscendSpeed
GPU A系列裸金属服务器使用CUDA cudaGetDeviceCount()提示CUDA initializat失败 问题现象 在A系列GPU裸金属服务器上，系统环境是ubuntu20.04+nvidia515+cuda11.7，使用Pytorch2.0时出现如下错误： CUDA
使用python3.6-torch1.4版本镜像环境安装MMCV报错 问题现象 日志报错中存在AssertionError: MMCV==1.2.5 is used but incompatible. Please install mmcv>=1.3.1, <=1.5.0。 原因分析
Qwen-VL基于Lite Server适配PyTorch NPU的Finetune训练指导(6.3.912) Qwen-VL是规模视觉语言模型，可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）
remote_ip_prefix String 功能说明：远端IP地址，当direction是egress时为虚拟机访问端的地址，当direction是ingress时为访问虚拟机的地址。
查询VPC列表 功能介绍 查询VPC列表。 接口约束 查询提交请求的租户有权限查看的所有vpc信息，单次查询最多返回2000条数据，超过2000后会返回分页标记。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI GET /v3/{project_id
查询子网资源标签 功能介绍 查询指定子网实例的标签信息。 调试 您可以在API Explorer中调试该接口。 URI GET /v2.0/{project_id}/subnets/{subnet_id}/tags 参数说明请参见表1。 表1 参数说明 名称 是否必选 说明 project_id
删除子网资源标签 功能介绍 删除指定子网资源实例的标签信息。 调试 您可以在API Explorer中调试该接口。 URI DELETE /v2.0/{project_id}/subnets/{subnet_id}/tags/{key} 参数说明请参见表1。 表1 参数说明 名称
取值范围： ecs：弹性云服务器 eni：网卡 vip：虚拟IP nat：NAT网关 peering：对等连接 vpn：虚拟专用网络 dc：云专线 cc：云连接 egw：VPC终端节点 er：企业路由器 subeni：辅助弹性网卡 local：保留网段，用户下发路由的目的网段不能和
取值范围： ecs：弹性云服务器 eni：网卡 vip：虚拟IP nat：NAT网关 peering：对等连接 vpn：虚拟专用网络 dc：云专线 cc：云连接 egw：VPC终端节点 er：企业路由器 subeni：辅助弹性网卡 local：保留网段，用户下发路由的目的网段不能和
vpc_id 是 虚拟私有云唯一标识。
查询资源标签 功能介绍 查询指定实例的标签信息。 调用方法 请参见如何调用API。 URI GET /v5/{project_id}/{resource_type}/{resource_id}/tags 表1 参数说明 名称 类型 是否必选 描述 project_id String
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
