检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）
SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导（6.3.908） 训练场景和方案介绍 准备镜像环境 Finetune训练 LoRA训练 Controlnet训练 父主题： AIGC模型训练推理
主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.908）
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.908）
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.908）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.909）
workspace_id String 工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 表6 Lease 参数 参数类型 描述 create_at Long 实例创建的时间，UTC毫秒。
约束限制 本文档适配昇腾云ModelArts 6.3.909版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。
SDK版本说明 表1 ModelArts SDK版本说明 发布时间 版本号 说明 2023-04 1.4.18 1.4.18版本在SDK旧版本基础上优化集成，主要新增DLI Spark任务提交能力，支持服务部署到推理新版专属资源池。
说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。
site-packages/transformers/dynamic_module_utils.py 问题4：训练过程中报"ModuleNotFoundError: No module named 'multipart'"报错： 截图如下： 解决措施：可更新python-multipart为0.0.12版本
workspace_id String 工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 表6 Lease 参数 参数类型 描述 create_at Long 实例创建的时间，UTC毫秒。
workspace_id String 工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 表7 Lease 参数 参数类型 描述 create_at Long 实例创建的时间，UTC毫秒。
获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。
表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。
workspace_id 否 String 工作空间ID，默认为“0”。 表2 get_model_list打印参数说明 参数 参数类型 描述 total_count Integer 不分页的情况下，符合查询条件的总模型数量。 count Integer 模型数量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
