检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本案例中，如果用户需要自定义开发，可通过Notebook环境进行数据预处理、权重转换等操作。并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。
本案例中，若用户需要自定义开发，可通过Notebook环境进行数据预处理、权重转换等操作。并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。
本案例中，如果用户需要自定义开发，可通过Notebook环境进行数据预处理、权重转换等操作。并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。
本案例中，如果用户需要自定义开发，可通过Notebook环境进行数据预处理、权重转换等操作。并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。
1、使用该量化工具，需要切换conda环境，运行以下命令。
本案例中，如果用户需要自定义开发，可通过Notebook环境进行数据预处理、权重转换等操作。并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。
本案例中，如果用户有自定义开发的需要，比如查看和编辑代码、数据预处理、权重转换等操作，可通过Notebook环境进行，。并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。
在该场景中，AOE对text_encoder等模型提升效果不大，性能主要瓶颈点在unet模型中，主要对unet模型做调优，整体的操作步骤如下： 转换前先清理缓存，避免转换时的影响。 # shell # 删除已有的aoe知识库，或者备份一份。
模型转换工具 离线转换模型功能的工具MSLite Convertor，支持onnx、pth、tensorflowLite多种类型的模型转换，转换后的模型可直接运行在MindSpore运行时后端，用于昇腾推理。
昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。
1、在容器中使用ma-user用户， vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。
1、在容器中使用ma-user用户, vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。
1、使用该量化工具，需要切换conda环境，运行以下命令。
变更计费模式 变更规格 不涉及 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于计算资源需求波动的场景，可以随时开通，随时删除。 父主题： 计费模式
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）
路径不存在，请在更换为一个可用的OBS路径。 检查使用的资源是否为CPU，CPU的“/cache”与代码目录共用10G，可能是空间不足导致，可在代码中使用如下命令查看磁盘大小。 os.system('df -hT') 磁盘空间满足，请执行5。 磁盘空间不足，请您使用GPU资源。
地址直接填写“组织名称/镜像名称:版本名称”，不需要带域名信息，系统会自动拼接域名地址。 代码目录 选择训练代码文件所在的OBS目录。如果自定义镜像中不含训练代码则需要配置该参数，如果自定义镜像中已包含训练代码则不需要配置。
当前支持“换件维修”和“重部署”两种修复方式： - 换件维修：通过更换硬件实现原地修复，修复耗时较长，对于非本地盘类故障，本地盘数据可以保留。 - 重部署：通过更换为新服务器实现修复，修复耗时较短，本地盘数据会丢失。 修复期间实例将无法工作，请确保相关实例业务已离线。
推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
