检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
推荐在mindspore-lite离线推理场景下使用。 包含在cann toolkit中。 AOE性能自动调优 AKG MindSpore自动调优工具，提供算子自动优化和算子自动融合的功能，推荐在mindspore-lite离线推理场景下使用。 下载工具源码使用。
接口：离线SDK、在线OpenAI Server和社区完全一致，无缝迁移。 Ascend-vLLM支持的特性介绍 表1 Ascend-vLLM支持的特性 特性名称 特性说明 调度 Page-attention 分块管理kvcache，提升吞吐。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
若无法连通网络，可使用离线安装的方式，具体参考离线训练安装包准备说明。 若要对ChatCLMv3、GLMv4系列模型进行训练时，需要修改 install.sh 脚本中的 transformers 的版本。
若无法连通网络，可使用离线安装的方式，具体参考离线训练安装包准备说明。 若要对ChatCLMv3、GLMv4系列模型进行训练时，需要修改 install.sh 脚本中的 transformers 的版本。
模型转换工具 离线转换模型功能的工具MSLite Convertor，支持onnx、pth、tensorflowLite多种类型的模型转换，转换后的模型可直接运行在MindSpore运行时后端，用于昇腾推理。
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。
Step2 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。
详细工具的使用指导请参考离线预检和在线预检介绍。 父主题： msprobe工具使用指导
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
