检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用离线推理时，性能较差或精度异常。 解决方法：将block_size大小设置为128。
若无法连通网络，可使用离线安装的方式，具体参考离线训练安装包准备说明。 若要对ChatCLMv3、GLMv4系列模型进行训练时，需要修改 install.sh 脚本中的 transformers 的版本。
若无法连通网络，可使用离线安装的方式，具体参考离线训练安装包准备说明。 若要对ChatCLMv3、GLMv4系列模型进行训练时，需要修改 install.sh 脚本中的 transformers 的版本。
模型转换工具 离线转换模型功能的工具MSLite Convertor，支持onnx、pth、tensorflowLite多种类型的模型转换，转换后的模型可直接运行在MindSpore运行时后端，用于昇腾推理。
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。
Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。
Step2 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。
由于离线执行推理，消耗的显存相当庞大。其中以下参数需要根据实际来调整。
由于离线执行推理，消耗的显存相当庞大。其中以下参数需要根据实际来调整。
图8 安装云端Python插件 如果安装云端的Python插件不成功时，建议通过离线包的方式安装。具体操作请参见安装远端插件时不稳定，需尝试多次。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
