检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 勾选“SSH keepalive” 如果使用的是专业版的MobaXterm工具，请执行步骤3。 如果使用的是专业版的MobaXterm工具，请参考图3 设置“Stop server after”，此参数默认值为360s，将其设置为3600s或更大值。
前提条件 本地已安装2019.2及以上版本的PyCharm专业版。SSH远程调试功能只限PyCharm专业版。 创建一个Notebook实例，并开启远程SSH开发。该实例状态必须处于“运行中”，具体参见创建Notebook实例章节。
Notebook中使用Conda安装Keras 2.3.1报错 问题现象 使用Conda安装Keras 2.3.1版本报错。 原因分析 可能是Conda网络不通，请使用pip install命令安装。 解决方法 执行 !
安装VS Code软件 VS Code下载方式： 下载地址: https://code.visualstudio.com/updates/v1_85 图1 VS Code的下载位置 VS Code版本要求： 建议用户使用VS Code 1.85.2版本进行远程连接。
约束限制 本文档适配昇腾云ModelArts 6.3.909版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。
精度测试代码存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目录中。代码目录结构如下。精度测试使用到的mmlu和ceval数据集已经提前打包在代码中。
npu-smi info -t board -i 1 | egrep -i "software|firmware" #查看驱动和固件版本 24.1.0版本驱动文件为Ascend-hdk-910b-npu-driver_24.1.0_linux-aarch64.run，对应固件文件为
增加AppCode 功能介绍 为指定API网关应用创建新的AppCode，只有APP的创建用户才可以创建AppCode，且只有共享/专享版APIG的APP才能创建AppCode。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。
删除AppCode 功能介绍 删除指定API网关应用的指定的AppCode，只有APP的创建用户才可以删除AppCode，且只有共享/专享版APIG的APP才支持AppCode。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。
重置AppCode 功能介绍 重置指定API网关应用的指定的AppCode，只有APP的创建用户才可以重置AppCode，且只有共享/专享版APIG的APP才支持AppCode。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。
Yi模型 在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。
Yi模型 在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。
Yi模型 在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。
Yi模型 在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。
Yi模型 在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。
图1 结果对比 在MindSpore Lite 2.0.0版本中，Stable Diffusion的五个模型的精度都能够保证一致性，但是在最新的2.1.0版本中，会出现text_encoder模型精度不一致的情况。该问题后续会发布补丁进行修复。 父主题： 模型精度调优
Step1使用tensorRT量化工具进行模型量化 使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。
本文档适配昇腾云ModelArts 6.3.912版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B。
Yi模型 在使用Yi模型的chat版本时，由于transformer 4.38版本的bug，导致在读取tokenizer文件时，加载的vocab_size出现类似如下尺寸不匹配的问题。
本文档适配昇腾云ModelArts 6.3.912版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
