检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"bcb835430eab4c72bd45e2315d98fdb9", "app_secret" : "55816679b0f8447c9d51d2c35e4f679a", "user_id" : "04f258c8fb00d42a1f65c00df88cc4dc
="facebook/opt-125m", block_size=128) 问题12：使用SmoothQuant做权重转换时，scale显示为nan或推理时精度异常 图7 权重转换scale显示为nan 涉及模型：qwen2-1.5b, qwen2-7b 解决方法：修改AscendCloud
表1 环境要求 名称 版本 driver 23.0.6 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912软件包中的AscendCloud-AIGC-6.3.912-xxx.zip
模型软件包结构说明 本教程需要使用到的AscendCloud-6.3.906中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。
/home/work/anaconda/lib/python3.6/site-packages/torch/nn/parallel/distributed.py", line 480, in _distributed broacIcast coalesced dist. broadcast
表1 环境要求 名称 版本 CANN cann_8.0.rc3 驱动 24.1.rc1 PyTorch 2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912-xxx.zip软件包中的AscendCloud-AIGC
modelarts.session import Session from modelarts.dataset import Dataset session = Session() Dataset.delete_dataset(session, dataset_id="68ZXdK6CZwgvUICOOdC
{ "spec" : { "resources" : { "nodePool" : "modelarts.vm.2u4g.dcc-Default", "flavor" : "modelarts.vm.2u4g.dcc", "count
表70 Input 参数 参数类型 描述 name String 数据输入通道名称。 description String 数据输入通道描述信息。 local_dir String 数据输入通道映射的容器本地路径。
模型软件包结构说明 本教程需要使用到的AscendCloud-6.3.907中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。
/AscendCloud/AscendCloud-LLM-*.zip -d ./AscendCloud/AscendCloud-LLM && cd .
表17 Input 参数 参数类型 描述 name String 数据输入通道名称。 description String 数据输入通道描述信息。 local_dir String 数据输入通道映射的容器本地路径。
本案例使用的是AscendCloud-3rdAIGC-6.3.905-xxx.zip文件中的ascendcloud-aigc-poc-sdxl-lora-train.tar.gz代码包。解压后上传到宿主机上。
请求示例 GET https://{endpoint}/v1/{project_id}/workspaces/ccd05d1a553b4e188ea878e7dcb85e47/quotas 响应示例 状态码： 200 查询工作空间配额成功的响应参数。
模型软件包结构说明 本教程需要使用到的AscendCloud-6.3.908中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。
cd /home/ma-user/AscendCloud/AscendCloud-LLM/llm_tools/llm_evaluation/benchmark_tools conda activate python-3.9.10 获取数据集。
其中，${root_path_of_AscendCloud-LLM}为AscendCloud-LLM包解压后的根路径。
软件配套版本 表1 获取软件 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912软件包中的AscendCloud-AIGC-6.3.912-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。
\ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local
\ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
