检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
# 推理工具 代码上传至SFS Turbo 将AscendSpeed代码包AscendCloud-LLM-xxx.zip直接上传至ECS服务器中的SFS Turbo中，例如存放在/mnt/sfs_turbo/AscendCloud-LLM-xxx.zip目录下并解压缩。 unzip
1 nvidia-smi 执行gpustat命令。 pip install gpustat gpustat -cp -i 使用Ctrl+C可以退出。 使用python命令 执行nvidia-ml-py3命令（常用）。 !pip install nvidia-ml-py3 import
users遵循了Huggingface的“single-file policy”的设计原则，它的三个主要模块Pipeline、Schedulers和预训练模型中，Pipeline和Schedulers都完全遵循了“single-file policy”原则。该设计原则更推荐直接复
0105 问题现象 在线服务预测报错DL.0105，报错日志：“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错日志分析，是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码中的x[0][i]修改为x[i]，重新部署服务进行预测。
出现该问题的可能原因如下： conda和pip包混装，有一些包卸载不掉。 处理方法 参考如下代码，三步走。 先卸载numpy中可以卸载的组件。 删除你环境中site-packages路径下的numpy文件夹。 重新进行安装需要的版本。 import os os.system("pip uninstall
Content-Type →application/json 请求Body： { "name": "new_name", "description": "update description", "auth_type":"INTERNAL", "grants": [ {"user_id":
# 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后，将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码
5系列、GLM4-9B模型执行lora微调策略任务时产生mc2融合算子错误。 图1 mc2融合算子错误 解决方法 修改代码文件：AscendFactory/scripts_modellink/{model_name}/3_training.sh文件，去除以下mc2融合算子--mc2 父主题： 常见错误原因和解决方法
5系列、GLM4-9B模型执行lora微调策略任务时产生mc2融合算子错误。 图1 mc2融合算子错误 解决方法 修改代码文件：AscendFactory/scripts_modellink/{model_name}/3_training.sh文件，去除以下mc2融合算子--mc2 父主题： 常见错误原因和解决方法
/usr/bin/pip3 /usr/bin/pip 配置pip源。 mkdir -p ~/.pip vim ~/.pip/pip.conf 在“~/.pip/pip.conf”中写入如下内容。 [global] index-url = http://mirrors.myhuaweicloud
5系列、GLM4-9B模型执行lora微调策略任务时产生mc2融合算子错误。 图1 mc2融合算子错误 解决方法 修改代码文件：AscendFactory/scripts_modellink/{model_name}/3_training.sh文件，去除以下mc2融合算子--mc2 父主题： 常见错误原因和解决方法
5系列、GLM4-9B模型执行lora微调策略任务时产生mc2融合算子错误。 图1 mc2融合算子错误 解决方法 修改代码文件：AscendFactory/scripts_modellink/{model_name}/3_training.sh文件，去除以下mc2融合算子--mc2 父主题： 常见错误原因和解决方法
Lab的使用具体参见JupyterLab常用功能介绍。 如果您的代码文件是.py格式，请新打开一个.ipynb文件，执行%load main.py命令将.py文件内容加载至.ipynb文件后进行编码、调试等。 图5 打开代码文件 在JupyterLab中直接调用ModelArts提供的SDK，创建训练作业，上云训练。
in "MindSpore" conda env by using pip. RUN source /home/ma-user/anaconda3/bin/activate MindSpore && \ pip install https://ms-release.obs.cn-north-4
将AscendCloud代码包AscendCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩，如：/home/ma-user/ws目录下，以下都以/home/ma-user/ws为例，请根据实际修改。 unzip AscendCloud-*.zip 上传tokenizers文件到工作目
ud-xxx-xxx.zip上传到${workdir}目录下并解压缩，如SFS Turbo的路径：/mnt/sfs_turbo目录下，以下都以/mnt/sfs_turbo为例，请根据实际修改。 unzip AscendCloud-*.zip unzip AscendCloud-LLM-*
安装和配置OBS命令行工具 （可选）工作空间配置 模型训练： 线下容器镜像构建及调试 上传镜像 上传数据至OBS（首次使用时需要） 上传算法至SFS 使用Notebook进行代码调试 创建多机多卡训练作业 本地构建镜像及调试 本节通过打包conda env来构建环境，也可以通过pip install、conda
调试、训练推理框架。 AI平台层提供端到端的AI开发工具链，支持开发者一站式完成模型开发和上线，并提供高效的资源管理能力，支持自动化故障恢复，提升AI模型开发、训练、上线全流程效率。 AI开发工具链层提供端到端的大模型开发工具链，支持主流优质开源大模型“开箱即用”，提供大模型开发
上传OBS文件到Notebook的代码示例 构建推理代码。 解压AscendCloud-3rdLLM-6.3.905-xxx.zip代码包。 unzip AscendCloud-3rdLLM-6.3.905-*.zip 运行推理构建脚本build.sh文件，自动获取ascend_vllm_adapter文件夹中提供的vLLM相关算子代码。
dCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩，如SFS Turbo的路径：/mnt/sfs_turbo目录下，以下都以/mnt/sfs_turbo为例，请根据实际修改。 unzip AscendCloud-*.zip 上传tokenizers文件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
