检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“编辑”，查看高级配置的“plugins”参数下是否有“{"name":"cabinet"}”，如图2所示。 图2 Volcano调度器的高级配置 是，则执行2。 否，则在高级配置的“plugins”参数下添加“{"name":"cabinet"}”，单击下方的“安装”使Volcano调度器更新配置，完成滚动重启。
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
件，修改git命令，填写自己的git账户信息。 git config --global user.email "you@example.com" && \ git config --global user.name "Your Name" && \ 执行以下命令制作训练镜像。安装过程需要连接互联网git
在docker机器中并执行如下命令，即可完成环境配置。 bash install_on_ubuntu1804.sh 图3 配置成功 source /etc/profile 安装脚本依次执行了如下任务： 安装docker。 如果挂载了GPU，则会安装nvidia-docker2，用以将GPU挂载到docker容器中。
1 0; # 单机训练执行命令 步骤四 根据config.yaml启动作业 启动作业命令如下。首先会根据config.yaml创建pod，继而在pod容器内自动启动训练作业。 kubectl apply -f config.yaml 启动后，可通过以下命令获取所有已创建的pod信息
方式二：使用AutoAWQ量化工具进行量化。 1、在容器中使用ma-user用户， vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。 conda create --name awq --clone PyTorch-2.1.0 conda activate
附录：微调训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF
1 0; # 单机训练执行命令 步骤四 根据config.yaml启动作业 启动作业命令如下。首先会根据config.yaml创建pod，继而在pod容器内自动启动训练作业。 kubectl apply -f config.yaml 启动后，可通过以下命令获取所有已创建的pod信息
导入AI应用后部署服务，提示磁盘不足 问题现象 用户在导入AI应用后，部署服务时，提示磁盘空间不足：“No space left on device”。 原因分析 ModelArts部署使用的是容器化部署，容器运行时有空间大小限制，当用户的模型文件或者其他自定义文件，系统文件超过Docker
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine
请根据步骤二 修改训练超参配置修改超参值后，修改config.yaml中的${command}，替换为容器中执行训练的命令。Llama2-70B建议为4机32卡训练。 多机启动 以 Llama2-70B 为例，修改多机config.yaml模板中的${command}命令如下。多机启动需要
在导入AI应用时，提示模型或镜像大小超过限制。 原因分析 如果使用的是OBS导入或者训练导入，则是基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和超过了限制。 如果使用的是自定义镜像导入，则是解压后镜像和镜像下载文件的大小总和超过了限制。 处理方法 精简模型或镜像后，重新导入。
endCloud-LLM-x.x.x.zip的llm_tools/AutoAWQ目录下。 1、在容器中使用ma-user用户运行以下命令下载并安装AutoAWQ源码。 cd llm_tools/AutoAWQ bash build.sh 2、运行“examples/quantize
录下。 1、在容器中使用ma-user用户， vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。 conda create --name awq --clone PyTorch-2.1.0 conda activate
件，修改git命令，填写自己的git账户信息。 git config --global user.email "you@example.com" && \ git config --global user.name "Your Name" && \ 执行以下命令制作训练镜像。安装过程需要连接互联网git
件，修改git命令，填写自己的git账户信息。 git config --global user.email "you@example.com" && \ git config --global user.name "Your Name" && \ 执行以下命令制作训练镜像。安装过程需要连接互联网git
检查依赖包是否存在 如果依赖包不存在，您可以使用以下两种方式完成依赖包的安装。 方式一（推荐使用）：在创建我的算法时，需要在“代码目录”下放置相应的文件或安装包。 请根据依赖包的类型，在代码目录下放置对应文件： 依赖包为开源安装包时 在“代码目录”中创建一个命名为“pip-requirements
预处理说明。 Step2 修改训练超参配置 以 llama2-70b 和 llama2-13b 预训练 为例，执行脚本为 0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均
原因分析 根据报错提示，需要排查是否将大量数据被保存在“/tmp”中。 处理方法 进入到“Terminal”界面。在“/tmp”目录下，执行命令du -sh *，查看该目录下的空间占用情况。 sh-4.3$cd /tmp sh-4.3$du -sh * 4.0K core-js-banners
ModelArts会帮用户生成RANK_TABLE_FILE文件，可通过环境变量查看文件位置。 在Notebook中打开terminal，可以运行如下命令查看RANK_TABLE_FILE： 1 env | grep RANK 在训练作业中，您可以在训练启动脚本的首行加入如下代码，把RA
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
