检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
install.sh文件，来安装依赖以及下载完整代码。 以创建llama2-13b预训练作业为例，执行脚本0_pl_pretrain_13b.sh时，命令如下： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install
endSpeed 下执行启动脚本。先修改以下命令中的参数，再复制执行 启动训练脚本可使用以下两种启动命令，二选一即可，其中区别如下： 传递参数形式：将主节点IP地址、节点个数、节点RANK的参数传递至运行的脚本中执行。 # 单机执行命令为：sh scripts/llama2/0_pl_lora_13b
上构建自定义镜像并在Notebook中使用 场景二：基于Notebook提供的预置镜像或第三方镜像，借助ModelArts命令行工具(ma-cli镜像构建命令介绍)制作和注册镜像，构建一个面向AI开发的自定义镜像。此场景Notebook作为制作镜像的平台。具体案例参考在Noteb
进入benchmark_tools目录下，执行如下命令安装性能测试的关依赖。 pip install -r requirements.txt 运行静态benchmark验证脚本benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools
install.sh # 环境部署脚本 |——src/ # 启动命令行封装脚本，在install.sh里面自动构建 |──llm_inference # 推理代码包
SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数，用来确认对应卡数已经挂载
修改为：transformers==4.44.2 以创建llama2-13b预训练作业为例，执行脚本0_pl_pretrain_13b.sh时，命令如下： cd /home/ma-user/work/llm_train/AscendSpeed; sh ./scripts/install
用户制作的自定义镜像，在本地执行docker run启动，无法正常运行； 用户自行安装了Jupyterlab服务导致冲突的，需要用户本地使用Jupyterlab命令罗列出相关的静态文件路径，删除并且卸载镜像中的Jupyterlab服务； 用户自己业务占用了开发环境官方的8888、8889端口的，需要用户修改自己的进程端口号；
进入“self-define-images”文件夹，执行以下命令构建自定义镜像“test:v1”。 docker build -t test:v1 . 您可以使用“docker images”查看您构建的自定义镜像。 本地验证镜像并上传镜像至SWR服务 在本地环境执行以下命令启动自定义镜像 docker run
再上传至SFS Turbo中。 方法二：huggingface-cli：huggingface-cli是Hugging Face官方提供的命令行工具，自带完善的下载功能。具体步骤可参考：HF-Mirror中的使用教程。完成依赖安装和环境变量配置后，以Llama2-70B为例： huggingface-cli
_mg_hf.sh脚本，将执行的python命令复制下来，修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。 方法二：用户在Notebook直接编辑sc
_mg_hf.sh脚本，将执行的python命令复制下来，修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。 方法二：用户在Notebook直接编辑sc
_mg_hf.sh脚本，将执行的python命令复制下来，修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。 方法二：用户在Notebook直接编辑sc
zip的llm_tools/AutoAWQ目录下。 1、在容器中使用ma-user用户, vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。 conda create --name awq --clone PyTorch-2.1.0 conda
/home/ma-user/ws/llm_train/LLaMAFactory/demo.yaml 多机启动 多台机器执行训练启动命令如下。 多机执行命令为：sh demo.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0> 示例：
get-docker.sh 如果docker images命令可以执行成功，表示Docker已安装，此步骤可跳过。 确认Docker Engine版本。执行如下命令。 docker version | grep -A 1 Engine 命令回显如下。 Engine: Version:
get-docker.sh 如果docker images命令可以执行成功，表示Docker已安装，此步骤可跳过。 执行如下命令确认Docker Engine版本。 docker version | grep -A 1 Engine 命令回显如下。 ... Engine: Version:
AscendCloud-LLM-x.x.x.zip的llm_tools/AutoAWQ目录下。 1、在容器中使用ma-user用户运行以下命令下载并安装AutoAWQ源码。 cd llm_tools/AutoAWQ bash build.sh 2、运行“examples/quantize
zip的llm_tools/AutoAWQ目录下。 1、在容器中使用ma-user用户， vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。 conda create --name awq --clone PyTorch-2.1.0 conda
再上传至SFS Turbo中。 方法二：huggingface-cli：huggingface-cli是Hugging Face官方提供的命令行工具，自带完善的下载功能。具体步骤可参考：HF-Mirror中的使用教程。完成依赖安装和环境变量配置后，以Llama2-70B为例： huggingface-cli
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
