检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。
方式一：使用vLLM接口请求服务，命令参考如下。
1、在容器中使用ma-user用户， vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。
1、在容器中使用ma-user用户, vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。
2 配置kubectl工具 kubectl是Kubernetes集群的命令行工具，配置kubectl后，您可通过kubectl命令操作Kubernetes集群。
运行命令如下所示。 cd opencompass python run.py --models vllm --datasets mmlu_gen ceval_gen --debug -w ${output_path} output_path: 要保存的结果路径。
运行命令如下所示。 cd opencompass python run.py --models vllm --datasets mmlu_gen ceval_gen -w ${output_path} output_path: 要保存的结果路径。
在本地IDE中打开“Terminal > New Terminal”，执行如下命令。 pip install -r /home/ma-user/work/models/official/cv/resnet/requirements.txt 图5 执行命令 云端调试与运行。
如果需要指定uid，则uid数值需要在规定范围内，不同资源池的uid范围如下： 公共资源池：1000-65535 专属资源池：0-65535 启动命令 必填，镜像的启动命令。 运行训练作业时，当“代码目录”下载完成后，“启动命令”会被自动执行。
使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。
创建/mnt/sfs_turbo目录作为挂载目录 ，命令为：mkdir /mnt/sfs_turbo。 单击用户创建的SFS Turbo，查看基本信息图4，找到并复制挂载命令。 在ECS的终端中粘贴SFS Turbo挂载命令，完成挂载。
创建/mnt/sfs_turbo目录作为挂载目录 ，命令为：mkdir /mnt/sfs_turbo。 单击用户创建的SFS Turbo，查看基本信息图4，找到并复制挂载命令。 在ECS的终端中粘贴SFS Turbo挂载命令，完成挂载。
在目录下执行如下命令，即可安装Eagle。
当用户输入的命令中不包含“--data_url”和“--train_url”参数时，工具在提交训练作业时会在命令后面自动添加这两个参数，分别对应存储训练数据的OBS路径和存放训练输出的OBS路径。
在目录下执行如下命令，即可安装Eagle。
在目录下执行如下命令，即可安装Eagle。
图2 复制登录指令 登录指令输入之后，使用下列示例命令。
多机启动 以 Llama2-70b为例，多台机器执行训练启动命令如下。进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。
具体操作命令如下，可以根据参数说明修改参数。
执行如下命令进入目标路径，确认源码已下载，即“data”文件是否存在。 cd /home/ma-user/work ls 在“Terminal”环境进行编译，具体编译方式请您根据业务需求进行。 将编译结果使用Moxing复制至OBS中 。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
