检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
异步推理服务部署相关信息配置操作 在ModelArts管理控制台，左侧菜单栏选择“Workflow”进入Workflow页面。 在服务部署节点启动之后会等待用户设置相关配置信息，选择模型及版本为异步推理模型，设置服务启动参数，配置完成后直接单击继续运行即可。
在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
--name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，在宿主机上可通过docker images查询得到。 Step5 进入容器安装推理依赖软件 通过容器名称进入容器中。
单击镜像的名称，进入镜像详情页，可以查看镜像版本/ID，状态，资源类型，镜像大小，SWR地址等。 步骤5：使用SDK提交训练作业 本地调测完成后可以提交训练作业。
进入到 /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
进入到 /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
进入到 /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
进入到 /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
精度评测新建一个conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。命令中的$work_dir 是benchmark_eval的绝对路径。
精度评测新建一个conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。命令中的$work_dir 是benchmark_eval的绝对路径。
图13 使用debug方式运行程序 此时可以进入debug模式，代码运行暂停在该行，且可以查看变量的值。 图14 Debug模式下查看变量值 父主题： 通过PyCharm远程使用Notebook实例
查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 批量服务”，在服务列表中，您可以单击名称/ID，进入服务详情页面。 在服务详情页面，切换到“事件”页签，查看事件信息。 父主题： 管理批量推理作业
步骤四 进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。 docker exec -it ${container_name} bash 修改权限。
进入容器。需要将${container_name}替换为实际的容器名称，例如：sdxl-diffusers。 docker exec -it ${container_name} bash Step2 安装依赖和模型包 安装Diffusers相关依赖。
精度评测可以在原先conda环境，进入到一个固定目录下，执行如下命令。
图3 购买ECS ECS服务器挂载SFS Turbo ECS服务器中手动挂载SFS Turbo步骤如下： 用户可通过CloudShell或SSH等方式登录并访问ECS服务器，进入ECS终端界面。
图3 购买ECS ECS服务器挂载SFS Turbo ECS服务器中手动挂载SFS Turbo步骤如下： 用户可通过CloudShell或SSH等方式登录并访问ECS服务器，进入ECS终端界面。
查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 在线服务”，在服务列表中，您可以单击名称/ID，进入服务详情页面。 在服务详情页面，切换到“事件”页签，查看事件信息。 父主题： 管理同步在线服务
解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.909-xxx.zip，并直接进入到llm_inference/ascend_vllm文件夹下面 unzip AscendCloud-*.zip -d .
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
