检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
择。 代码目录 选择OBS桶中训练code文件夹所在路径，例如“obs://test-modelarts/code/”。 启动文件 选择代码目录中训练作业的Python启动脚本。例如“obs://test-modelarts/code/main.py”。 超参 当资源规格为单机多
IdentityFile：本地密钥路径 - User：用户名，例如：ma-user - HostName：IP地址 - Port：端口号 在VS Code中手工配置远程连接时，在本地的ssh config文件中增加配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。
skey KMS kms:cmk:list 挂载SFS Turbo盘 SFS Turbo SFS Turbo FullAccess 子账号对SFS目录的读写操作权限。专属池Notebook实例挂载SFS（公共池不支持），且挂载的SFS不是当前子账号创建的。 按需配置。 查看所有实例
工作空间管理权限 表1 工作空间管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建工作空间 POST /v1/{project_id}/workspaces modelarts:workspace:create - √ √ 查询工作空间列表 GET
基本信息的参数描述 参数名称 说明 “名称” Notebook的名称。只能包含数字、大小写字母、下划线和中划线，长度不能大于64位且不能为空。 “描述” 对Notebook的简要描述。 “自动停止” 默认开启，且默认值为“1小时”，表示该Notebook实例将在运行1小时之后自动停止，即1小时后停止规格资源计费。
提前准备音频文件audio，支持'wav', 'mp3', 'mp4'格式。 在代码根目录Wav2lip下创建test_wav2lip.sh, 复制以下内容粘贴至test_wav2lip.sh中，参数参照下方说明进行配置。 #!/bin/bash start_time=$(date
将在ModHeader插件中添加Key值和Value值。 图14 添加Key和value 进入在线服务详情页，查看APP认证方式的服务API。 图15 API接口公网地址 复制API接口公网地址，并在地址后添加"/"，进行页面访问，例如： https://infer-app-modelarts-cn-southwest-2
notebook-test/my_image:0.0.1 -P XXX 其中“.ma/upgrade_ascend_mindspore_1.8.1_and_cann_5.1.RC2/Dockerfile”为Dockerfile文件所在路径，“notebook-test/my_image:0
的桶名称“test-modelarts” 和文件夹名称均为举例，请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途 “obs://test-mode
的桶名称“test-modelarts” 和文件夹名称均为举例，请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途 “obs://test-mode
ibstat查看网卡非Active状态。 A050121 NPU 其他 npu dcmi接口检测到driver异常。 NPU驱动环境异常。 A050122 NPU 其他 npu dcmi device异常。 NPU设备异常，昇腾dcmi接口中返回设备存在重要或紧急告警。 A050123 NPU 链路 npu
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host ${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。
训练作业权限 表1 训练作业（新版）细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建训练作业 POST /v2/{project_id}/training-jobs modelarts:trainJob:create swr:repository:listTags
dockerfile_path="/home/ma-user/work/Dockerfile", image_url="custom_test/tensorflow2.1:1.0.0",#custom_test是组织名，tensorflow2.1是镜像名称，1.0.0是tag context="/home/ma-user/work")
执行代码，执行后如下图所示，会部署一个在线服务，该容器即为服务端。 python test.py 图2 部署在线服务 在XShell中新建一个终端，参考步骤5~7进入容器，该容器为客户端。执行以下命令验证自定义镜像的三个API接口功能。当显示如图所示时，即可调用服务成功。 curl -X POST
算法uuid，创建算法时无需填写。 name String 算法名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 description String 对算法的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 workspace_id String 指定算法所处的工作空间，默认值为“0”。“0”
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等后端。本文档使用的推理接口是openai。 --host：服务部署的IP，${docker_ip}替换为宿主机实 际的IP地址。 --port：推理服务端口。 --
join(base_bucket_path, "train/test-pytorch.py"), code_dir) training_file = TrainingFiles(code_dir=code_dir, boot_file="test-pytorch.py", obs_path=base_bucket_path
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
