检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题： 将模型部署为实时推理作业
查询支持的服务部署规格 功能介绍 查询支持的服务部署规格列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/services/specifications
扩缩容模型服务实例数 在使用大型模型进行推理时，其业务需求会呈现出明显的峰谷波动。因此，模型服务必须具备灵活的扩缩容能力，以适应不同时间段内的用户负载变化，确保服务的高可用性和资源的高效利用。 ModelArts Studio大模型即服务平台支持手动扩缩容模型服务的实例数，该操作不会影响部署服务的正常运行。
准备镜像 镜像方案说明 ECS获取基础镜像 ECS中构建新镜像 ECS中上传新镜像 父主题： 准备工作
|── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账
准备镜像 镜像方案说明 ECS获取基础镜像 ECS中构建新镜像 ECS中上传新镜像 父主题： 准备工作
资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。 更多选项 永久保存日志 选择是否打开“永久保存日志”开关。 开关关闭（默认关闭）：表示不永久保存日志，则任务日志会在3
问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业的资源池以及ECS都需要连通公网，否则会安装和下载失败。资源池打通公网配置请参见配置Standard专属资源池访问公网，ECS打通公网配置请参见ECS绑定弹性公网IP。 父主题： 准备镜像
问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业的资源池以及ECS都需要连通公网，否则会安装和下载失败。资源池打通公网配置请参见配置Standard专属资源池访问公网，ECS打通公网配置请参见ECS绑定弹性公网IP。 父主题： 准备镜像
|──llama-factory.patch 训练作业的资源池以及ECS都需要连通公网，否则会安装和下载失败。资源池打通公网配置请参见配置Standard专属资源池访问公网，ECS打通公网配置请参见ECS绑定弹性公网IP。 父主题： 准备镜像
|── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账
|── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账
在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行，ModelArts
在线服务预测报错DL.0105 问题现象 在线服务预测报错DL.0105，报错日志：“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错日志分析，是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码
通过APP认证的方式访问在线服务 部署在线服务支持开启APP认证，即ModelArts会为服务注册一个支持APP认证的接口，为此接口配置APP授权后，用户可以使用授权应用的AppKey+AppSecret或AppCode调用该接口。 针对在线服务的APP认证，具体操作流程如下。
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
服务预测失败，报错APIG.XXXX 请求在APIG（API网关）出现问题被拦截，报错APIG.XXXX。 常见报错： APIG.0101 预测地址错误 APIG.0201 请求体内容过大 APIG.0301 鉴权失败 APIG.1009 AppKey和AppSecret不匹配
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。 原因分析 从日志报错信息No CUDA runtime is
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
