检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以通过如下两种方式修改服务的基本信息： 方式一：通过服务管理页面修改服务信息 方式二：通过服务详情页面修改服务信息 前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。
请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 status 否 String 服务包状态。 pool_id 是 String 资源池ID。 service_id 否 String 在线服务ID。
方式一：通过OpenAI服务API接口启动服务【推荐，在vllm-0.6.0之后的版本性能更好】 在llm_inference/ascend_vllm/目录下通OpenAI服务API接口启动服务，具体操作命令如下，可以根据参数说明修改配置。
方式一：通过OpenAI服务API接口启动服务 在llm_inference/ascend_vllm/目录下通OpenAI服务API接口启动服务，具体操作命令如下，可以根据参数说明修改配置。
如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化、使用SmoothQuant量化或使用GPTQ量化章节对模型做量化处理 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。
虚拟私有云选择提前创建好的VPC。 申请弹性公网IP EIP，详情请见申请弹性公网IP。 将弹性公网IP绑定到ECS，详情请见将弹性公网IP绑定至实例。 登录ECS，执行如下命令进行Docker安装。如已安装，请直接进入下一步。
出于安全考虑，ModelArts提供的推理请求都是https请求，从容器镜像中选择导入模型时，ModelArts允许使用的镜像提供https或http服务，但必须在“容器调用接口”中明确指定该镜像使用的是https或http服务。
更新模型服务的单个属性 功能介绍 更新模型服务的单个属性，目前只支持instance_count(更新模型服务实例数量)，仅运行中、告警、异常状态下的在线服务可以执行该操作。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。
invocation_times Number 服务的总调用次数。 failed_times Number 服务调用失败次数。 is_shared Boolean 是否是订阅的服务。 shared_count Number 订阅的服务数。 父主题： 服务管理
is_show 否 Boolean 是否打印出服务对象信息，默认为“True”。 service_id 否 String 服务ID，默认不过滤服务ID。 service_name 否 String 服务名称，默认不过滤服务名。
设置在线服务故障自动重启 场景描述 当系统检测到Snt9b硬件故障时，自动复位Snt9B芯片并重启推理在线服务，提升了推理在线服务的恢复速度。 约束限制 仅支持使用Snt9b资源的同步在线服务。
GPU裸金属服务器无法Ping通如何解决 问题现象 在华为云使用GPU裸金属服务器时， 服务器绑定EIP（华为云弹性IP服务）后，出现无法ping通弹性公网IP现象。 原因分析 查看当前GPU裸金属服务器的安全组的入方向规则的配置，发现仅开通了TCP协议的22端口。
查看在线服务的事件 服务的（从用户可看见部署服务任务开始）整个生命周期中，每一个关键事件点在系统后台均有记录，用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程，遇到任务异常时，更加准确的排查定位问题。
url = "在线服务的调用地址" # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK
管理ModelArts服务的委托授权 本节通过调用一系列API，以管理ModelArts服务的委托授权为例介绍ModelArts API的使用流程。
如果您曾经找过运维人员删除过异常的实例pod，事件中可能会出现告警“服务异常，不正常的实例数为XXX”。在出现这种告警后，服务会自动拉起新的正常实例，从而恢复到正常运行状态。请您耐心等待。 父主题： 服务部署
完成资源配置后，单击“继续运行”，服务部署节点将继续运行，直至状态变为“运行成功”，至此，已将模型部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。
完成资源配置后，单击“继续运行”，在弹框中确认继续运行后，服务部署节点将继续运行，直至状态变为“运行成功”，至此，已将模型部署为在线服务。 服务测试 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。
父主题： 服务管理
选择模型服务，单击操作列的“更多 > 扩缩容”，进入扩缩容页面。 在扩缩容页面，根据业务需要增删模型服务的实例数，配置完成后，单击“确认”提交扩缩容任务。 在我的服务列表，单击服务名称，进入服务详情页，可以查看修改后的实例数是否生效。 父主题： 管理我的服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
