检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 本文档适用于OBS+SFS Turbo的数据存储方案，不适用于仅使用OBS的存储方案。
昇腾云服务6.3.912版本说明 本文档主要介绍昇腾云服务6.3.912版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。
服务为“运行中”，“告警”状态下正常运行实例正在产生费用，不使用时，请及时停止。 您可以前往在线服务列表，查看在线服务的基本情况。在线服务列表中，刚部署的服务“状态”为“部署中”，当在线服务的“状态”变为“运行中”时，表示服务部署完成。
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 适配的CANN版本是cann_8.0.rc2，驱动版本是23.0.5。 约束限制 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练，如表1所示。
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 提示：本文档适用于OBS+SFS Turbo的数据存储方案，不适用于仅OBS存储方案。
昇腾云服务6.3.910版本说明（推荐） 本文档主要介绍昇腾云服务6.3.910版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 提示：本文档适用于OBS+SFS Turbo的数据存储方案，不适用于仅OBS存储方案。
处理方法 服务部署失败后，进入服务详情界面，查看服务部署日志，明确服务部署失败原因（用户代码输出需要使用标准输入输出函数，否则输出的内容不会呈现到前端页面日志）。根据日志中提示的报错信息找到对应的代码进行定位。
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 将模型部署为实时推理作业
方式一：通过OpenAI服务API接口启动服务【推荐，在vllm-0.6.0之后的版本性能更好】 在llm_inference/ascend_vllm/目录下通OpenAI服务API接口启动服务，具体操作命令如下，可以根据参数说明修改配置。
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 提示：本文档适用于OBS+SFS Turbo的数据存储方案，不适用于仅OBS存储方案。
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 提示：本文档适用于OBS+SFS Turbo的数据存储方案，不适用于仅OBS存储方案。
表2 Query参数 参数 是否必选 参数类型 描述 service_id 否 String 服务ID，在创建服务时即可在返回体中获取，也可通过查询服务列表接口获取当前用户拥有的服务，其中service_id字段即为服务ID。默认不过滤服务ID。
查看在线服务详情 当模型部署为在线服务成功后，您可以进入“在线服务”页面，来查看服务详情。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署 > 在线服务”，进入“在线服务”管理页面。 单击目标服务名称，进入服务详情页面。
您可以通过如下两种方式修改服务的基本信息： 方式一：通过服务管理页面修改服务信息 方式二：通过服务详情页面修改服务信息 前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。
请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 status 否 String 服务包状态。 pool_id 是 String 资源池ID。 service_id 否 String 在线服务ID。
在MaaS体验模型服务 在ModelArts Studio大模型即服务平台，运行中的模型服务可以在“模型体验”页面在线体验模型服务的推理效果。 前提条件 在“模型部署”的服务列表存在“运行中”的模型服务。
在“模型部署”页面，单击“我的服务”页签，在右上角单击的“部署模型服务”，进行相关配置。操作指导请参见使用MaaS部署模型服务。模型服务部署成功后，即可继续使用。
本方案目前仅适用于企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts6.3.912版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
本方案目前仅适用于企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
