应用部署-华为云

AI开发平台MODELARTS-实时推理的部署及使用流程

实时推理的部署及使用流程在创建完AI应用后，可以将AI应用部署为一个在线服务。当在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。访问在线服务时，您可以根据您的业务需求，分别确认使用何种认证方式、访问通道、传输协议，以上三个要素共同构成您的访问请求，三者可自由组合互不影响（例如不同的认证方式可以搭配不同的访问通道、不同的传输协议）。图1 认证方式、访问通道、传输协议当前ModelArts支持访问在线服务的认证方式有以下方式（案例中均以HTTPS请求为例）： Token认证：Token具有时效性，有效期为24小时，需要使用同一个Token鉴权时，可以缓存起来，避免频繁调用。 AK/SK认证：使用AK/SK对请求进行签名，在请求时将签名信息添加到消息头，从而通过身份认证。AK/SK签名认证方式仅支持消息体大小12M以内，12M以上的请求请使用Token认证。 APP认证：在请求头部消息增加一个参数即可完成认证，认证方式简单，永久有效。 ModelArts支持通过以下几种方式调用API访问在线服务（案例中均以HTTPS请求为例）：通过公网访问通道的方式访问在线服务：ModelArts推理默认使用公网访问在线服务。在线服务部署成功后，将为用户提供一个可调用的API，此API为标准Restful API。通过VPC高速访问通道的方式访问在线服务：使用VPC直连的高速访问通道，用户的业务请求不需要经过推理平台，而是直接经VPC对等连接发送到实例处理，访问速度更快。在线服务的API默认为HTTPS访问，同时还支持以下的传输协议：使用WebSocket协议的方式访问在线服务：WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就可以建立持久性的连接，并进行双向数据传输。使用Server-Sent Events协议的方式访问在线服务：Server-Sent Events访问主要解决了客户端与服务器之间的单向实时通信需求（例如ChatGPT回答的流式输出），相较于WebSocket（双向实时），它更加轻量级且易于实现。父主题：将AI应用部署为实时推理作业

AI开发平台MODELARTS 将AI应用部署为实时推理作业

应用平台 APPSTAGE-配置服务环境:步骤四：录入企业项目

步骤四：录入企业项目在项目配置区域，单击“新增”。新增项目配置，具体参数如表3所示。表3 项目配置参数名称说明部门选择已录入的部门。产品选择已录入的产品。服务选择已录入的服务。华为公有云账号名选择用户的华为云账号名。类型关联项目：关联已有的公有云EPS。关联且新增项目：在公有云EPS创建一个新项目，同时进行关联。企业项目名称关联项目时，选择已有的公有云EPS。关联且新增时，填写创建的企业项目名称。单击“确定”。

应用平台 APPSTAGE 应用部署

应用平台 APPSTAGE-配置服务环境:步骤一：创建环境

步骤一：创建环境进入AppStage运维中心。将鼠标悬停在右上角的账号，选择下拉列表中的“服务环境配置”，选择左侧导航栏的“环境管理”。单击“创建”，配置环境参数，具体参数如表1所示。表1 创建环境参数参数说明名称填写环境名称，名称全局唯一，只能包含小写字母、数字以及下划线，不能以下划线开头。用途选择环境的用途。可选用途包括开发、测试、生产、安全和性能。描述环境的描述信息。单击“确定”。

应用平台 APPSTAGE 应用部署

部署 CODEARTS DEPLOY-本地软件包是不是一定要先上传到制品仓库中才能进行部署？:选择源为制品仓库

选择源为制品仓库在部署步骤信息配置页面，“选择源类型”选项下勾选“制品仓库”，单击“选择软件包”属性框右边的。弹出“选择文件”对话框，选择制品仓库下载的目标软件包。 “文件夹”形式的软件包，“选择部署来源”部署步骤会默认下载当前文件夹下面的所有文件。对于Linux系统，文件夹下面的文件名不能采用中文，否则下载后，文件夹下面的文件名会出现乱码，导致部署失败。 “文件”形式的软件包，“选择部署来源”部署步骤默认下载当前文件。

部署 CODEARTS DEPLOY 应用部署

AI开发平台MODELARTS-修改服务:方式二：通过服务详情页面修改服务信息

方式二：通过服务详情页面修改服务信息登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署”，进入目标服务类型管理页面。单击目标服务名称，进入服务详情页面。您可以通过单击页面右上角“修改”，修改服务基本信息，然后根据提示提交修改任务。当修改了服务的某些参数配置时，系统会自动重启服务使修改生效。在提交修改服务任务时，若涉及重启，会有弹窗提醒。在线服务参数说明请参见部署为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数，升级阶段节点无效。批量服务参数说明请参见部署为批量服务。边缘服务参数说明请参见部署为边缘服务。

AI开发平台MODELARTS 部署AI应用（部署上线）

AI开发平台MODELARTS-修改服务:约束限制

约束限制服务升级关系着业务实现，不当的升级操作会导致升级期间业务中断的情况，请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备，做好验证，即可实现业务不中断的无损升级。表1 支持无损滚动升级的场景创建AI应用的元模型来源服务使用的是公共资源池服务使用的是专属资源池从训练中选择元模型不支持不支持从容器镜像中选择元模型不支持支持，创建AI应用的自定义镜像需要满足创建AI应用的自定义镜像规范。从OBS中选择元模型不支持不支持

AI开发平台MODELARTS 部署AI应用（部署上线）

AI开发平台MODELARTS-修改服务:方式一：通过服务管理页面修改服务信息

方式一：通过服务管理页面修改服务信息登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署”，进入目标服务类型管理页面。在服务列表中，单击目标服务操作列的“修改”，修改服务基本信息，然后根据提示提交修改任务。当修改了服务的某些参数配置时，系统会自动重启服务使修改生效。在提交修改服务任务时，若涉及重启，会有弹窗提醒。在线服务参数说明请参见部署为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数，升级阶段节点无效。批量服务参数说明请参见部署为批量服务。边缘服务参数说明请参见部署为边缘服务。

AI开发平台MODELARTS 部署AI应用（部署上线）

SAP 应用-资源准备:软件与工具

软件与工具需要准备的软件和工具如表1 软件和工具所示。表1 软件和工具项目说明获取地址本地PC 使用Windows操作系统，Windows 7及以上版本。 - PuTTY和PuTTYgen 用于登录云服务器并进行命令行操作。 https://www.chiark.greenend.org.uk/~sgtatham/putty/download.html 操作系统镜像 SUSE Linux Enterprise Server for SAP Applications镜像。获取镜像ISO文件后需要将其注册到华为云私有镜像，具体操作请参考将ISO文件注册为镜像（Linux）。 https://www.suse.com/products/sles-for-sap/download/ SAP Business One SAP B1软件安装包。此处需要用户自行上传软件包到相对应区域的OBS桶，并在填写参数时把上传后的文件地址填写到“OBS桶URL”参数。上传方式请参考上传软件包。登录SAP官方地址下载各安装介质： https://support.sap.com/en/my-support/software-downloads.html

SAP 应用部署SAP Business One

云应用引擎 CAE-操作步骤:源码仓库授权

源码仓库授权登录CAE控制台。选择“系统设置”。在“系统设置”页面，单击“源码仓库授权”模块的“编辑”，进入“已授权源码仓库”页面。单击“新建授权”，进入“新建授权”页面。单击“GitHub”。授权名称输入：nacos-github。授权方式选择“OAuth”。单击“使用OAuth授权”。在“服务声明”弹框中，勾选“我已知晓本服务的源码构建功能收集上述信息，并同意授权对其的收集、使用行为。”。单击“确认”完成授权。单击“确认”，进入GitHub登录页面。输入用户GitHub的用户名或邮箱和密码，单击“Sign in”，等待OAuth认证完成，返回CAE页面。在CAE“系统设置”页面提示框单击“确认”，完成源码仓库授权。

云应用引擎 CAE SpringCloud应用部署到CAE自动对接Nacos引擎

云应用引擎 CAE-操作步骤:调用微服务

调用微服务在左侧导航栏中选择“组件列表”，进入“组件列表”页面。选择nacos-consumer组件，在“访问地址”列单击，获取自动生成的外网访问地址。图1 获取外网访问地址在浏览器输入访问地址：http://外网访问ip地址:访问端口/echo/{string}，外网访问ip地址、访问端口为2中获取的，{string}为自定义字符串。例如：http://100.**.**.175:14688/echo/nacos-cae。如果出现如下图所示欢迎页面，表示Nacos调用成功。图2 调用微服务引擎

云应用引擎 CAE SpringCloud应用部署到CAE自动对接Nacos引擎

应用平台 APPSTAGE-申请资源:通过控制台申请资源

通过控制台申请资源 AppStage支持使用控制台完成资源申请，或者在华为云申请资源，然后接入至AppStage运维中心。申请虚拟机：需要在华为云购买E CS 虚拟机，然后将主机接入AppStage运维中心。申请CCE集群：需要在华为云购买CCE集群，然后将容器集群接入AppStage运维中心。申请数据库：需要在华为云购买数据库，然后将数据库接入AppStage运维中心，当前只支持RDS(for MySQL)、GeminiDB Cassandra、 GaussDB (for openGauss)/GaussDB(for MySQL)接入AppStage运维中心。

应用平台 APPSTAGE 应用部署

应用平台 APPSTAGE-服务环境配置:步骤四：企业项目配置

步骤四：企业项目配置在项目配置区域，单击“新增”。新增项目配置，具体参数如表3所示。表3 项目配置参数名称说明部门选择已录入的部门。产品选择已录入的产品。服务选择已录入的服务。华为公有云账号名选择用户的华为云账号名。类型关联项目：关联已有的公有云EPS。关联且新增项目：在公有云EPS创建一个新项目，同时进行关联。企业项目名称关联项目时，选择已有的公有云EPS。关联且新增时，填写创建的企业项目名称。单击“确定”。

应用平台 APPSTAGE 应用部署

应用平台 APPSTAGE-服务环境配置:步骤一：创建环境

步骤一：创建环境进入运维中心工作台。将鼠标悬停在右上角的账号，选择下拉列表中的“服务环境配置”，选择左侧导航栏的“环境管理”。单击“创建”，配置环境参数，具体参数如表1所示。表1 创建环境参数参数说明名称填写环境名称，名称全局唯一，只能包含小写字母、数字以及下划线，不能以下划线开头。用途选择环境的用途。可选用途包括开发、测试、生产、安全和性能。描述环境的描述信息。单击“确定”。

应用平台 APPSTAGE 应用部署

应用平台 APPSTAGE-服务环境配置:步骤四：企业项目配置

步骤四：企业项目配置在项目配置区域，单击“新增”。新增项目配置，具体参数如表3所示。表3 项目配置参数名称说明部门选择已录入的部门。产品选择已录入的产品。服务选择已录入的服务。华为公有云账号名选择用户的华为云账号名。类型关联项目：关联已有的公有云EPS。关联且新增项目：在公有云EPS创建一个新项目，同时进行关联。企业项目名称关联项目时，选择已有的公有云EPS。关联且新增时，填写创建的企业项目名称。单击“确定”。

应用平台 APPSTAGE 应用部署

IOT边缘 IOTEDGE-实验简介:前提概要

前提概要开通服务：体验需要三方配合，首先要开通IoTEdge，用于集群管理和应用管理。还需开通SWR，用于存储已开发并想部署到边缘集群上运行的云原生应用Docker镜像。准备边缘服务器：IoTEdge、SWR是华为云服务，使用已开通华为云的账号直接免费开通可用。边缘服务器属于硬件，可以购买低配的ECS代替，其EIP则作为边缘服务器的节点IP地址。后续若创建单机版集群仅需要一台边缘服务器，若创建高可用集群则推荐准备五台在同一VPC下的边缘服务器，且需要申请一个vip（虚拟IP地址）。准备镜像和Chart包：用户将应用镜像打包上传到SWR云服务，并制作好应用的Chart包，其中values.yaml中的镜像地址填写上传到SWR的应用镜像地址。

IOT边缘 IOTEDGE 基于IoT边缘实现云原生应用部署

云服务器内容精选

应用部署

7*24

备案

专业服务

退订

建议反馈

售前咨询热线