云服务器内容精选

华为云首页用户手册

使用ModelArts Standard部署模型并推理预测

AI开发平台MODELARTS-推理部署使用场景

推理部署使用场景 AI模型开发完成后，在ModelArts服务中可以将AI模型创建为AI应用，将AI应用快速部署为推理服务，您可以通过调用API的方式把AI推理能力集成到自己的IT平台，或者批量生成推理结果。图1 推理简介训练模型：可以在ModelArts服务中进行，也可以在您的本地开发环境进行，本地开发的模型需要上传到华为云OBS服务。创建AI应用：把模型文件和推理文件导入到ModelArts的模型仓库中，进行版本化管理，并构建为可运行的AI应用。部署服务：AI应用构建完成后，根据您的业务场景，选择将模型部署成对应的服务类型。将模型部署为实时推理作业将AI应用部署为一个Web Service，并且提供在线的测试UI与监控功能，部署成功的在线服务，将为用户提供一个可调用的API。将模型部署为批量推理服务批量服务可对批量数据进行推理，完成数据处理后自动停止。图2 不同类型的推理作业使用场景父主题：使用ModelArts Standard部署模型并推理预测

AI开发平台MODELARTS 使用ModelArts Standard部署模型并推理预测
AI开发平台MODELARTS-将模型部署为批量推理服务:映射关系示例

映射关系示例如下示例展示了配置文件、映射规则、csv数据以及最终推理请求的关系。假设，您的模型所用配置文件，其apis参数如下所示： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 [ { "method": "post", "url": "/", "request": { "Content-type": "multipart/form-data", "data": { "type": "object", "properties": { "data": { "type": "object", "properties": { "req_data": { "type": "array", "items": [ { "type": "object", "properties": { "input_1": { "type": "number" }, "input_2": { "type": "number" }, "input_3": { "type": "number" }, "input_4": { "type": "number" } } } ] } } } } } } } ] 此时，其对应的映射关系如下所示。ModelArts管理控制台将从配置文件中自动解析映射关系，如果您调用ModelArts API时，需要自行根据规则编写映射关系。 { "type": "object", "properties": { "data": { "type": "object", "properties": { "req_data": { "type": "array", "items": [ { "type": "object", "properties": { "input_1": { "type": "number", "index": 0 }, "input_2": { "type": "number", "index": 1 }, "input_3": { "type": "number", "index": 2 }, "input_4": { "type": "number", "index": 3 } } } ] } } } } } 用户需要进行推理的数据，即 CS V数据，格式如下所示。数据必须以英文逗号隔开。 5.1,3.5,1.4,0.2 4.9,3.0,1.4,0.2 4.7,3.2,1.3,0.2 根据定义好的映射关系，最终推理请求样例如下所示，与在线服务使用的格式类似： { "data": { "req_data": [{ "input_1": 5.1, "input_2": 3.5, "input_3": 1.4, "input_4": 0.2 }] } }

AI开发平台MODELARTS 使用ModelArts Standard部署模型并推理预测