华为云首页用户手册

AI开发平台MODELARTS-基于MindSpore Lite的模型转换:推理应用适配

AI开发平台MODELARTS-基于MindSpore Lite的模型转换:推理应用适配

时间：2024-11-12 16:42:20

AI开发平台MODELARTS 模型适配

推理应用适配

MindSpore Lite提供了JAVA/C++/Python API，进行推理业务的适配，并且在构建模型时，通过上下文的参数来确定运行时的具体配置，例如运行后端的配置等。下文以Python接口为例。

使用MindSpore Lite推理框架执行推理并使用昇腾后端主要包括以下步骤：

创建运行上下文：创建Context，保存需要的一些基本配置参数，用于指导模型编译和模型执行，在昇腾迁移时需要特别指定target为“Ascend”，以及对应的device_id。
```
context = mslite.Context()
context.target = ["ascend"]
context.ascend.device_id = 0
```
模型加载与编译：执行推理之前，需要调用Model的build_from_file接口进行模型加载和模型编译。模型加载阶段将文件缓存解析成运行时的模型。模型编译阶段会耗费较多时间所以建议Model创建一次，编译一次，多次推理。
```
model = mslite.Model()
model.build_from_file("./resnet50.mindir", mslite.ModelType.MINDIR, context)
```
输入数据：编译后的模型提供了predict接口用户执行模型推理任务，Inputs输入为List Tensor，这里的Tensor是MSLite的概念，具体的列表长度和tensor类型由转换时的InputShape来确定，由于后端指定了ascend，这些tensor都是在昇腾设备的显存中，用户需要在对应的tensor中填入数据，这些数据也会被搬移到显存中，进一步对于Inputs输入的内容进行处理。
```
data = convert_img(input_image)
in_data = [np.array(data)]
inputs = model.get_inputs()
for i, _input in enumerate(inputs):
_input.set_data_from_numpy(in_data[i])
```
执行推理：使用Model的predict进行模型推理，返回值为Outputs，也是List Tensor类型，具体的长度和类别由模型定义，对应的Tensor数据由于指定了ascend后端，Output的内容在显存中，通过tensor的get_data_to_numpy方法来获取，并将数据读取到内存中使用。
```
outputs = model.predict(inputs)
outputs = [output.get_data_to_numpy() for output in outputs]
```
更多Python接口的高级用法与示例，请参考Python API。

上一篇：AI开发平台MODELARTS-基于MindSpore Lite的模型转换:模型准备

下一篇：AI开发平台MODELARTS-基于MindSpore Lite的模型转换:模型准备

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

AI开发平台MODELARTS-基于MindSpore Lite的模型转换:推理应用适配

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题