AI开发平台MODELARTS-模型推理代码编写说明:TensorFlow的推理脚本示例

时间:2024-09-05 08:29:59

TensorFlow的推理脚本示例

TensorFlow MnistService示例如下。更多TensorFlow推理代码示例请参考TensorFlowTensorFlow 2.1。其他引擎推理代码请参考PyTorchCaffe
  • 推理代码
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    from PIL import Image
    import numpy as np
    from model_service.tfserving_model_service import TfServingBaseService
    
    class MnistService(TfServingBaseService):
    
        def _preprocess(self, data):
            preprocessed_data = {}
    
            for k, v in data.items():
                for file_name, file_content in v.items():
                    image1 = Image.open(file_content)
                    image1 = np.array(image1, dtype=np.float32)
                    image1.resize((1, 784))
                    preprocessed_data[k] = image1
    
            return preprocessed_data
    
        def _postprocess(self, data):
    
            infer_output = {}
    
            for output_name, result in data.items():
    
                infer_output["mnist_result"] = result[0].index(max(result[0]))
    
            return infer_output
    
  • 请求
    curl -X POST \ 在线服务地址 \ -F images=@test.jpg
  • 返回
    {"mnist_result": 7}

在上面的代码示例中,完成了将用户表单输入的图片的大小调整,转换为可以适配模型输入的shape。首先通过Pillow库读取“32×32”的图片,调整图片大小为“1×784”以匹配模型输入。在后续处理中,转换模型输出为列表,用于Restful接口输出展示。

support.huaweicloud.com/inference-modelarts/inference-modelarts-0057.html