华为云用户手册

推理代码 在模型代码推理文件customize_service.py中，需要添加一个子类，该子类继承对应模型类型的父类，各模型类型的父类名称和导入语句如请参考表1。 from PIL import Image import log from model_service.pytorch_model_service import PTServingBaseService import torch.nn.functional as F import torch.nn as nn import torch import json import numpy as np logger = log.getLogger(__name__) import torchvision.transforms as transforms # 定义模型预处理 infer_transformation = transforms.Compose([ transforms.Resize((28,28)), # 需要处理成pytorch tensor transforms.ToTensor() ]) import os class PTVisionService(PTServingBaseService): def __init__(self, model_name, model_path): # 调用父类构造方法 super(PTVisionService, self).__init__(model_name, model_path) # 调用自定义函数加载模型 self.model = Mnist(model_path) # 加载标签 self.label = [0,1,2,3,4,5,6,7,8,9] # 亦可通过文件标签文件加载 # model目录下放置label.json文件，此处读取 dir_path = os.path.dirname(os.path.realpath(self.model_path)) with open(os.path.join(dir_path, 'label.json')) as f: self.label = json.load(f) def _preprocess(self, data): preprocessed_data = {} for k, v in data.items(): input_batch = [] for file_name, file_content in v.items(): with Image.open(file_content) as image1: # 灰度处理 image1 = image1.convert("L") if torch.cuda.is_available(): input_batch.append(infer_transformation(image1).cuda()) else: input_batch.append(infer_transformation(image1)) input_batch_var = torch.autograd.Variable(torch.stack(input_batch, dim=0), volatile=True) print(input_batch_var.shape) preprocessed_data[k] = input_batch_var return preprocessed_data def _postprocess(self, data): results = [] for k, v in data.items(): result = torch.argmax(v[0]) result = {k: self.label[result]} results.append(result) return results def _inference(self, data): result = {} for k, v in data.items(): result[k] = self.model(v) return result class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.hidden1 = nn.Linear(784, 5120, bias=False) self.output = nn.Linear(5120, 10, bias=False) def forward(self, x): x = x.view(x.size()[0], -1) x = F.relu((self.hidden1(x))) x = F.dropout(x, 0.2) x = self.output(x) return F.log_softmax(x) def Mnist(model_path, **kwargs): # 生成网络 model = Net() # 加载模型 if torch.cuda.is_available(): device = torch.device('cuda') model.load_state_dict(torch.load(model_path, map_location="cuda:0")) else: device = torch.device('cpu') model.load_state_dict(torch.load(model_path, map_location=device)) # CPU或者GPU映射 model.to(device) # 声明为推理模式 model.eval() return model

训练模型 from __future__ import print_function import argparse import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms # 定义网络结构 class Net(nn.Module): def __init__(self): super(Net, self).__init__() # 输入第二维需要为784 self.hidden1 = nn.Linear(784, 5120, bias=False) self.output = nn.Linear(5120, 10, bias=False) def forward(self, x): x = x.view(x.size()[0], -1) x = F.relu((self.hidden1(x))) x = F.dropout(x, 0.2) x = self.output(x) return F.log_softmax(x) def train(model, device, train_loader, optimizer, epoch): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target = data.to(device), target.to(device) optimizer.zero_grad() output = model(data) loss = F.cross_entropy(output, target) loss.backward() optimizer.step() if batch_idx % 10 == 0: print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format( epoch, batch_idx * len(data), len(train_loader.dataset), 100. * batch_idx / len(train_loader), loss.item())) def test( model, device, test_loader): model.eval() test_loss = 0 correct = 0 with torch.no_grad(): for data, target in test_loader: data, target = data.to(device), target.to(device) output = model(data) test_loss += F.nll_loss(output, target, reduction='sum').item() # sum up batch loss pred = output.argmax(dim=1, keepdim=True) # get the index of the max log-probability correct += pred.eq(target.view_as(pred)).sum().item() test_loss /= len(test_loader.dataset) print('\nTest set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'.format( test_loss, correct, len(test_loader.dataset), 100. * correct / len(test_loader.dataset))) device = torch.device("cpu") batch_size=64 kwargs={} train_loader = torch.utils.data.DataLoader( datasets.MNIST('.', train=True, download=True, transform=transforms.Compose([ transforms.ToTensor() ])), batch_size=batch_size, shuffle=True, **kwargs) test_loader = torch.utils.data.DataLoader( datasets.MNIST('.', train=False, transform=transforms.Compose([ transforms.ToTensor() ])), batch_size=1000, shuffle=True, **kwargs) model = Net().to(device) optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5) optimizer = optim.Adam(model.parameters()) for epoch in range(1, 2 + 1): train(model, device, train_loader, optimizer, epoch) test(model, device, test_loader)

训练并保存模型 from __future__ import absolute_import, division, print_function, unicode_literals import tensorflow as tf mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28)), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(256, activation='relu'), tf.keras.layers.Dropout(0.2), # 对输出层命名output，在模型推理时通过该命名取结果 tf.keras.layers.Dense(10, activation='softmax', name="output") ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) model.fit(x_train, y_train, epochs=10) tf.keras.models.save_model(model, "./mnist")

推理代码 在模型代码推理文件customize_service.py中，需要添加一个子类，该子类继承对应模型类型的父类，各模型类型的父类名称和导入语句如请参考表1。 import logging import threading import numpy as np import tensorflow as tf from PIL import Image from model_service.tfserving_model_service import TfServingBaseService logger = logging.getLogger() logger.setLevel(logging.INFO) class MnistService(TfServingBaseService): def __init__(self, model_name, model_path): self.model_name = model_name self.model_path = model_path self.model = None self.predict = None # label文件可以在这里加载,在后处理函数里使用 # label.txt放在obs和模型包的目录 # with open(os.path.join(self.model_path, 'label.txt')) as f: # self.label = json.load(f) # 非阻塞方式加载saved_model模型，防止阻塞超时 thread = threading.Thread(target=self.load_model) thread.start() def load_model(self): # load saved_model 格式的模型 self.model = tf.saved_model.load(self.model_path) signature_defs = self.model.signatures.keys() signature = [] # only one signature allowed for signature_def in signature_defs: signature.append(signature_def) if len(signature) == 1: model_signature = signature[0] else: logging.warning("signatures more than one, use serving_default signature from %s", signature) model_signature = tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY self.predict = self.model.signatures[model_signature] def _preprocess(self, data): images = [] for k, v in data.items(): for file_name, file_content in v.items(): image1 = Image.open(file_content) image1 = np.array(image1, dtype=np.float32) image1.resize((28, 28, 1)) images.append(image1) images = tf.convert_to_tensor(images, dtype=tf.dtypes.float32) preprocessed_data = images return preprocessed_data def _inference(self, data): return self.predict(data) def _postprocess(self, data): return { "result": int(data["output"].numpy()[0].argmax()) }

保存模型（tf接口） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 # 导出模型 # 模型需要采用saved_model接口保存 print('Exporting trained model to', export_path) builder = tf.saved_model.builder.SavedModelBuilder(export_path) tensor_info_x = tf.saved_model.utils.build_tensor_info(x) tensor_info_y = tf.saved_model.utils.build_tensor_info(y) # 定义预测接口的inputs和outputs # inputs和outputs字典的key值会作为模型输入输出tensor的索引键 # 模型输入输出定义需要和推理自定义脚本相匹配 prediction_signature = ( tf.saved_model.signature_def_utils.build_signature_def( inputs={'images': tensor_info_x}, outputs={'scores': tensor_info_y}, method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME)) legacy_init_op = tf.group(tf.tables_initializer(), name='legacy_init_op') builder.add_meta_graph_and_variables( # tag设为serve/tf.saved_model.tag_constants.SERVING sess, [tf.saved_model.tag_constants.SERVING], signature_def_map={ 'predict_images': prediction_signature, }, legacy_init_op=legacy_init_op) builder.save() print('Done exporting!')

训练模型（keras接口） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 from keras.models import Sequential model = Sequential() from keras.layers import Dense import tensorflow as tf # 导入训练数据集 mnist = tf.keras.datasets.mnist (x_train, y_train),(x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 print(x_train.shape) from keras.layers import Dense from keras.models import Sequential import keras from keras.layers import Dense, Activation, Flatten, Dropout # 定义模型网络 model = Sequential() model.add(Flatten(input_shape=(28,28))) model.add(Dense(units=5120,activation='relu')) model.add(Dropout(0.2)) model.add(Dense(units=10, activation='softmax')) # 定义优化器，损失函数等 model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) model.summary() # 训练 model.fit(x_train, y_train, epochs=2) # 评估 model.evaluate(x_test, y_test)

保存模型（keras接口） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 from keras import backend as K # K.get_session().run(tf.global_variables_initializer()) # 定义预测接口的inputs和outputs # inputs和outputs字典的key值会作为模型输入输出tensor的索引键 # 模型输入输出定义需要和推理自定义脚本相匹配 predict_signature = tf.saved_model.signature_def_utils.predict_signature_def( inputs={"images" : model.input}, outputs={"scores" : model.output} ) # 定义保存路径 builder = tf.saved_model.builder.SavedModelBuilder('./mnist_keras/') builder.add_meta_graph_and_variables( sess = K.get_session(), # 推理部署需要定义tf.saved_model.tag_constants.SERVING标签 tags=[tf.saved_model.tag_constants.SERVING], """ signature_def_map：items只能有一个，或者需要定义相应的key为 tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY """ signature_def_map={ tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY: predict_signature } ) builder.save()

输出 预测结果以“JSON”格式返回，“JSON”字段说明请参见表3。 表3 JSON字段说明 字段名 类型 描述 data Data结构 包含预测数据。“Data结构”说明请参见表4。 表4 Data结构说明 字段名 类型 描述 resp_data RespData结构数组 预测结果列表。 与“ReqData”一样，“RespData”也是“Object”类型，表示预测结果，其具体组成结构由业务场景决定。建议使用该模式的模型，其自定义的推理代码中的后处理逻辑应输出符合模式所定义的输出格式的数据。 预测结果的“JSON Schema”表示如下： { "type": "object", "properties": { "data": { "type": "object", "properties": { "resp_data": { "type": "array", "items": [{ "type": "object", "properties": {} }] } } } } }

请求样例 该模式下的推理方式均为输入“JSON”格式的待预测数据，预测结果以“JSON”格式返回。示例如下： 页面预测 在服务详情的“预测”页签，输入预测代码，单击“预测”即可获取检测结果。 Postman调REST接口预测 部署上线成功后，您可以从服务详情页的调用指南中获取预测接口地址，预测步骤如下： 选择“Headers”设置请求头部，“Content-Type”的值设为“application/json”，“X-Auth-Token”的值设为用户实际获取的token值。 图1 预测设置请求头部 选择“Body”设置请求体，编辑需要预测的数据，最后单击“send”，发送您的预测请求。

输入 系统预置预测分析输入输出模式，适用于预测分析的模型，使用该模式的模型将被标识为预测分析模型。预测请求路径“/”，请求协议为“HTTP”，请求方法为“POST”，调用方需采用“application/json”内容类型，发送预测请求，请求体以“JSON”格式表示，“JSON”字段说明请参见表1。选择该模式时需确保您的模型能处理符合该输入“JSON Schema”格式的输入数据。“JSON Schema”格式说明请参考官方指导。 表1 JSON字段说明 字段名 类型 描述 data Data结构 包含预测数据。“Data结构”说明请参见表2。 表2 Data结构说明 字段名 类型 描述 req_data ReqData结构数组 预测数据列表。 “ReqData”，是“Object”类型，表示预测数据，数据的具体组成结构由业务场景决定。使用该模式的模型，其自定义的推理代码中的预处理逻辑应能正确处理模式所定义的输入数据格式。 预测请求的“JSON Schema”表示如下： { "type": "object", "properties": { "data": { "type": "object", "properties": { "req_data": { "items": [{ "type": "object", "properties": {} }], "type": "array" } } } } }

请求样例 该模式下的推理方式均为输入一张待处理图片，响应的“JSON”根据模型改变而改变。示例如下： 页面预测 Postman调REST接口预测 部署上线成功后，您可以从服务详情页的调用指南中获取预测接口地址。选择“Body”设置请求体，“key”选择为“images”，选择为“File”类型，接着通过选择文件按钮选择需要处理的图片，最后单击“send”，发送您的预测请求。 图1 调用REST接口

输出 推理结果以“JSON”体的形式返回，具体字段请参见表1。 表1 参数说明 字段名 类型 描述 detection_classes 字符串数组 输出物体的检测类别列表，如["yunbao","cat"] detection_boxes 数组，元素为浮点数数组 输出物体的检测框坐标列表，坐标表示为 detection_scores 浮点数数组 输出每种检测列表的置信度，用来衡量识别的准确度。 推理结果的“JSON Schema”表示如下： { "type": "object", "properties": { "detection_classes": { "items": { "type": "string" }, "type": "array" }, "detection_boxes": { "items": { "minItems": 4, "items": { "type": "number" }, "type": "array", "maxItems": 4 }, "type": "array" }, "detection_scores": { "items": { "type": "string" }, "type": "array" } } }

请求样例 该模式下的推理方式均为输入一张待处理图片，推理结果以“JSON”格式返回。示例如下： 页面预测 在服务详情的“预测”页签，上传需要检测的图片，单击“预测”即可获取检测结果。 Postman调REST接口预测 部署上线成功后，您可以从服务详情页的调用指南中获取预测接口地址，预测步骤如下： 选择“Headers”设置请求头部，“Content-Type”的值设为“multipart/form-data”，“X-Auth-Token”的值设为用户实际获取的token值。 图1 设置请求头部 选择“Body”设置请求体，“key”选择为“images”，选择为“File”类型，接着通过选择文件按钮选择需要处理的图片，最后单击“send”，发送您的预测请求。 图2 设置请求体

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

简介 搭载TensorFlow1.8引擎，运行环境为“python2.7”，适合导入以“SavedModel”格式保存的TensorFlow图像分类模型。该模板使用平台预置的图像处理模式，模式详情参见预置图像处理模式，推理时向模型输入一张“key”为“images”的待处理图片，所以需确保您的模型能处理“key”为“images”的输入。使用该模板导入模型时请选择到包含模型文件的“model”目录。

模型包规范 模型包必须存储在OBS中，且必须以“model”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包 //可选，用户自有的Python包，在模型推理代码中可以直接引用。 ├── customize_service.py //必选，模型推理代码，文件名称必须为“customize_service.py”，否则不视为推理代码。

支持的模板 TensorFlow图像分类模板 TensorFlow-py27通用模板 TensorFlow-py36通用模板 MXNet-py27通用模板 MXNet-py36通用模板 PyTorch-py27通用模板 PyTorch-py36通用模板 Caffe-CPU-py27通用模板 Caffe-GPU-py27通用模板 Caffe-CPU-py36通用模板 Caffe-GPU-py36通用模板 ARM-Ascend模板

背景信息 模板分两大类型：通用类型，非通用类型。 非通用类型模板，针对特定的场景所定制的，固定输入输出模式，不可覆盖，如“TensorFlow图像分类模板”，固定使用预置图像处理模式。 通用模板，搭载特定的AI引擎以及运行环境，内置的输入输出模式为未定义模式，即不定义具体的输入输出格式，用户需根据模型功能或业务场景重新选择新的输入输出模式来覆盖内置的未定义模式，如图像分类模型应选择预置图像处理模式，而目标检测模型则应选择预置物体检测模式。 使用未定义模式的模型将无法部署批量服务。

XGBoost的推理脚本示例 更多机器学习引擎的推理代码请参考Pyspark、Scikit Learn。 # coding:utf-8 import collections import json import xgboost as xgb from model_service.python_model_service import XgSklServingBaseService class UserService(XgSklServingBaseService): # request data preprocess def _preprocess(self, data): list_data = [] json_data = json.loads(data, object_pairs_hook=collections.OrderedDict) for element in json_data["data"]["req_data"]: array = [] for each in element: array.append(element[each]) list_data.append(array) return list_data # predict def _inference(self, data): xg_model = xgb.Booster(model_file=self.model_path) pre_data = xgb.DMatrix(data) pre_result = xg_model.predict(pre_data) pre_result = pre_result.tolist() return pre_result # predict result process def _postprocess(self, data): resp_data = [] for element in data: resp_data.append({"predict_result": element}) return resp_data

自定义推理逻辑的推理脚本示例 首先，需要在配置文件中，定义自己的依赖包，详细示例请参见使用自定义依赖包的模型配置文件示例。然后通过如下示例代码，实现了“saved_model”格式模型的加载推理。 当前推理基础镜像使用的python的logging模块，采用的是默认的日志级别Warnning，即当前只有warning级别的日志可以默认查询出来。如果想要指定INFO等级的日志能够查询出来，需要在代码中指定logging的输出日志等级为INFO级别。