网络智能体-模板管理:背景信息

时间:2023-11-01 16:13:43

背景信息

在模型训练服务“模型管理”界面发布的推理服务,仅封装了Tensorflow类型的模型。对模型包格式上限制导致定制会比较多。或者使用特殊环境的Case难以实现,比如:KPI异常检测服务使用了很多Python的框架,且需要自定义启动的方式;有些Case还需要使用Java、Tomcat。

包括如下缺点:

  1. 对模型包格式有约束。虽然云端推理框架对模型训练服务发布的推理服务,进行了适配和封装,例如:预置若干必须的文件。还是对开发者增加了隐含约束,比如:流量预测服务曾遇到模型被覆盖的问题。
  2. 对入口文件“custom_service.py”的实现方式有约束,必须实现特定的接口,如:TensorflowService。如果推理服务不使用Tensorflow引擎,实现起来效果不理想。
  3. 仅支持提供一个推理服务调用接口,无法满足某些Case的需求,比如:KPI异常检测。
support.huaweicloud.com/usermanual-naie-model-training/naie_model_training_03_0077.html