AI开发平台MODELARTS-在开发环境中部署本地服务进行调试:示例代码

时间：2024-09-07 09:06:07

AI开发平台MODELARTS 服务管理

示例代码

在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。

TensorFlow1.8本地推理示例代码

需要在环境中配置“tensorflow_model_server”，可调用SDK接口快速配置，请参考如下示例代码。

CPU环境，调用Model.configure_tf_infer_environ(device_type="CPU")完成配置，环境中只需配置运行一次。
GPU环境，调用Model.configure_tf_infer_environ(device_type="GPU")完成配置，环境中只需配置运行一次。

  
   
     
     
       from modelarts.session import Session
from modelarts.model import Model
from modelarts.config.model_config import ServiceConfig

session = Session()
# GPU环境推理配置
Model.configure_tf_infer_environ(device_type="GPU")  
# CPU环境推理配置
#Model.configure_tf_infer_environ(device_type="CPU")   

model_instance = Model(
                     session, 
                     model_name="input_model_name",              # 模型名称
                     model_version="1.0.0",                      # 模型版本
                     source_location=model_location,             # 模型文件路径
                     model_type="MXNet",                         # 模型类型
                     model_algorithm="image_classification",     # 模型算法                                   
                     execution_code="OBS_PATH",                        
                     input_params=input_params,                  # 参考input_params格式描述
                     output_params=output_params,                # 参考output_params格式描述                             
                     dependencies=dependencies,                  # 参考dependencies格式描述
                     apis=apis)

configs = [ServiceConfig(model_id=model_instance.get_model_id(), weight="100", instance_count=1, 
                         specification="local")]
predictor_instance = model_instance.deploy_predictor(configs=configs)
if predictor_instance is not None:
    predict_result = predictor_instance.predict(data="your_raw_data_or_data_path", data_type="your_data_type")     # 本地推理预测，data支持raw data或者文件路径，data_type支持'json'、'files'或者'images'
    print(predict_result)

      

    

  
 