AI开发平台MODELARTS-使用大模型在ModelArts Standard创建模型部署在线服务:创建模型
创建模型
使用大模型创建模型,选择从 对象存储服务 (OBS)中导入,需满足以下参数配置:
- 采用自定义引擎,开启动态加载
使用大模型要求用户使用自定义引擎,并开启动态加载的模式导入模型。用户可以制作自定义引擎,满足大模型场景下对镜像依赖包、推理框架等的特殊需求。自定义引擎的制作请参考使用自定义引擎在ModelArts Standard创建模型。
当用户使用自定义引擎时,默认开启动态加载,模型包与镜像分离,在服务部署时动态将模型加载到服务负载。
- 配置健康检查
大模型场景下导入的模型,要求配置健康检查,避免在部署时服务显示已启动但实际不可用。
图3 采用自定义引擎,开启动态加载并配置健康检查示例图