AI开发平台MODELARTS-自定义引擎创建模型规范:在本地机器调试

时间:2024-12-24 15:39:17

在本地机器调试

自定义引擎的规范可以在安装有docker的本地机器上通过以下步骤提前验证:

  1. 将自定义引擎镜像下载至本地机器,假设镜像名为custom_engine:v1。
  2. 将模型包文件夹复制到本地机器,假设模型包文件夹名字为model。
  3. 在模型包文件夹的同级目录下验证如下命令拉起服务:
    docker run --user 1000:100 -p 8080:8080 -v model:/home/mind/model    custom_engine:v1

    该指令无法完全模拟线上,主要是由于-v挂载进去的目录是root权限。在线上,模型文件从OBS下载到/home/mind/model目录之后,文件owner将统一修改为ma-user。

  4. 在本地机器上启动另一个终端,执行以下验证指令,得到符合预期的推理结果。
    curl https://127.0.0.1:8080/${推理服务的请求路径}
support.huaweicloud.com/usermanual-standard-modelarts/inference-modelarts-0128.html