AI开发平台MODELARTS-使用大模型在ModelArts Standard创建AI应用部署在线服务:申请扩大AI应用的大小配额和使用节点本地存储缓存白名单

时间:2024-11-12 16:42:18

申请扩大AI应用的大小配额和使用节点本地存储缓存白名单

服务部署时,默认情况下,动态加载的模型包位于临时磁盘空间,服务停止时已加载的文件会被删除,再次启动时需要重新加载。为了避免反复加载,平台允许使用资源池节点的本地存储空间来加载模型包,并在服务停止和重启时仍有效(通过哈希值保证数据一致性)

使用大模型要求用户采用自定义引擎,并开启动态加载的模式导入模型。基于此,需要执行以下操作:

  • 如果模型超过默认配额值,需要提工单申请扩大单个AI应用的大小配额。单个AI应用大小配额默认值为20GB。
  • 需要提工单申请添加使用节点本地存储缓存的白名单。
support.huaweicloud.com/bestpractice-modelarts/modelarts_04_0275.html