MAPREDUCE服务 MRS-配置组件隔离访问Hive MetaStore:操作场景

时间:2024-11-28 01:44:38

操作场景

MRS 3.2.0及之后的版本支持此功能,此功能用于限制集群内组件连接指定的Hive MetaStore实例,组件默认可连接所有MetaStore实例。

目前集群中支持连接MetaStore的组件有HetuEngine、Hive、Loader、Metadata、Spark2x、Flink,此功能适用于限制各组件服务端连接的MetaStore实例,支持在MetaStore中统一分配。

  • 此功能仅限制各组件服务端访问的MetaStore实例,元数据未隔离。
  • 暂不支持Flink,Flink任务均使用客户端配置,仍可连接所有MetaStore实例,不支持统一配置。
  • 使用spark-sql执行任务时客户端直接连接MetaStore,隔离后需要更新客户端才可生效。
  • 此功能仅支持同集群内隔离,HetuEngine不同集群部署的场景不支持统一配置,需要修改HetuEngine配置实现连接指定的MetaStore实例。
  • 配置隔离时,考虑可用性,建议组件最少配置两个MetaStore实例。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24467.html