数据湖探索 DLI-迁移Hive数据至DLI:前提条件

时间:2024-04-30 09:46:21

前提条件

  • 已创建 DLI 的SQL队列。创建DLI队列的操作可以参考创建DLI队列

    创建DLI队列时队列类型需要选择为“SQL队列”。

  • 已创建包含Hive组件的 MRS 安全集群。创建MRS集群的操作详细可以参考创建MRS集群
    • 本示例创建的MRS集群和各组件版本如下:
      • MRS集群版本:MRS 3.1.0
      • Hive版本:3.1.0
      • Hadoop版本:3.1.1
    • 本示例创建MRS集群时开启了Kerberos认证。
  • 已创建 CDM 迁移集群。创建CDM集群的操作可以参考创建CDM集群
    • 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
    • 数据源为云上的MRS、DWS等服务时,网络互通需满足如下条件:

      i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。

      ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。

      配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。

      iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。

    本示例CDM集群的虚拟私有云、子网以及安全组和MRS集群保持一致。

support.huaweicloud.com/bestpractice-dli/dli_05_0031.html