数据湖探索 DLI-迁移Kafka数据至DLI:前提条件
前提条件
- 已创建 DLI 的SQL队列。创建DLI队列的操作可以参考创建DLI队列。
创建DLI队列时队列类型需要选择为“SQL队列”。
- 已创建包含Kafka组件的 MRS 安全集群。具体创建MRS集群的操作可以参考创建MRS集群。
- 本示例创建的MRS集群版本为:MRS 3.1.0。
- 本示例创建的MRS集群开启了Kerberos认证。
- 已创建 CDM 迁移集群。创建CDM集群的操作可以参考创建CDM集群。
- 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
- 数据源为云上的MRS、DWS时,网络互通需满足如下条件:
i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。
配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。
本示例CDM集群的虚拟私有云、子网以及安全组和创建的MRS集群保持一致。