数据湖探索 DLI-Flink Jar作业开发基础样例:环境准备

时间:2024-12-05 10:45:41

环境准备

  1. 登录 MRS 管理控制台,创建MRS集群,选择“开启kerberos”,勾选“Kafka”, “HBase”, “HDFS”等。请参见 MapReduce服务 用户指南》的“购买自定义集群”的章节创建MRS。
  2. “安全组规则”开通对应UDP/TCP端口。详细内容请参考《私有云用户指南》中的“添加安全组规则”章节。
  3. 进入MRS manager管理界面:
    1. 创建机机账号,需确保该用户含有“hdfs_admin”, “hbase_admin”权限,下载该用户认证凭据,其中包含“user.keytab”“krb5.conf” 文件。

      由于人机账号的keytab会随用户密码过期而失效,故建议使用机机账号进行配置。

    2. 单击“服务管理”,下载客户端,单击“确定”
    3. 在MRS节点上下载配置文件,所需集群配置文件包含“hbase-site.xml”“hiveclient.properties”
  4. 创建弹性资源池和队列。

    弹性资源池与队列为 DLI 作业提供计算资源,创建弹性资源池弹性资源池添加队列

  5. 使用该DLI独享队列与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。

    如何建立增强型跨源连接,请参考 数据湖探索 用户指南》增强型跨源连接章节。

    如何设置安全组规则,请参见《虚拟私有云用户指南》“安全组”章节。

  6. 获取MRS集群全部节点的ip和 域名 映射,在DLI跨源连接修改主机信息中配置host映射。

    如何添加IP域名映射,请参见 数据湖 探索用户指南》中“修改主机信息”章节。

    Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。

support.huaweicloud.com/devg-dli/dli_09_0150.html