MAPREDUCE服务 MRS-基于Kafka的Word Count数据流统计案例:步骤1:创建MRS集群

时间:2024-12-06 11:03:56

步骤1:创建 MRS 集群

  1. 创建并购买一个包含有Kafka组件的MRS集群,详情请参见购买自定义集群

    本文以购买的MRS 3.1.0版本的集群为例,组件包含Hadoop、Kafka组件,集群未开启Kerberos认证。

  2. 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端

    例如客户端安装在主管理节点中,安装目录为“/opt/client”。

  3. 客户端安装完成后,在客户端内创建“lib”目录,用于放置相关jar包。

    将安装客户端过程中解压的目录中Kafka相关jar包复制到“lib”目录。

    例如客户端软件包的下载路径为主管理节点的“/tmp/ FusionInsight -Client”目录,执行以下命令:

    mkdir /opt/client/lib

    cd /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_ClientConfig

    scp Kafka/install_files/kafka/libs/* /opt/client/lib

support.huaweicloud.com/bestpractice-mrs/mrs_05_0053.html