MAPREDUCE服务 MRS-通过Flume采集指定目录日志系统文件至HDFS:步骤1:创建MRS集群

时间:2024-10-18 16:17:22

步骤1:创建 MRS 集群

  1. 创建并购买一个包含有Flume、HDFS组件的MRS集群,详情请参见购买自定义集群

    本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。

  2. 集群购买成功后,登录集群的 FusionInsight Manager界面,下载集群客户端并解压。

    由于Flume客户端需要单独安装,需要首先下载集群的客户端安装包到待安装Flume客户端的节点上并解压。

    1. 在FusionInsight Manager“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。
    2. 在“下载集群客户端”弹窗中填写集群客户端下载信息。
      图3 下载集群客户端
      • “选择客户端类型”中选择“完整客户端”。
      • “选择平台类型”必须与待安装节点的架构匹配,以“x86_64”为例。
      • 勾选“仅保存到如下路径”,填写下载路径,本示例以“/tmp/FusionInsight-Client/”为例,需确保omm用户对该路径有操作权限。
    3. 客户端软件包下载完成后,以root用户登录集群的主 OMS 节点,复制安装包到指定节点。

      客户端软件包默认下载至集群的主OMS节点(可通过FusionInsight Manager的“主机”界面查看带有标识的节点),如需要在集群内其他节点上安装,执行以下命令将软件包传输至其他节点,否则本步骤可忽略。

      cd /tmp/FusionInsight-Client/

      scp -p FusionInsight_Cluster_1_Services_Client.tar 待安装Flume客户端节点的IP地址:/tmp

    4. root用户登录待安装Flume客户端的节点,进入客户端软件包所在目录后,执行以下命令解压软件包。

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

support.huaweicloud.com/bestpractice-mrs/mrs_05_0051.html