MAPREDUCE服务 MRS-通过Flume采集指定目录日志系统文件至HDFS:步骤1:创建MRS集群
步骤1:创建 MRS 集群
- 创建并购买一个包含有Flume、HDFS组件的MRS集群,详情请参见购买自定义集群。
本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。
- 集群购买成功后,登录集群的 FusionInsight Manager界面,下载集群客户端并解压。
由于Flume客户端需要单独安装,需要首先下载集群的客户端安装包到待安装Flume客户端的节点上并解压。
- 在FusionInsight Manager“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。
- 在“下载集群客户端”弹窗中填写集群客户端下载信息。
图3 下载集群客户端
- “选择客户端类型”中选择“完整客户端”。
- “选择平台类型”必须与待安装节点的架构匹配,以“x86_64”为例。
- 勾选“仅保存到如下路径”,填写下载路径,本示例以“/tmp/FusionInsight-Client/”为例,需确保omm用户对该路径有操作权限。
- 客户端软件包下载完成后,以root用户登录集群的主 OMS 节点,复制安装包到指定节点。
客户端软件包默认下载至集群的主OMS节点(可通过FusionInsight Manager的“主机”界面查看带有标识的节点),如需要在集群内其他节点上安装,执行以下命令将软件包传输至其他节点,否则本步骤可忽略。
cd /tmp/FusionInsight-Client/
scp -p FusionInsight_Cluster_1_Services_Client.tar 待安装Flume客户端节点的IP地址:/tmp
- 以root用户登录待安装Flume客户端的节点,进入客户端软件包所在目录后,执行以下命令解压软件包。
tar -xvf FusionInsight_Cluster_1_Services_Client.tar
tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Flume_如何使用Flume
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是HDFS_HDFS特性
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Loader_如何使用Loader