-
如何关闭ZooKeeper的SASL认证? - MapReduce服务 MRS
如何关闭ZooKeeper的SASL认证? 问: 怎么关闭ZooKeeper SASL认证? 答: 登录FusionInsight Manager。 选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值:zookeeper
-
FE服务故障如何恢复 - MapReduce服务 MRS
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题,无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE,手动恢复FE先通过当前“meta_dir”中的元数据,启动一个新的MASTER,然后再逐台添加其他FE。 操作步骤
-
为什么给HBase使用的HDFS目录设置quota会造成HBase故障 - MapReduce服务 MRS
为什么给HBase使用的HDFS目录设置quota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障? 回答 表的flush操作是在HDFS中写memstore数据。 如果HDFS目录没有足够的磁盘空间quota,flush操作会失败,这样region
-
租户使用HBase BulkLoad功能提示权限不足如何处理 - MapReduce服务 MRS
租户使用HBase BulkLoad功能提示权限不足如何处理 问题 租户使用HBase bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如: 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。
-
MRS服务如何对接云日志服务? - MapReduce服务 MRS
MRS服务如何对接云日志服务? 前提条件 已获取账号AK和SK,详情请参考:如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组
-
如何在导入Hive表时指定输出的文件压缩格式? - MapReduce服务 MRS
如何在导入Hive表时指定输出的文件压缩格式? 问题现象 如何在导入Hive表时指定输出的文件压缩格式? 处理步骤 当前Hive支持以下几种压缩格式: org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress
-
使用Presto客户端执行查询语句 - MapReduce服务 MRS
请直接从步骤4开始执行。 根据业务情况,准备好客户端,并登录安装客户端的节点。 例如在Master2节点更新客户端,则登录该节点使用客户端,具体参见使用MRS客户端。 执行以下命令切换用户。 sudo su - omm 执行以下命令,切换到客户端目录,例如“/opt/client”。
-
ALM-12016 CPU使用率超过阈值 - MapReduce服务 MRS
ALM-12016 CPU使用率超过阈值 告警解释 系统每30秒周期性检测CPU使用率,并把实际CPU使用率和阈值相比较。CPU使用率默认提供一个阈值范围。当检测到CPU使用率连续多次(可配置,默认值为10)超出阈值范围时产生该告警。 平滑次数为1,CPU使用率小于或等于阈值时,告警
-
在Hive中drop表后如何完全释放磁盘空间 - MapReduce服务 MRS
在Hive中drop表后如何完全释放磁盘空间 用户问题 在Hive命令行执行drop表的操作后,通过命令hdfs dfsadmin -report查看磁盘空间,发现表没有删除。 原因分析 在Hive命令行执行drop表只删除了外部表的表结构,并没有删除该表存储在HDFS上的表数据。
-
开源sqoop-shell工具使用指导 - MapReduce服务 MRS
的方式,第一种通过配置文件获取,具体配置项请参考开源sqoop-shell工具使用示例(SFTP - HDFS)、开源sqoop-shell工具使用示例(Oracle - HBase);第二种方式则使用参数直接提供认证信息,这个方式有两种模式:密码模式和Kerberos认证模式。
-
配置Kafka高可用和高可靠 - MapReduce服务 MRS
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制,可以通过配置不同的参数来保障消息传输,进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响: 配置高可用、高性
-
如何查看Flume日志 - MapReduce服务 MRS
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
-
Flink客户端使用实践 - MapReduce服务 MRS
Flink客户端使用实践 本节提供使用Flink运行wordcount作业的操作指导。 前提条件 MRS集群中已安装Flink组件。 集群正常运行,已安装集群客户端,例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用Flink客户端
-
如何查看Flume日志 - MapReduce服务 MRS
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
-
如何判断某个服务是否使用了Ranger鉴权 - MapReduce服务 MRS
如何判断某个服务是否使用了Ranger鉴权 问题 如何判断某个支持使用Ranger鉴权的服务当前是否启用了Ranger鉴权? 回答 登录FusionInsight Manager,选择“集群 > 服务 > 服务名称”,在服务详情页上继续单击“更多”,查看“启用Ranger鉴权”是否为可单击?
-
如何使用自定义安全组创建MRS集群? - MapReduce服务 MRS
如何使用自定义安全组创建MRS集群? 问: 如何使用自定义安全组创建MRS集群? 答: 使用自定义安全组创建MRS集群有以下两种方式: 用户购买集群时,选择使用自己创建的安全组时,需要放开9022端口。 用户购买集群时,安全组选择“自动创建”。 父主题: 集群创建类
-
如何在Flume配置文件中使用环境变量 - MapReduce服务 MRS
如何在Flume配置文件中使用环境变量 操作场景 本章节描述如何在配置文件“properties.properties”中使用环境变量。 前提条件 Flume服务运行正常并已成功安装Flume客户端。 操作步骤 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd
-
如何在Flume配置文件中使用环境变量 - MapReduce服务 MRS
如何在Flume配置文件中使用环境变量 操作场景 本章节描述如何在配置文件“properties.properties”中使用环境变量。 本章节适用于MRS 3.x及之后版本。 前提条件 Flume服务运行正常并已成功安装Flume客户端。 操作步骤 以root用户登录安装Flume客户端所在节点。
-
MRS集群服务启用Ranger鉴权 - MapReduce服务 MRS
MRS集群服务启用Ranger鉴权 操作场景 该章节指导用户如何启用Ranger鉴权。安全模式默认开启Ranger鉴权,普通模式默认关闭Ranger鉴权。 操作步骤 登录FusionInsight Manager页面,具体请参见访问FusionInsight Manager(MRS
-
使用Flume客户端 - MapReduce服务 MRS
使用Flume客户端 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端(MRS 3.x之前版本)