检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储在HDFS上的表数据。 处理步骤 使用root用户登录安装客户端的节点,并认证用户。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群跳过此操作) 执行以下命令删除存储在HDFS上的表。 hadoop fs
Manager管理界面,选择“系统 > 权限 > 用户”,选择用户flume_hdfs,选择“更多 > 下载认证凭据”下载Kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume来配置Flume角色服务端参数并生成配置文件。
在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume配
/opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令认证当前用户(若集群未启用Kerberos认证(普通模式)请跳过该操作): kinit 具有Hive操作权限的组件业务用户 执行以下命令登录Hive客户端: beeline
之前,需要做的必要工作。 大致过程为:加载HDFS服务配置文件,并进行Kerberos安全认证,认证通过后再实例化Filesystem,之后使用HDFS的API。此处Kerberos安全认证需要使用到的keytab文件,请提前准备。 正确示例: private void init()
bigdata_env 如果当前集群已启用Kerberos认证如果当前集群为安全集群,执行以下命令认证当前用户,当前用户需要具有读写HBase表的权限和HDFS的操作权限: kinit 组件业务用户 如果当前集群未启用Kerberos认证,则执行以下命令设置Hadoop用户名: export
配置参数、并发控制、查询处理和数据库应用有广泛而深刻的理解和认识,才能在调优过程中找到关键瓶颈点,解决性能问题。 图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优,充分地利用主机的CPU、内存、I/O和网络资源,提升整个系统查询的吞吐量,同时数据库参数也调整到最优状态。
执行以下命令,配置环境变量。 source /opt/client/bigdata_env 启用Kerberos认证的集群,执行以下命令认证用户身份。未启用Kerberos认证的集群无需执行本步骤。 kinit Kafka用户 根据业务需要,管理Kafka主题中的消息。 在主题中产生消息
使用CarbonData前需先创建表,才可从表中加载数据和查询数据。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。启用Kerberos认证的分析集群创建CarbonData表时,如果用户需要在默认数据库“default”以外的数据库创建新表,则需要在Hive角色管理中为用户绑
WebHCat接口介绍 以下示例的IP为WebHCat的业务IP,端口为安装时设置的WebHCat HTTP端口。 需要在安装客户端的机器上进行kinit认证操作后才可执行示例操作。 以下示例均为https协议的示例,若要使用http协议,需要执行以下操作: 将REST接口切换成HTTP协议方式
场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1.txt:数据输入文件 YuanJing,male
场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1.txt:数据输入文件 YuanJing,male
使用具有FlinkServer管理员权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Flink”。 对于开启了Kerberos认证的MRS集群,访问Flink WebUI,需提前创建具有FlinkServer管理员权限或应用查看、应用编辑权限的角色,并为用户绑定该角色
HostName 产生告警的主机名。 对系统的影响 告警发生时,不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件健康状态将为故障。 可能原因 组件KrbServer服务所在节点故障。 OLdap服务不可用。
Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本),选择“集群 > 服务 > Flink”。 对于开启了Kerberos认证的MRS集群,访问Flink WebUI,需提前创建具有FlinkServer管理员权限或应用查看、应用编辑权限的角色,并为用户绑定该角色
场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt:数据输入文件 YuanJing,male
场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1.txt:数据输入文件 YuanJing,male
场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1.txt:数据输入文件 YuanJing,male
WebHCat接口介绍 以下示例的IP为WebHCat的业务IP,端口为安装时设置的WebHCat HTTP端口。 需要在安装客户端的机器上进行kinit认证操作后才可执行示例操作。 以下示例均为https协议的示例,若要使用http协议,需要执行以下操作: 将REST接口切换成HTTP协议方式
网络故障(如:错包率高、高延迟等)导致Httpd没有接收到报文或者接收到了错误报文。 时钟跳变或其他因素的影响导致Httpd服务与Hue服务认证关系失效。 排查思路 排查是否发生过网络故障或时钟跳变。 排查当前是否发生过或仍存在Hue服务相关告警。 处理步骤 登录FusionInsight