检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rk/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zo
日志归档规则:Flume日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。
s文件中配置使用的pricipal为stream。 图4 检查Jaas文件 查看user.keytab文件,发现principal为zmk_kafka。 图5 查看user.keytab文件 发现jaas文件和user.keytab文件中principal不对应。 该情况是由于应
// set the user's principal try { conf.set("username.client.kerberos.principal", principal); User
[root@xxxxx ~]# cat /proc/sys/net/ipv4/neigh/default/gc_thresh* 128 512 1024 [root@xxxxx ~]# echo 512 > /proc/sys/net/ipv4/neigh/default/gc_thresh1
SELECT * FROM Orders o, Shipments s WHERE o.id = s.orderId AND o.ordertime BETWEEN s.shiptime - INTERVAL '4' HOUR AND s.shiptime Stream SQL Join仅支持Inner
使用Hive异常文件定位定界工具 操作场景 由于某些异常操作或者磁盘损坏等原因导致Hive存储的数据文件出现异常,异常的数据文件会导致任务运行失败或者数据结果不正确。 该工具用于对常见的非文本类的数据文件格式进行异常排查。 该章节内容仅适用MRS 3.2.0及之后版本。 操作步骤
从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101
cache: FILE:/tmp/krb5cc_0 Default principal: xxx@HADOOP.COM Valid starting Expires Service principal 12/24/16 14:11:42 12/25/16 14:11:40
if ((userPrincipal == null) || (userPrincipal.length() <= 0)) { LOG.error("input userPrincipal is invalid.");
INDEX_BOOTSTRAP_ENABLED.key(), "true"); HoodiePipeline.Builder builder = HoodiePipeline.builder(targetTable) .column("uuid
所有ZooKeeper客户端的操作都要在审计日志中添加Username。 从ZooKeeper客户端创建znode,其kerberos principal是“zkcli/hadoop.<系统域名>@<系统域名>”。 例如打开日志<ZOO_LOG_DIR>/zookeeper_audit.log,内容如下:
从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101
参数及参数说明 参数名称 参数说明 url jdbc:XXX://HSFabric1_IP:HSFabric1_Port,HSFabric2_IP:HSFabric2_Port,HSFabric3_IP:HSFabric3_Port/catalog/schema?serviceDiscoveryMode=hsfabric
2017-05-31 02:04:08,286 | INFO | IPC Server handler 30 on 25000 | allowed=true ugi=appUser@HADOOP.COM (auth:TOKEN) ip=/192.168.1.22 cmd=delete
reduceByKey(_+_).collect() 您可以直接在命令行中指定Keytab和Principal以获取认证,定期更新登录票据和授权tokens,避免认证过期。示例如下: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab
zookeeper.sasl.clientconfig=Client_new[1] # Principal of fi zookeeper server side. zookeeper.server.principal=zookeeper/hadoop.hadoop.com[2] # Set true
MRS_Log4j_Patch.tar.gz 在“/home/omm/MRS_Log4j_Patch/bin/ips.ini”文件中配置需要打补丁的节点IP(当前集群所有节点IP)。 每行配置一个IP,中间不能有空行。 执行脚本安装补丁。 cd /home/omm/MRS_Log4j_Patch/bin
> 实例”。 记录“NameNode(备)”的业务IP,当升级主Master节点规格时请记录“NameNode(主)”的业务IP,如图2所示。 图2 NameNode业务IP 仅当集群类型为分析集群时执行8-9分别记录主备节点的IP。 在Manager页面右上方查看图形的右侧数字,
e。 HTableDescriptor[] listTables(String regex) 查看匹配指定正则表达式格式的用户表。该方法还有另外两个重载的方法,一个入参类型为Pattern;一个入参为空,默认查看所有用户表。 HTableDescriptor[] listTables(final