检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'hive-version' = '3.1.0', 'default-database' = 'default', 'cluster.name' = 'flink_hive' ); use catalog myhive; set table.sql-dialect =
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效,在使用yarn-client模式提交时生效,如图1所示,第一个应用是使用yarn-client模式提交的,正确显示代码里设置的应用名Spark P
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效,在使用yarn-client模式提交时生效,如图1所示,第一个应用是使用yarn-client模式提交的,正确显示代码里设置的应用名Spark P
Hive表支持级联授权功能 本章节适用于MRS 3.3.0及之后版本,且使用此功能前还需满足以下条件: 需排查OBS是否开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS运维人员。 针对OBS存储源,需满足以下条件,否则OBS表将授权失败: 集群中必须已安装Guardian服务。
DBService_test_DBService_DBService20180326155921 that failed last time are cleared successfully. 查看/var/log/Bigdata/dbservice/scriptlog/backup.log文件,发现日志停止打印,并没有备份相关信息。
<zkNode3_IP>:<zkNode3_Port>;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;user.principal=spark2x/hadoop.<系统域名>@<系统域名>;s
log.zip”,最多保留最近的20个压缩文件。 表1 Ranger日志列表 日志类型 日志文件名 描述 RangerAdmin运行日志 access_log.<DATE>.log Tomcat访问日志。 catalina.out Tomcat服务运行日志。 gc-worker.log
ALM-25501 KerberosServer请求数高 告警解释 系统每30秒周期性检查KerberosServer节点的处理请求数,并把实际处理的请求数和阈值相比较,当请求数连续多次(默认值为5)超过设定阈值时,系统将产生此告警。 平滑次数可配置,当平滑次数为1,进程连接数小
单击“基本信息”区域中的“RangerAdmin”,进入Ranger WebUI界面。 admin用户在Ranger中的用户类型为“User”,只能查看Access Manager和Security Zone页面。 如需查看所有管理页面,需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户:
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer作业中使用UDF
ALTER MATERIALIZED VIEW 语法 ALTER MATERIALIZED VIEW QUALIFIEDNAME SET PROPERTIES PROPERTY_NAME=PROPERTY_VALUE; 描述 修改物化视图的属性,相关属性可以参考CREATE MATERIALIZED
如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件:通过开源镜像站获取样例工程。 打印依赖树方式: 在pom.xml文件同目录下执行命令:mvn dependency:tree 父主题: Spark应用开发常见问题
ALM-12018 内存使用率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测内存使用率,并把实际内存使用率和阈值相比较。内存使用率默认提供一个阈值。当检测到内存使用率超过阈值时产生该告警。 当主机内存使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别
客户想使用Python3.x的环境对接开启Kerberos认证的Kafka的集群。 处理步骤 登录Master节点,执行如下命令,配置华为云欧拉镜像源。 wget http://mirrors.myhuaweicloud.com/repo/mirrors_source.sh && sh
ient/FusionInsight_Cluster_1_Services_ClientConfig scp Kafka/install_files/kafka/libs/* /opt/client/lib 步骤2:准备应用程序 通过开源镜像站获取样例工程。 下载样例工程的Mav
jdbc:hive2://<host>:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2 其中<host>为ZooKeeper地址,ZooKeeper地址可通过登录MRS Manager然后选择“服务管理
Storm UI查看信息时显示Internal Server Error 问题背景与现象 使用MRS版本安装集群,主要安装ZooKeeper、Strom。 通过MRS Manager中的Storm Status页面UI连接访问信息时显示如下信息: Internal Server Error
“user.keytab”文件与“krb5.conf”文件。 准备应用程序 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本
KrbServer及LdapServer开源增强特性 集群内服务认证 在使用安全模式的MRS集群中,任意服务间的相互访问基于Kerberos安全架构方案。集群内某个服务(例如HDFS)在启动准备阶段的时候,会首先在Kerberos中获取该服务对应的服务名称sessionkey(即
operation=create znode target=ZooKeeperServer znode=/zk-write-test-2 result=success | org.apache.zookeeper.ZKAuditLogger$LogLevel$5.printLog(ZKAuditLogger