检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sink.partition-commit.trigger' = 'process-time', 'sink.partition-commit.delay' = '0S', 'sink.partition-commit.policy.kind' = 'metastore,success-file
Spark2x如何访问外部集群组件 问题 存在两个集群:cluster1 和cluster2,如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。
配置sql-standard-with-group创建schema失败报Access Denied 用户问题 配置sql-standard-with-group创建schema失败,报Access Denied的错误。
典型场景:从SFTP服务器导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,且该用户具备
第二个应用是使用yarn-cluster模式提交的,设置的应用名没有生效。
第二个应用是使用yarn-cluster模式提交的,设置的应用名没有生效。
Spark2x如何访问外部集群组件 问题 存在两个集群:cluster1和cluster2,如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。
具体请参考创建MRS操作用户创建用户,或添加用户权限(请勿添加MRS ReadOnlyAccess权限,拥有该权限的用户仅能查看MRS的资源。)。
KrbServer及LdapServer开源增强特性 集群内服务认证 在使用安全模式的MRS集群中,任意服务间的相互访问基于Kerberos安全架构方案。集群内某个服务(例如HDFS)在启动准备阶段的时候,会首先在Kerberos中获取该服务对应的服务名称sessionkey(即keytab
表1 Ranger日志列表 日志类型 日志文件名 描述 RangerAdmin运行日志 access_log.<DATE>.log Tomcat访问日志。 catalina.out Tomcat服务运行日志。 gc-worker.log RangerAdmin的GC日志。
Hive表支持级联授权功能 本章节适用于MRS 3.3.0及之后版本,且使用此功能前还需满足以下条件: 需排查OBS是否开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS运维人员。
CommitProcessor:13 | session=0xd4b0679daea0000 ip=10.177.112.145 operation=create znode target=ZooKeeperServer znode=/zk-write-test-2 result=success
CommitProcessor:13 | session=0xd4b0679daea0000 ip=10.177.112.145 operation=create znode target=ZooKeeperServer znode=/zk-write-test-2 result=success
admin用户在Ranger中的用户类型为“User”,只能查看Access Manager和Security Zone页面。
ALM-25501 KerberosServer请求数高 告警解释 系统每30秒周期性检查KerberosServer节点的处理请求数,并把实际处理的请求数和阈值相比较,当请求数连续多次(默认值为5)超过设定阈值时,系统将产生此告警。 平滑次数可配置,当平滑次数为1,进程连接数小于或等于阈值时
ALTER MATERIALIZED VIEW 语法 ALTER MATERIALIZED VIEW QUALIFIEDNAME SET PROPERTIES PROPERTY_NAME=PROPERTY_VALUE; 描述 修改物化视图的属性,相关属性可以参考CREATE MATERIALIZED
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer
登录JobServer实例所在的Master节点,查看每个JobBalancer实例的日志“/var/log/Bigdata/job-gateway/balance/access_http.log”里面请求是否转发到Master节点上新添加的JobServer的IP。
<yyyy-mm-dd >.log tomcat的运行日志 localhost_access_log. <yyyy-mm-dd >.txt tomcat的运行日志 manager <yyyy-mm-dd >.log tomcat的运行日志 localhost.
<yyyy-mm-dd >.log tomcat的运行日志 localhost_access_log. <yyyy-mm-dd >.txt tomcat的运行日志 manager <yyyy-mm-dd >.log tomcat的运行日志 localhost.