检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka服务异常。 客户端Producer侧采用非安全访问,服务端配置禁止访问。 客户端Producer侧采用非安全访问,Kafka Topic设置ACL。 原因分析 Producer发送数据到Kafka失败,可能原因客户端Producer侧问题或者Kafka侧问题。 查看Kafka服务状态:
为什么提交Spark Streaming应用超过token有效期,应用失败 问题 修改kerberos的票据和HDFS token过期时间为5分钟,设置“dfs.namenode.delegation.token.renew-interval”小于60秒,提交Spark Streaming
max-lifetime 该参数为服务器端参数,设置Token的最大存活时间,单位为毫秒。取值范围:10000~10000000000000。 604800000 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数,设置Token renew的
优先级从低到高分别是trace、debug、information、warning、error、fatal,程序会打印高于或等于所设置级别的日志,设置的日志等级越低,打印出来的日志就越详细。 ClickHouse支持日志文件大小和文件数目的调整。 登录FusionInsight Manager界面,访问“集群
MAX(单分区数据量大小(G)/2G,再后向上取整,1) 需要使用的是表的总数据大小,而不是压缩以后的文件大小 桶的设置以偶数最佳,非分区表最小桶数请设置4个,分区表最小桶数请设置1个。 确认建表SQL DataArts支持通过Spark JDBC方式和Spark API方式操作Hudi表:
“/tmp”。如果为“/tmp”目录设置NOEXEC权限,然后HBase shell会启动失败并发生“java.lang.UnsatisfiedLinkError: Permission denied”异常。 因此,如果为“/tmp”目录设置了NOEXEC权限,那么“java.io
max-lifetime 该参数为服务器端参数,设置Token的最大存活时间,单位为毫秒。取值范围:10000~10000000000000。 604800000 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数,设置Token renew的
在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”,单击“确定”。 设置“主机”为告警所在节点和主OMS节点。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
everyone.if.no.acl.found”或配置为“false”。 当ACL设置为false不允许采用Kafka非安全端口21005来进行访问。 通过客户端命令查看topic的ACL权限设置信息: [root@10-10-144-2 client]# kafka-acls.sh
r实例,如果TimelineServer实例故障或未启动,需设置hive自定义参数yarn-site.xml中yarn.timeline-service.enabled=false,否则hive任务会执行失败。 参数设置完成后,Hive Queries界面即可展示数据,但无法展示历史数据,展示效果如下:
用于实现使用新SimpleConsumer API订阅Topic,并进行消息消费。(注意:SimpleConsumer API仅支持访问未设置ACL的Topic,安全接口说明见Kafka安全接口介绍) SimpleConsumer API属于lowlevel的Consumer A
r实例,如果TimelineServer实例故障或未启动,需设置hive自定义参数yarn-site.xml中yarn.timeline-service.enabled=false,否则hive任务会执行失败。 参数设置完成后,Hive Queries界面即可展示数据,但无法展示历史数据,展示效果如下:
GC占用大量时间时,可以通过如下配置,选择RocksDB作为状态后端。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值 spark.sql.streaming.stateStore.providerClass 用于管理有状态流查询中的
Multicast功能 HBase Multicast特性涉及Publisher(HMaster)以及Listener(客户端)两个角色,通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本,Publisher端默认开启了该特性。
端口被占用导致RegionServer启动失败 问题现象 Manager页面监控发现RegionServer状态为Restoring。 原因分析 通过查看RegionServer日志(/var/log/Bigdata/hbase/rs/hbase-omm-xxx.log)。 使用lsof
序所需配置文件。 登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待
“/tmp”。如果为“/tmp”目录设置NOEXEC权限,然后HBase shell会启动失败并发生“java.lang.UnsatisfiedLinkError: Permission denied”异常。 因此,如果为“/tmp”目录设置了NOEXEC权限,那么“java.io
默认只支持timestamp '*' 或者data '*'的格式,如果使用之前的语法插入数据表,会得到NULL值。 回答 在Spark客户端中执行以下命令设置“spark.sql.convert.special.datetime”参数即可兼容之前的语法。 set spark.sql.convert
为什么提交Spark Streaming应用超过token有效期,应用失败 问题 修改kerberos的票据和HDFS token过期时间为5分钟,设置“dfs.namenode.delegation.token.renew-interval”小于60秒,提交Spark Streaming
在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”,单击“确定”。 设置“主机”为告警所在节点和主OMS节点。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。