检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Join-To-Live Flink双流Join需要将数据存储在状态后端,目前普遍使用Rocksdb作为状态后端。在TTL过大或无法确定TTL或数据流量增加的场景下,大流量会导致状态数据增加,增加存储压力,从而导致作业稳定性下降,或TTL过期可能出现数据关联不准确。 对于数据关联
应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE,且第一个连接到RM的NM不可用时,RM会在“yarn.nm.liveness-monitor.expiry-interval-ms”属性中指定的周期内,一直尝试为同一个NM分配任务。 可以通过两种方式来避免上述问题:
应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE,且第一个连接到RM的NM不可用时,RM会在“yarn.nm.liveness-monitor.expiry-interval-ms”属性中指定的周期内,一直尝试为同一个NM分配任务。 可以通过两种方式来避免上述问题:
FlinkServer主备节点间心跳中断 本章节适用于MRS 3.2.0及以后版本。 告警解释 FlinkServer主节点或备节点连续30秒(keepalive配置的心跳中断时间)未收到对端的心跳消息后,系统产生告警。 当心跳恢复后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45640
用root用户登录故障节点,执行cat /etc/nscd.conf命令,查看配置文件中“enable-cache passwd”、“positive-time-to-live passwd”、“enable-cache group”、“positive-time-to-live group”四项配置是否正确。
勾选确认信息后,单击“确定”。 单击“确定”,进入Manager登录页面。 输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入Manager页面。 通过ECS访问FusionInsight Manager 登录MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。
登录MRS集群节点 本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录(VNC方式)和如何使用密钥或密码方式(SSH方式)登录MRS集群中的节点,远程登录主要用于紧急运维场景,远程登录弹性云服务器进行相关维护操作。其他场景下,建议用户采用SSH方式登录。 如果需要使用SSH
Hudi TTL简介 TTL能力适用于MRS 3.5.0及之后的版本。 TTL能力目前只支持分区级别的TTL。 TTL(Time To Live)能力可以控制Hudi表中数据的生存周期,也称为数据老化。 考虑到如下两个场景: 场景1:如果需要在流场景中去删除老化的分区,只能停止流任务执行DDL命令去删除分区。
原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端,执行以下命令适当调大“query_timeout”参数值,默认为300秒。 SET GLOBAL query_timeout = xxx; 登录FusionInsight Manager,选择“集群 >
查看Executor的日志,出现“Executor 532 is lost rpc with driver,but is still alive, going to kill it”所示信息,表明Executor丢失是由于JVM Crash导致的。 JVM的关键Crash错误日志,如下:
表数据变化快,需要较短时间的过期时间,而另一个表数据变化较慢,需要较长时间的过期时间。目前Flink只有表级别的TTL(Time To Live:生存时间),为了保证Join的准确性,需要将表级别的TTL设置为较长时间的过期时间,此时状态后端中保存了大量的已经过期的数据,给状态后
查看Executor的日志,出现“Executor 532 is lost rpc with driver,but is still alive, going to kill it”所示信息,表明Executor丢失是由于JVM Crash导致的。 JVM的关键Crash错误日志,如下:
队列中的消息数量和队列中消息数量的最大值)。 INFO LiveListenerBus: [SparkListenerBus]:16044 events are consumed in 5000 ms. INFO LiveListenerBus: [SparkListenerBus]:51381
队列中的消息数量和队列中消息数量的最大值)。 INFO LiveListenerBus: [SparkListenerBus]:16044 events are consumed in 5000 ms. INFO LiveListenerBus: [SparkListenerBus]:51381
l_shipmode in ('AIR', 'AIR REG') and l_shipinstruct = 'DELIVER IN PERSON' ) or ( p_partkey = l_partkey
hbase(main):019:0> status 'replication', 'source' 输出结果如下: version 2.2.3 1 live servers BLR1000006595: SOURCE: PeerID=1, SizeOfLogQueue=0, ShippedBatches=0
hbase(main):019:0> status 'replication', 'source' 输出结果如下: version 2.2.3 1 live servers BLR1000006595: SOURCE: PeerID=1, SizeOfLogQueue=0, ShippedBatches=0
hbase(main):019:0> status 'replication', 'source' 输出结果如下: version 2.2.3 1 live servers BLR1000006595: SOURCE: PeerID=1, SizeOfLogQueue=0, ShippedBatches=0
hbase(main):019:0> status 'replication', 'source' 输出结果如下: version 2.2.3 1 live servers BLR1000006595: SOURCE: PeerID=1, SizeOfLogQueue=0, ShippedBatches=0
l_shipmode in ('AIR', 'AIR REG') and l_shipinstruct = 'DELIVER IN PERSON' ) or ( p_partkey = l_partkey