检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以访问。 使用root或omm用户登录到主OMS节点。 检查“/srv/BigData/dbdata_om”目录所在的分区是否已满。 清理冗余的数据。 父主题: 登录集群Manager常见异常问题
UDFWindowFunction) 当一个数据到来时,会被分配到20/5=4个不同的窗口中,即数据在内存中保存了4份。当窗口大小/滑动周期非常大时,冗余现象非常严重。 图1 窗口原始结构示例 假设一个数据在102秒时到来,它将会被分配到[85, 105)、[90, 110)、[95, 115)以及[100
上游增量数据已经Clean掉了,flink需要从parquet文件读增量数据,性能会有下降;如果保留时间过长,会导致log里面的历史数据冗余存储。 具体可以按照下面的计算公式来保留2个小时的历史版本数据: 版本数设置为3600*2/版本interval时间,版本interval
Doris连接运行规范 连接Doris和运行Doris任务时需遵循的规范如下: 推荐使用ELB连接Doris,避免当连接的FE故障时,无法对外提供服务。 当Doris单实例或硬件故障时,新提交的任务能运行成功,但不能确保故障时正在运行的任务能执行成功。因此,需要用户连接Doris
ClickHouse企业级能力增强 通过ELB访问ClickHouse ClickHouse开启mysql_port配置 父主题: 使用ClickHouse
将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性,RSGroup内的RegionServer节点数量需要配置一定的冗余量,确保冗余节点数 > (RSGroup内业务表region总数/2000)* 50%。 如果系统表在单独的RSGroup,需要确保该RSGroup的节点数量
将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性,RSGroup内的RegionServer节点数量需要配置一定的冗余量,确保冗余节点数 >(RSGroup内业务表region总数/2000)*50%。 如果系统表在单独的RSGroup,需要确保该RSGroup的节点数量
查看ClickHouse慢查询语句 查看ClickHouse复制表数据同步监控 配置ClickHouse副本间数据强一致 配置ClickHouse支持事务能力 配置通过ELB访问ClickHouse 父主题: 使用ClickHouse
配置Doris高可用功能 Doris集群高可用方案概述 配置通过ELB访问Doris集群 父主题: Doris企业级能力增强
执行compaction计划 run clean on $tablename; // 执行clean操作清理冗余版本 run archivelog on $tablename; // 执行archivelog合并清理元数据文件
取值范围: true:存在仲裁部署。 false:不存在仲裁部署。 support_elb Boolean 参数解释: 支持ELB。 取值范围: true:支持ELB。 false:不支持ELB。 multi_affinity_group_enable Boolean 参数解释:
fileInfo.getProperty("spark.thriftserver.zookeeper.namespace") //从配置项中删除冗余字符 if (zkNamespace != null) zkNamespace = zkNamespace.substring(1) val
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 父主题: 使用CDL
fileInfo.getProperty("spark.thriftserver.zookeeper.namespace") //从配置项中删除冗余字符 if (zkNamespace != null) zkNamespace = zkNamespace.substring(1) val
Group的情况下,一个SubTask是部署在一个slot上的。即使开启了Slot Sharing Group,大部分情况下Slot中拥有的SubTask也是负载均衡的。所以可以理解为TM上的Slot个数代表了上面运行的任务线程数。 合理的Slots数量应该和CPU核数相同,在使用超线程时,每个Slot将占用2个或更多的硬件线程。
thriftserver.zookeeper.namespace"); if (zkNamespace != null) { //从配置项中删除冗余字符 zkNamespace = zkNamespace.substring(1); } StringBuilder sb = new
thriftserver.zookeeper.namespace"); if (zkNamespace != null) { //从配置项中删除冗余字符 zkNamespace = zkNamespace.substring(1); } StringBuilder sb = new
对比FsImage的大小和目录剩余空间大小,看剩余空间是否还能存储一个FsImage文件。 是,执行7。 否,执行19。 清理该目录所在磁盘的冗余文件,以便给元数据存放预留足够的空间。空间清理完毕后等待1个NameNode合并元数据的周期时间,查看告警是否清除。 是,处理完毕。 否,执行20。
fileInfo.getProperty("spark.thriftserver.zookeeper.namespace") //从配置项中删除冗余字符 if (zkNamespace != null) zkNamespace = zkNamespace.substring(1) val
fileInfo.getProperty("spark.thriftserver.zookeeper.namespace") //从配置项中删除冗余字符 if (zkNamespace != null) zkNamespace = zkNamespace.substring(1) val