检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因此这些segments将会被压缩。 加载增量负载。 配置minor compaction参数的阈值:“compaction.level.threshold” = “6,6”。 运行minor compaction。此时只考虑增量负载。 父主题: CarbonData常见问题
管理平面)服务,即OMS LDAP LDAP2 部署在集群中的LdapServer(业务平面)服务 Kerberos1访问LDAP数据:以负载均衡方式访问主备LDAP1两个实例和双备LDAP2两个实例。只能在主LDAP1主实例上进行数据的写操作,可以在LDAP1或者LDAP2上进行数据的读操作。
rtition的不同Replica会分配在不同的机架上,所以当使用此策略时,需保证各个机架内的节点个数一致,否则会导致节点少的机架上的机器负载远高于集群平均水平。 ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数
/srv/BigData/yarn/data2/nm/containerlogs。这样数据就会存储在所有设置的目录中,一般会是在不同的设备中。为保证磁盘IO负载均衡,需要提供几个路径且每个路径都对应一个单独的磁盘。应用程序的本地化后的日志目录存在于相对路径/application_%{appid}
因此这些segments将会被压缩。 加载增量负载。 配置minor compaction参数的阈值:“compaction.level.threshold” = “6,6”。 运行minor compaction。此时只考虑增量负载。 父主题: CarbonData常见问题
rtition的不同Replica会分配在不同的机架上,所以当使用此策略时,需保证各个机架内的节点个数一致,否则会导致节点少的机架上的机器负载远高于集群平均水平。 ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数
S的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。此外,如果数据量为周期有规律的变化,并且希望在数据量变化前提前完成集群的扩缩容,可以使用MRS的资源计划特性。 MRS服务支持规则和时间计划两种弹性伸缩的策略: 弹性伸缩规则:根据集群实时负载对Task节点数量进行调整,数据量变化后触发扩缩容,有一定的延后性。
可能原因 上层计算服务(Spark/Hive/HetuEngine等)对MemArtsCC组件的并发请求数激增,或者业务突增服务负载增加,或者磁盘负载增加乃至故障等。 处理步骤 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,查找告警“ALM-47004
”) 内存分配比例:写、读、模型、空闲。 MRS 3.2.0版本:4:3:1:2 MRS 3.3.0及之后版本:3:3:1:1:2 可根据负载适当调整内存。 写入内存越大,对写入吞吐和单个查询越好。 查询内存越大,支持的并发查询越多。 元数据内存越大,就不容易出现“IoTDB system
HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录
eerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存,降低节点负载。 升级ZooKeeper数据磁盘,如SSD等。 父主题: HBase故障排除
定”,等待主NameNode启动完毕。 等待1小时,查看该告警是否自动消除。 是,处理结束。 否,执行20。 查看HDFS负载变化情况,适当降低HDFS负载。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS”,单击图表区
WHERE SEGMENT.STARTTIME BEFORE '2017-07-01 12:07:20'; 其中,STARTTIME是不同负载的加载启动时间。 系统响应 操作成功或失败会在CarbonData日志中被记录。 父主题: CarbonData语法参考
WHERE SEGMENT.STARTTIME BEFORE '2017-07-01 12:07:20'; 其中,STARTTIME是不同负载的加载启动时间。 系统响应 操作成功或失败会在CarbonData日志中被记录。 父主题: DML
HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录
eerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存,降低节点负载。 升级ZooKeeper数据磁盘,如SSD等。 父主题: HBase故障排除
User_Queue 产生该告警的提交用户及队列名称。 对系统的影响 系统负载高导致JDBC作业提交耗时增加,可能影响作业执行效率。同时,因为是异步检测,所以该告警触发并不会影响作业继续执行。 可能原因 该节点JDBCServer存在负载高等原因,需客户通过集群采集的系统指标及作业执行情况关注集群健康度。
每个分区负载均衡。对于存在数据倾斜的性能优化是很有用的。 dataStream.rebalance(); Rescaling:以round-robin的形式将元素分区到下游操作的子集中。如果你想要将数据从一个源的每个并行实例中散发到一些mappers的子集中,用来分散负载,但是又不想要完全的rebalance
分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能,其他相关配置可参考Yarn模式下动态资源调度。
写入速度变慢,并且WAL写入超时过多可能导致数据写入性能严重下降。 可能原因 慢盘故障。 RegionServer GC异常。 HBase负载过高。 WAL配置不合理。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看“告警ID”