检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时,Zookeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如
配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限
Kerberos1访问LDAP数据:以负载均衡方式访问主备LDAP1两个实例和双备LDAP2两个实例。只能在主LDAP1主实例上进行数据的写操作,可以在LDAP1或者LDAP2上进行数据的读操作。 Kerberos2访问LDAP数据:读操作可以访问LDAP1和LDAP2,数据的写操作只能在主LDAP1实例进行。
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
有的消费者实例都属于同样的消费组,它们就以传统队列负载均衡方式工作。如上图中,Consumer1与Consumer2之间为负载均衡方式;Consumer3、Consumer4、Consumer5与Consumer6之间为负载均衡方式。如果消费者实例都属于不同的消费组,则消息会被广
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象? 出现该问题时,查看ZooKeeper和ZKFC的日志,发现ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessio
Hive Group By语句优化 操作场景 优化Group by语句,可提升命令执行速度和查询速度。 Group by的时候, Map端会先进行分组, 分组完后分发到Reduce端, Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化,开启Map端初步聚合,减少Map的输出数据量。
GB数据均匀切分后分别放到shard-1、shard-2和shard-3的3个分片节点中,以充分发挥MPP查询时并行计算能力,避免数据在shard间倾斜计算出现木桶效应,导致SQL查询性能较差。 可通过弹性负载均衡(Elastic Load Balance,简称ELB)访问ClickHouse,来实现数据均匀。
SYNC_PERCENT 同步百分比。 对系统的影响 主备DBServer数据不同步,如果此时主实例异常,则会出现数据丢失或者数据异常的情况。 可能原因 主备节点网络不稳定。 备DBService异常。 备节点磁盘空间满。 主DBService节点GaussDB进程CPU使用率高(需要通过日志定位该问题)。
IoTDB客户端只能连接一个IoTDBServer,大量并发使用同一个客户端会对该客户端连接的IoTDBServer造成压力,可以根据业务需求连接多个不同的客户端来达到负载均衡。 使用SessionPool复用连接 分布式在Session内部做了缓存,实现客户端时避免每次读写都新建Session,或者使用SessionPool进行复用连接。
Hive Group By语句优化 操作场景 优化Group by语句,可提升命令执行速度和查询速度。 Group by的时候, Map端会先进行分组, 分组完后分发到Reduce端, Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化,开启Map端初步聚合,减少Map的输出数据量。
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果主Manager进程资源异常,主备倒换无法进行,影响运维基本功能使用。 可能原因 主备Manager节点间链路异常。 节点名配置错误。 防火墙禁用端口。 处理步骤 检查主备Manager服务器间的网络是否正常。 在FusionInsight
对端DBService HA名称。 对系统的影响 DBService主备间心跳中断时只有一个节点提供服务,一旦该节点故障,再无法切换到备节点,就会服务不可用。 可能原因 主备DBService节点间链路异常。 处理步骤 检查主备DBService服务器间的网络是否正常。 在FusionInsight
YARN中的ResourceManager负责整个集群的资源管理和任务调度,在Hadoop2.4版本之前,ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceManager节点的方式,解决了这个基础服务的可靠性和容错性问题。 图1 ResourceManager高可用性实现架构
ALM-12011 Manager主备节点同步数据异常 告警解释 系统按60秒周期检测Manager主备节点同步数据情况,当备Manager无法与主Manager同步文件时,产生该告警。 当备Manager与主Manager正常同步文件时,告警恢复。 告警属性 告警ID 告警级别
对系统的影响 OMS数据库主备不同步会导致主数据库上的数据无法正常同步至备数据库,在告警上报时间段若主实例异常可能会导致用户业务数据丢失或者Manager页面数据显示异常。 可能原因 主备节点网络不稳定。 备OMS数据库异常。 备节点磁盘空间满。 处理步骤 检查主备节点网络是否正常。 在FusionInsight
原因分析 从错误截图可以看到报错是no route to host,且报错信息里面有192.168的ip,也即客户端节点到集群的DN节点的内网路由不通,导致上传文件失败。 处理步骤 在客户端节点的客户端目录下,找到HDFS的客户端配置目录hdfs-site.xml文件,在配置文件中增加配置项dfs
FlinkServer主备节点同步数据异常 本章节适用于MRS 3.2.0及以后版本。 告警解释 系统每60秒周期检测FlinkServer主备节点同步数据情况,当备FlinkServer无法与主FlinkServer同步文件时,产生该告警。 当备FlinkServer与主FlinkServer正常同步文件时,告警恢复。
对系统的影响 FlinkServer主备之间的心跳中断有很多原因,如果是主节点出问题,那么心跳中断后备节点会升为主节点,继续对外提供服务;如果是因为其他原因,比如网络问题导致心跳中断,很可能会出现双主的现象,因为备节点也会升为主节点,会导致主备数据同步出现问题,但Flinkserver可以提供服务。
HBase容灾集群主备倒换 操作场景 当前环境HBase已经是容灾集群,因为某些原因,需要将主备集群互换,即备集群变成主集群,主集群变成备集群。 对系统的影响 主备集群互换后,原先主集群将不能再写入数据,原先备集群将变成主集群,接管上层业务。 操作步骤 确保上层业务已经停止 确保