检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其HMaster的“Active”和“Standby”状态。 如果集群启用了安全服务,在连接ZooKeeper时需要进行身份认证,认证方式有以下两种: keytab方式:需要从MRS集群管理员处获取一个“人机”用户,用于登录MRS平台并通过认证,并且获取到该用户的keytab文件。
利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务,租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制,在这些租户队列运行的任务可立即获取到预留资源,以保证计划的关键任务可正常执行。 租户和资源池的用户公平共享 Superior调度
在FusionInsight Manager的服务列表中,查看DBService运行状态是否为“良好”。 是,执行5。 否,执行2。 在告警列表中,查看是否有“ALM-27001 DBService服务不可用”告警产生。 是,执行3。 否,执行5。 参考ALM-27001 DBService服务不可用的处理步骤处理该故障。
调整Spark Core进程参数 操作场景 Spark on Yarn模式下,有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。
在FusionInsight Manager的服务列表中,查看Yarn运行状态是否为“良好”。 是,执行5。 否,执行2。 在告警列表中,查看是否有“ALM-18000 Yarn服务不可用”告警产生。 是,执行3。 否,执行5。 参考ALM-18000 Yarn服务不可用的处理步骤处理该故障。
在FusionInsight Manager的服务列表中,查看ZooKeeper运行状态是否为“良好”。 是,执行5。 否,执行2。 在告警列表中,查看是否有“ALM-13000 ZooKeeper服务不可用”告警产生。 是,执行3。 否,执行5。 参考ALM-13000 ZooKeeper服务不可用的处理步骤处理该故障。
在FusionInsight Manager的服务列表中,查看HDFS运行状态是否为“良好”。 是,执行5。 否,执行2。 在告警列表中,查看是否有“ALM-14000 HDFS服务不可用”告警产生。 是,执行3。 否,执行5。 参考ALM-14000 HDFS服务不可用的处理步骤处理该故障。
对系统的影响 IoTDBServer进程RPC过高,会影响IoTDBServer进程数据读写性能下降。 可能原因 IoTDBServer RPC有一个请求处理时长超过阈值,需要进一步分析日志查看。 处理步骤 收集故障信息。 在FusionInsight Manager页面,选择“运维 >
如何配置HBase双读功能 操作场景 HBase客户端应用通过自定义加载主备集群配置项,实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性,适用于使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为:
如何配置HBase双读功能 操作场景 HBase客户端应用通过自定义加载主备集群配置项,实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性,适用于四个查询场景:使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为:
作业的本地临时文件(例如shuffle文件是否过大)、监控Hive、HetuEngine、Spark的关键HDFS目录(不支持OBS)是否过大。对于占用存储资源(本地磁盘或者关键HDFS目录)过大的作业上报事件。 本章节内容仅适用于MRS 3.5.0及之后版本。 监控的HDFS目录请参见表1。
如何配置HBase双读功能 操作场景 HBase客户端应用通过自定义加载主备集群配置项,实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性,适用于使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为:
Yarn客户侧ResourceManager报错空指针并发生主备倒换。 重启Router或者NameNode时延高时,作业有概率在new状态卡顿。 结束有预留资源的任务后,Yarn上预留资源累加不释放。 主备容灾场景中,备集群MapReduce临时任务日志无法进行定期删除,使得日志目录会堆满,导致容灾任务失败。
如何配置HBase双读能力 操作场景 HBase客户端应用通过自定义加载主备集群配置项,实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性,适用于四个查询场景:使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为:
华为云EI基于AI和大数据技术,通过云服务的方式提供开放可信的平台。 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自各服务的技术牛人,为您解决技术难题。
而部分磁盘达到使用率上限)。 如果不清楚哪些Topic业务数据量较大,可以参考如下步骤查询: 根据2中获取到的主机节点信息,登录实例节点。 进入对应的数据目录(即14中“log.dirs”修改之前的配置路径)。 执行以下命令查看该目录下哪些Topic的Partition目录占用的磁盘空间比较大。
若还有问题,需联系技术支持人员做进一步分析。 认证失败样例 解决认证出现如下关键字:clock skew too great的问题 检查集群时间。 检查开发环境所在机器的时间,与集群时间的偏差应小于5分钟。 解决认证出现如下关键字:(Receive time out) can not connect
配置HBase主备集群容灾 操作场景 HBase集群容灾作为提高HBase集群系统高可用性的一个关键特性,为HBase提供了实时的异地数据容灾功能。它对外提供了基础的运维工具,包含灾备关系维护,重建,数据校验,数据同步进展查看等功能。为了实现数据的实时容灾,可以把本HBase集群
kinit 用户名 执行以下命令登录客户端工具。 beeline 指定静态分区或者动态分区。 静态分区: 静态分区是手动输入分区名称,在创建表时使用关键字PARTITIONED BY指定分区列名及数据类型。应用开发时,使用ALTER TABLE ADD PARTITION语句增加分区,以及使用LOAD
partition(p1='b') select col1,col2,col3 from temp_table; 查询test_table表数据,返回结果中列col3有不为NULL的值 select * from test_table where p1='b' 原因分析 在alter table时默认选项为