-
配置ZooKeeper ZNode ACL - MapReduce服务 MRS
node指定ACL,ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。 增加ZooKeeper中znode的ACL。 修改ZooKeeper中znode的ACL。 删
-
ALM-12081 ommdba用户过期 - MapReduce服务 MRS
ommdba用户过期 告警解释 系统每天零点开始,每8小时检测当前系统中ommdba用户是否过期,如果用户过期,则发送告警。 当系统中ommdba用户过期的期限重置,当前状态为正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12081 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
-
ZooKeeper常用配置参数 - MapReduce服务 MRS
当Znode的ACL权限认证类型为SASL时,是否仅使用principal的用户名部分进行ACL权限认证。 true synclimit Follower与leader进行同步的时间间隔(单位为tick)。如果在指定的时间内leader没响应,连接将不能被建立。 15 tickTime 一次tick的时间(毫秒),
-
HBase健康检查指标项说明 - MapReduce服务 MRS
nServer的状态是否正常并处理,然后建议检查网络是否正常。 服务健康状态 指标项名称:服务状态 指标项含义:检查HBase服务状态是否正常。如果状态不正常,则认为不健康。 恢复指导:如果该指标项异常,请检查HMaster和RegionServer的状态是否正常并先处理,然后检
-
ALM-12084 ommdba密码过期 - MapReduce服务 MRS
ommdba密码过期 告警解释 系统每天零点开始,每8小时检测当前系统中ommdba密码是否过期,如果过期,则发送告警。 当系统中ommdba密码过期的期限重置,当前状态为正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12084 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
-
建立Hive表分区提升查询效率 - MapReduce服务 MRS
件夹,对系统性能可能带来影响。 在文件数量大的情况下,执行一个SQL语句启动时间较长,可以在执行SQL语句之前执行“set mapreduce.input.fileinputformat.list-status.num-threads = 100;”命令来缩短启动时间。“mapreduce
-
ALM-16007 Hive GC 时间超出阈值 - MapReduce服务 MRS
区域右上角的下拉菜单,选择“定制 > GC”,勾选“HiveServer的GC时间” ,单击“确定”,查看GC时间是否大于12秒。 是,执行4。 否,执行7。 图1 定制HiveServer的GC时间 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称
-
ALM-12082 ommdba用户即将过期 - MapReduce服务 MRS
告警解释 系统每天零点开始,每8小时检测当前系统中ommdba用户是否即将过期,如果用户即将在15天内过期,则发送告警。 当系统中ommdba用户过期的期限重置,当前状态为正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12082 次要 是 告警参数 参数名称 参数含义 来源
-
ClickHouse系统调优 - MapReduce服务 MRS
Manager查看主机上的CPU、内存、I/O和网络资源使用情况,确认这些资源是否已被充分利用,分以下几种情况: 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀,说明系统资源使用比较正常,可以先不关注,可以去分析SQL语句是否有进一步优化的余地。 有个别节点资源占用比较高 如果观察到
-
ALM-12077 omm用户过期 - MapReduce服务 MRS
omm用户过期 告警解释 系统每天零点开始,每8小时检测当前系统中omm用户是否过期,如果用户过期,则发送告警。 当系统中omm用户过期的期限重置,当前状态为正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12077 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
-
ALM-12078 omm密码过期 - MapReduce服务 MRS
omm密码过期 告警解释 系统每天零点开始,每8小时检测当前系统中omm密码是否过期,如果密码过期,则发送告警。 当系统中omm密码过期的期限修改,当前状态为正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12078 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
-
如何修复长时间处于RIT状态的Region - MapReduce服务 MRS
如何修复长时间处于RIT状态的Region 问题 在HBase WEBUI界面看到有长时间处于RIT状态的Region,如何修复? 回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。如
-
如何修复长时间处于RIT状态的Region - MapReduce服务 MRS
如何修复长时间处于RIT状态的Region 问题 在HBase WebUI界面看到有长时间处于RIT状态的Region,如何修复? 回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。如
-
配置内存 - MapReduce服务 MRS
Spark是内存计算框架,计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存中RDD的大小来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的GC情况(在客户端的conf/spark-defaults.conf配置文件中,在spark.driver
-
Spark Core内存调优 - MapReduce服务 MRS
Spark是内存计算框架,计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存中RDD的大小来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的GC情况(在客户端的conf/spark-default.conf配置文件中,在spark.driver
-
Spark同步HBase数据到CarbonData样例程序开发思路 - MapReduce服务 MRS
数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 数据规划 创建HBase表,构造数据,列需要包含key,modify_time,valid。其中每条数据key值全表唯一,modify_time代表修改时间,valid代表是否为有效数据(该样例中'1'为有效,'0'为无效数据)。
-
VERIFY - MapReduce服务 MRS
(mvname1,mvname2...) ORIGINALSQL query 描述 给定一条SQL查询语句,验证它是否可以被指定的物化视图重写。 示例 验证指定SQL是否能被物化视图mv.tpcds.test和mv.tpcds.t1重写。 verify materialized view
-
ALM-12054 证书文件失效(2.x及以前版本) - MapReduce服务 MRS
ALM-12054 证书文件失效(2.x及以前版本) 告警解释 系统在每天二十三点检查当前系统中的证书文件是否失效(即当前集群中的证书文件是否过期,或者尚未生效)。如果证书文件失效,产生该告警。 当重新导入一个正常证书,并且状态不为失效状态,该告警恢复。 告警属性 告警ID 告警级别
-
Spark Core内存调优 - MapReduce服务 MRS
Spark是内存计算框架,计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存中RDD的大小来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的GC情况(在客户端的conf/spark-default.conf配置文件中,在spark.driver
-
CarbonData调优思路 - MapReduce服务 MRS
数据加载性能调优 数据加载性能调优与查询性能调优差异很大。跟查询性能一样,数据加载性能也取决于可达到的并行性。在数据加载情况下,工作线程的数量决定并行的单元。因此,更多的执行器就意味着更多的执行器核数,每个执行器都可以提高数据加载性能。 同时,为了得到更好的性能,可在HDFS中配置如下参数。