检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Schema: Failed initialising database. Unable to open a test connection to the given database. JDBC url = jdbc:postgresql://ip:port/sparkhivemeta
监控开关由参数“dfs.namenode.directory-items.monitor.enabled”指定,默认值为“true”,即该检测默认开启。 告警属性 告警ID 告警级别 是否自动清除 14020 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。
server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.5补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.0.5补丁期间会重启MRS Manager,滚动重启Hive、Impala、Sp
配置参数有两个: spark.thriftserver.proxy.create.session.monitor.enabled,控制是否启用该告警功能,集群默认配置为true。 spark.thriftserver.proxy.create.session.timeout.th
server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.7补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.0.7补丁期间会重启MRS Manager,滚动重启Hive、Impala、Sp
OpenTSDB OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB由时间序列守护进程(TSD)和一组命令行
server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.6补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.0.6补丁期间会重启MRS Manager,滚动重启Hive、Impala、Sp
MRS 3.x之前版本,执行7。 MRS 3.x及之后版本,选择“集群 > 服务 > Hive”,在服务“概览”页面右上角单击“更多”,查看“启用Ranger鉴权”是否置灰。 是,执行2。 否,执行7。 选择“集群 > 服务 > Ranger”,单击“基本信息”区域中的“RangerAdmin”,进入Ranger
bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式):
IndexServer2x进程非堆内存使用率过高,会影响IndexServer2x进程运行的性能,甚至造成内存溢出导致IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。
control,基于策略的权限控制)方式进行权限管理,可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 组件同时只支持一种权限控制机制,当组件启用Ranger权限控制策略后,通过FusionInsight Manager创建的角色中关于该组件的权限将失效(HDFS与Yarn的组件AC
tion为“obs://obs-test/test/数据库名/表名”: create external table testspark(name string) location "obs://obs-test/test/数据库名/表名"; 配置Spark基于Hive MetaStore方式对接OBS:
准备一台不属于MRS集群的Linux弹性云服务器,绑定一个弹性IP,参考集群外节点安装客户端章节安装集群客户端,例如安装目录为“/opt/client”。 确认MRS集群是否开启了Kerberos认证。 是,执行步骤 3。 否,执行步骤2:安装Python3。 登录集群的Manager界面。 单击“系统 > 权限 >
在物联网场景中,海量设备采集的数据需要进行低延迟的高效接入、存储和分析,数据具有高度的时间属性相关特点,传统数据库基于二维表的数据模型,无法满足物联网场景下高效的时序数据存储和分析需求。时序数据库则是专门针对物联网时序数据场景设计的存算引擎,数据按设备管理架构和时间属性进行组织存储和访问,具
为当前用户配置Yarn队列的权限。 在Manager界面为当前用户绑定对应权限的角色,例如:default,详细操作请参考修改用户信息章节。 若Hive启用了Ranger鉴权,也可以参考添加Yarn的Ranger访问权限策略章节设置当前用户在指定Yarn队列提交任务的权限。 权限配置生效后,重新执行命令。
server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.8补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS
以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 执行以下命令获取指定任务的日志信息。
不要关闭WAL WAL是Write-Ahead-Log的简称,是指数据在入库之前,首先会写入到日志文件中,借此来确保数据的安全性。 WAL功能默认是开启的,但是,在Put类中提供了关闭WAL功能的接口: public void setWriteToWAL(boolean write) 因此
IndexServer2x进程堆内存使用率过高,会影响IndexServer2x进程运行的性能,甚至造成内存溢出导致IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。
IndexServer2x进程直接内存使用率过高,会影响IndexServer2x进程运行的性能,甚至造成内存溢出导致IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。