检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 Kafka Topic中消息保留时间有限(默认7天),若不及时消费Topic中积压的消息,则会导致数据丢失。 可能原因 新创建的消费者组,从头开始消费Topic中的消息,导致消息积压。 用户配置的消息积压告警规则不合理,积压告警阈值设置过低,导致上报告警。
选择器属性的配置 数据源名称(source)可设置如下: CLI:使用--source选项。 JDBC:在Connection实例上设置ApplicationName客户端信息属性。
客户端机器必须安装有jaydebeapi,可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装: pip安装: 在客户端节点执行pip install JayDeBeApi。 运行脚本安装。
各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: 2016-07-13 14:36:12,736 INFO [main] basic.CreateTableSample: Create table sampleNameSpace:sampleTable successful
示例 -- 演示数据准备 create schema show_schema; use show_schema; create table show_table1(a int,b string); create table show_table2(a int,b string)
在“Select Resource Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。
对于正常业务无影响,但是如果业务存在请求或者数据倾斜问题,无法提供主动感知上报告警以及自愈的能力,该业务的请求可能会导致该节点过载,出现请求响应慢,甚至超时问题。 可能原因 ZooKeeper服务异常。 HBase服务异常。
在“磁盘”列,检查ZooKeeper实例所在的各节点数据磁盘空间是否不足(使用率超过百分之80)。 是,执行21。 否,执行23。 参考ALM-12017 磁盘容量不足进行处理,对磁盘进行扩容。 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。 是,处理完毕。
各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: 2016-07-13 14:36:12,736 INFO [main] basic.CreateTableSample: Create table sampleNameSpace:sampleTable successful
可以根据如下应用场景合理选择磁盘存储空间大小: 数据存储和计算分离,数据存储在OBS系统中,集群费用相对较低,计算性能不高,并且集群随时可以删除,建议数据计算不频繁场景下使用。
如果不做相应等待,可能造成数据丢失风险。 10分钟后,检查该告警是否恢复。 是,处理完毕。 否,执行5。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
详情请参见分析Hive数据中直连HiveServer的方式。
更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。 如果NTP服务器与集群当前时间偏差大于15分钟,集群访问OBS会连接失败。
熔断规则存在统计误差,例如规则running_0004,扫描数据量阈值配置10GB,但是因为判断周期和任务并发影响,可能在15GB甚至更高才进行熔断。 熔断规则存在边界效应,例如某个Job直到最后几个task才超过阈值,在执行熔断前任务恰好完成,则无法真正取消Job。
约束限制: 不涉及 取值范围: LOCAL_DB:本地元数据 RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 cluster_id
当Sort被关闭,获取Maps输出数据以后,直接合并后输出给Reduce,避免了由于排序而浪费大量时间。这种方式极大程度地提升了大部分SQL任务的效率。
在概览页面右上角选择 “更多 > 修改数据库密码”,在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 在“修改密码”对话框的“用户信息”中选择需要修改密码的用户名。 在“旧密码”输入旧密码,“新密码”和“确认密码”输入新密码。
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 database 否 String 参数解释: 执行SQL所在的数据库。
这意味着ZooKeeper服务端与客户端(ZKFC)之间数据交互失败。
图2 ResourceManager Web UI页面 查看MapReduce应用运行结果数据。 当用户在Linux环境下执行yarn jar mapreduce-example.jar命令后,可以通过执行结果显示正在执行的应用的运行情况。