检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ffset)的序列化编号。 图1 Kafka结构 Kafka UI Kafka UI提供Kafka Web服务,通过界面展示Kafka集群中Broker、Topic、Partition、Consumer等功能模块的基本信息,同时提供Kafka服务常用命令的界面操作入口。该功能作为Kafka
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中 public void dropTable() { LOG.info("Entering dropTable."); Admin
Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack,以及日志文件太大不滚动问题 补丁兼容关系 MRS 2.0.1.3补丁包中包含MRS 2.0.1.2补丁包和MRS 2.0.1.1补丁包的全部内容。 安装补丁的影响 安装MRS 2.0.1.3补丁期间会重启MRS
点进入只读模式。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 扩容告警上报节点的磁盘容量。 扩容失败,或扩容后告警仍然没有消除,执行4。 扩容后仅当profiles
e-kylin-3.0.2-bin-hbase1x 移除Hive客户端目录下/srv/client/Hive/Beeline/lib/目录中jetty相关jar包以避免版本冲突。 jetty相关jar包: javax-websocket-server-impl-9.4.26.v20200117
方法1:使用HBase shell客户端,在客户端手动执行major_compact操作。 方法2:编写HBase客户端代码,调用HBaseAdmin类中的compact方法触发HBase的compaction动作。 如果compact无法解决HBase端口占用现象,说明HBase使用情况已经达到瓶颈,需考虑如下几点:
Producer偶现发送数据失败,日志提示“Too many open files in system” Consumer初始化成功但是无法从Kafka中获取指定Topic消息 Consumer消费数据失败,Consumer一直处于等待状态 SparkStreaming消费Kafka消息失败,提示“Error
启动HDFS和Yarn服务报错“Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中 内存不足导致HDFS NameNode启动失败 ntpdate修改时间导致HDFS出现大量丢块 DataNode概率性出现CPU占用接近100%导致节点丢失
多的节点存储数据副本。 针对新写入到本DataNode的数据会优先写磁盘剩余空间多的磁盘。 部分磁盘使用率较高,依赖业务逐渐删除在HDFS中的数据(老化数据)来逐渐降低。 父主题: 使用HDFS
及元数据信息;记录写入的每个“数据块”与其归属文件的对应关系。 Standby NameNode:备NameNode,与主NameNode中的数据保持同步;随时准备在主NameNode出现异常时接管其服务。 Journalnode 高可用性(High availability,H
信息。 正在进行磁盘信息同步的集群不支持扩容、缩容、升级规格等操作。 同步磁盘信息 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“节点管理”。 单击“同步磁盘信息”。 页面右上角提示“同步磁盘信息请求下发成功”即可。
kudu-master.INFO kudu-master.WARNING 运行日志分ERROR、INFO、WARNING三类,每类会单独打印到相应的文件中,通过cat命令即可查看。 已知Kudu服务异常处理 日志“/var/log/Bigdata/kudu/runninglog/master/logs/kudu-master
如何避免Kerberos认证过期? 对于JAVA应用 在连接HBase、HDFS或者其他大数据组件前,先调用loginUserFromKeytab()创建UGI,然后启动一个定时线程进行检查是否过期并在过期前重新登录。 private static void startCheck
ECS底层接口异常,导致请求失败。 处理步骤 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。
检查是否MemTable太多引起写限流或写停止 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在告警“ALM-45643 RocksDB的MemTable大小持续超过阈值”。 是,执行3。 否,执行5。 参考ALM-45643
硬盘存在坏道等故障。 处理步骤 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的。 从“定位信息”中获取“主机名”和“设备分区名”,其中“主机名”为故障告警的节点,“设备分区名”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。
这个期间进入Kafka的所有数据均匀分配到各个任务,避免任务处理压力不均匀。 约束条件: 目前该功能只适用于Spark Streaming中的Direct方式,且执行结果与上一个batch时间处理结果没有依赖关系(即无state操作,如updatestatebykey)。对多条数
处理步骤 检查是否MemTable太多 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在告警“ALM-45643 RocksDB的MemTable大小持续超过阈值”。 是,执行3。 否,执行5。 参考ALM-45643
这个期间进入Kafka的所有数据均匀分配到各个任务,避免任务处理压力不均匀。 约束条件: 目前该功能只适用于Spark Streaming中的Direct方式,且执行结果与上一个batch时间处理结果没有依赖关系(即无state操作,如updatestatebykey)。对多条数
assign 'Region名' 等待几分钟后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行9。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的时间编辑按钮