检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据校验,数据同步进展查看等功能。为了实现数据的实时容灾,可以把本HBase集群中的数据备份到另一个集群。支持HBase表普通写数据与Bulkload批量写数据场景下的容灾。 本章节适用于MRS 3.x及之后版本。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。
HDFS的业务操作对象是文件,代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。 本代码样例讲解顺序为: HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除文件 删除目录
Tablet是指数据分片,可以指定副本数,存放在多个tablet server上,多个副本中有一个是leader tablet;所有的副本都可以读,但是写操作只有leader可以,写操作利用一致性算法(Raft)。 Tablet server Tablet server是数据存储节点,存放tablet并且响应client请求,一个tablet
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 跨空间合并任务超时,会阻塞写数据,导致写操作的性能下降。 可能原因 该节点IoTDB跨空间合并任务较慢,需要进一步分析日志查看。 处理步骤 收集故障信息。 在FusionInsight
3.0及之后版本支持。 前提条件 集群已安装CDL、Hudi服务且运行正常。 Opengauss数据库需要开启预写日志功能,操作步骤请参考Opengauss数据库开启预写日志功能。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组c
向Phoenix表中插入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public
enabled”为“true”时,就会往配置的一个日志文件中写事件,记录程序的运行过程。当程序运行很久,job很多,task很多时就会造成日志文件很大,如JDBCServer、Spark Streaming程序。 而日志回滚功能是指在写事件日志时,将元数据事件(EnviromentUpd
enabled”为“true”时,就会往配置的一个日志文件中写事件,记录程序的运行过程。当程序运行很久,job很多,task很多时就会造成日志文件很大,如JDBCServer、Spark Streaming程序。 而日志回滚功能是指在写事件日志时,将元数据事件(EnviromentUpd
十进制函数和操作符 DECIMAL字面量 可以使用DECIMAL 'xxxxxxx.yyyyyyy' 语法来定义DECIMAL类型的字面量。 DECIMAL类型的字面量精度将等于字面量(包括尾随零和前导零)的位数。范围将等于小数部分(包括尾随零)的位数。 示例字面量 数据类型 DECIMAL
Hudi表概述 Hudi表类型 Copy On Write 写时复制表也简称cow表,使用parquet文件存储数据,内部的更新操作需要通过重写原始parquet文件完成。 优点:读取时,只读取对应分区的一个数据文件即可,较为高效。 缺点:数据写入的时候,需要复制一个先前的副本再
HDFS的业务操作对象是文件,代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。 本代码样例讲解顺序为: HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除文件 删除目录
Hudi表概述 Hudi表类型 Copy On Write 写时复制表也简称cow表,使用parquet文件存储数据,内部的更新操作需要通过重写原始parquet文件完成。 优点:读取时,只读取对应分区的一个数据文件即可,较为高效。 缺点:数据写入的时候,需要复制一个先前的副本再
添加HDFS的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户ra
添加HDFS的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户ra
ALM-38005 Broker进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测Broker进程的垃圾回收(GC)占用时间,当连续3次检测到Broker进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。 平滑次数为1,垃圾回收(GC)时间小于或等于
ALM-13001 ZooKeeper可用连接数不足 告警解释 系统每60秒周期性检测ZooKeeper服务连接数状态,当检测到ZooKeeper实例连接数超出阈值(最大连接数的80%)时产生该告警。 平滑次数为1,ZooKeeper可用连接数小于或等于阈值时,告警恢复;平滑次数
ALM-38002 Kafka堆内存使用率超过阈值 告警解释 系统每60秒周期性检测Kafka服务堆内存使用状态,当连续10次检测到Kafka实例堆内存使用率超出阈值(最大内存的95%)时产生该告警。 平滑次数为1,堆内存使用率小于或等于阈值时,告警恢复;平滑次数大于1,堆内存使
ALM-14006 HDFS文件数超过阈值 告警解释 系统每30秒周期性检测HDFS文件数,并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。 平滑次数为1,HDFS文件数指标的值小于或等于阈值时,告警恢复;平滑次数大于1,HDFS文件数指标的值小于或等于阈值的90%时,告警恢复。
ALM-38004 Kafka直接内存使用率超过阈值 告警解释 系统每30秒周期性检测Kafka服务直接内存使用状态,当连续10次检测到Kafka实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。 平滑次数为1,直接内存使用率小于或等于阈值时,告警恢复;平滑次数大于1
ALM-38006 Kafka未完全同步的Partition百分比超过阈值 告警解释 系统每60秒周期性检测Kafka服务未完全同步的Partition数占Partition总数的百分比,当连续3次检测到该比率超出阈值(默认50%)时产生该告警。 平滑次数为1,未完全同步的Par