检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项，包括用户登录信息配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象：
的性能问题。 操作步骤 要启动聚合算法优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.codegen.aggregate.map.twolevel.enabled 是否开启聚合算法优化：
Kafka Consumer API使用样例 功能介绍 下面代码片段在com.huawei.bigdata.kafka.example.Consumer类中，用于消费订阅的Topic消息。 代码样例 Consumer线程的dowork方法逻辑，该方法是run方法的重写。 样例代码
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性，一般使用HDFS进行存储。以HDFS存储来看，一个Hudi表的存储文件分为两类。
才能运行Spark样例工程。 操作步骤 登录MRS Manager，请参考登录MRS Manager。 在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如sparkrole。 在“权限”表格中选择“HBase > HBase Scope
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性，一般使用HDFS进行存储。以HDFS存储来看，一个Hudi表的存储文件分为两类。
ALM-43010 JDBCServer进程堆内存使用超出阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测JDBCServer进程堆内存使用状态，当检测到JDBCServer进程堆内存使用率超出阈值（最大内存的90%）时产生该告警。 告警属性 告警ID 告警级别 可自动清除
Shell或者Web UI访问服务端，对HBase的表进行读写操作。本文中的HBase客户端特指HBase client的安装包，可参考HBase对外接口介绍。 父主题： HBase应用开发概述
Shell或者Web UI访问服务端，对HBase的表进行读写操作。本文中的HBase客户端特指HBase client的安装包，可参考HBase对外接口介绍。 父主题： HBase应用开发概述
停止”，等待任务停止完成后选择“更多 > 编辑”。 配置“Hudi表属性配置”的“Table Primarykey Mapping”参数，并单击“保存”，该参数介绍请参见表8。 在数据同步任务作业列表界面选择该任务所在行的“启动”，重新启动该任务。 父主题： CDL故障排除
53），星期天是一周的第一天，与%X配合使用 %v 星期（01 .. 53）， 第一条为星期一，与%X配合使用 %W 周几（Sunday .. Saturday） %w 本周的第几天（0 .. 6），星期天是一周的第一天 %X 年份，数字，4位，第一天为星期日 %x 年份，数字，4位，第一天为星期一
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 可能原因 Flume证书文件非法或损坏。
是否自动清除 12072 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight
选择“连接管理 > 新增连接”，进入“新增连接”参数配置窗口，参考下表，分别新增“thirdparty-kafka”、“hudi”连接，相关数据连接参数介绍请参见创建CDL数据库连接。 表1 thirdparty-kafka数据连接配置参数 参数名称 示例 Name oraclelink Link
Spark中，判断表是否广播的阈值为10485760（即10M）。如果两个表的大小至少有一个小于10M时，可以跳过该步骤。 自动广播阈值的配置参数介绍，见表1。 表1 参数介绍 参数 默认值 描述 spark.sql.autoBroadcastJoinThreshold 10485760 当进行joi
ALM-43011 JDBCServer进程非堆内存使用超出阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测JDBCServer进程非堆内存使用状态，当检测到JDBCServer进程非堆内存使用率超出阈值（最大内存的90%）时产生该告警。 告警属性 告警ID 告警级别 可自动清除
WebUI界面。 选择“连接管理 > 新增连接”，进入“新增连接”参数配置窗口，参考下表，分别新增“pgsql”、“hudi”连接，相关数据连接参数介绍请参见创建CDL数据库连接。 表1 PgSQL数据连接配置参数 参数名称 示例 Link Type pgsql Name pgsqllink
如果源端（例如“blee”）为空目录，且目的端（例如“aaa”）目录不存在，系统会自动创建出来“aaa”目录，但是不会在“aaa”目录下面再创建“blee”目录。 如果源端“blee”不是空目录，且目的端“aaa”目录不存在，系统会自动创建出来“aaa”目录，并在“aaa”目录下面再创建“blee”目录，进行文件迁移。
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
选择“连接管理 > 新增连接”，进入“新增连接”参数配置窗口，参考下表，分别新增“thirdparty-kafka”、“hudi”连接，相关数据连接参数介绍请参见创建CDL数据库连接。 表1 thirdparty-kafka数据连接配置参数 参数名称 示例 Name opengausslink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
