检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user
云硬盘信息保持一致。 同步MRS集群节点磁盘约束条件 同步磁盘信息功能仅支持同步云硬盘信息，不支持同步本地盘信息。 正在进行磁盘信息同步的集群不支持扩容、缩容、升级规格等操作。 同步磁盘信息 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。
Users：显示Ranger从LDAP或者OS同步的所有用户信息。 Groups：显示Ranger从LDAP或者OS同步的所有用户组、角色信息。 Roles：显示Ranger中创建的Role信息。 在FusionInsight Manager上创建的用户、角色、用户组会定期自动同步至Ranger，默认周
将Hudi表数据同步到Hive 通过执行run_hive_sync_tool.sh可以将Hudi表数据同步到Hive中。 例如：需要将HDFS上目录为hdfs://hacluster/tmp/huditest/hudimor1_deltastreamer_partition的Hu
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 运行样例程序前，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark
在“概览”页签单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 在弹窗“IAM用户同步”的“待同步”页面，搜索需要同步IAM用户所在的用户组，单击对应的用户组名称。在“用户”中勾选需要同步的IAM用户，单击“同步”。 如需同步所有的用户，在“待同步”中勾选“全部同步”即可。 如只勾
Users：显示Ranger从LDAP或者OS同步的所有用户信息。 Groups：显示Ranger从LDAP或者OS同步的所有用户组、角色信息。 Roles：显示Ranger中创建的Role信息。 在FusionInsight Manager上创建的用户、角色、用户组会定期自动同步至Ranger，默认周
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user
Hive同步数据报错SQLException 问题 Hive同步数据时报错： Caused by: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code
集群出现ALM-14012 Journalnode数据不同步告警 问题背景与现象 MRS集群出现ALM-14012 Journalnode数据不同步告警。 原因分析 登录告警节点，查找日志路径“/var/log/Bigdata/hdfs/nn”下Journalnode实例的startDetail
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Trigger Condition Ranger同步用户时存在异常。 对系统的影响 未同步的用户无法登录Ranger原生页面，无法通过Ranger为未同步的用户设置权限
同步Kafka数据至ClickHouse 本章节指导用户通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群。 前提条件 已创建Kafka集群。已安装Kafka客户端，详细可以参考安装客户端。 已创建ClickHouse集群，并且ClickHouse集群和K
Spark同步HBase数据到CarbonData样例程序开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid
0版本） 参数名称 描述 示例 Link Hudi App使用的Link。 hudilink Interval 同步Hudi表的时间间隔，单位：秒。 10 Start Time 同步表的起始时间。 2022/03/16 11:40:52 Max Commit Number 单次增量视图拉取Commit的最大数量。
ALM-19006 HBase容灾同步失败 告警解释 告警模块每30s检查一次HBase容灾数据的同步状态，当同步容灾数据到备集群失败时，发送该告警。 当容灾数据同步成功后，告警清除。 告警属性 告警ID 告警级别 是否自动清除 19006 紧急 是 告警参数 参数名称 参数含义
ALM-14012 Journalnode数据不同步 告警解释 在主NameNode节点上，系统每5分钟检测一次集群中所有JournalNode节点的数据同步性。如果有JournalNode节点的数据不同步，系统产生该告警。 当Journalnode数据同步5分钟后，告警恢复。 告警属性 告警ID
快速使用CDL创建数据同步作业 操作场景 CDL支持多种场景的数据同步或比较任务，本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从PgSQL导入数据到Kafka，更多CDL作业示例请参见创建CDL作业。 前提条件 集群已安装CDL、Kafka服务且运行正常。
使用CDL从Hudi同步数据到DWS 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到DWS。 前提条件 集群已安装CDL、Hudi服务且运行正常。 DWS数据库需要开启前置要求，操作步骤请参考DWS数据库前置准备。
使用CDL从Opengauss同步数据到Hudi 操作场景 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从Opengauss导入数据到Hudi。 该章节内容适用于MRS 3.3.0及之后版本支持。 前提条件 集群已安装CDL、Hudi服务且运行正常。 O
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
