华为云首页用户手册

MapReduce服务 MRS-创建CDL数据比较任务作业:前提条件

MapReduce服务 MRS-创建CDL数据比较任务作业:前提条件

时间：2025-02-12 15:03:47

MapReduce服务 MRS

前提条件

准备Hive UDF Jar包，从CDL的安装目录复制“${BIGDATA_HOME}/ FusionInsight _CDL_*/install/FusionInsight-CDL-*/cdl/hive-checksum/cdl-dc-hive-checksum-*.jar”UDF Jar到Hive的“${BIGDATA_HOME}/third_lib/Hive”目录下，并设置该Jar包的权限为大于或等于750。
开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。如果当前集群开启了Ranger鉴权，还需参考添加Hive的Ranger访问权限策略章节授予用户Hive管理员权限和UDF操作权限。
使用具有Hive管理员权限的用户在Hive客户端创建全局的UDF算法：
创建CheckSum函数（在default数据库下执行）：

create function checksum_aggregate as 'com.huawei.hive.checksum.ChecksumUdaf'
创建比较任务之前一定要存在CDL同步任务，比较任务会在启动前感知同步任务的状态和数据同步情况来决定对哪些数据做比较。
数据比对关联的数据同步任务中的数据库用户需要对当前Schema具有create function权限。

上一篇：MapReduce服务 MRS-配置HetuEngine智能物化视图能力:HetuEngine智能物化视图概述

下一篇：MapReduce服务 MRS-创建CDL数据比较任务作业:操作场景

开年采购季抽奖赢万元免单

立即前往

续费同价 L实例 2核2G 4M

98元/年

企业专享 X实例 2核4G 5M

198元/年

热门域名 1元随心购

1元/年起

MapReduce服务 MRS-创建CDL数据比较任务作业:前提条件

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题