检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"name": "mrs_hbase_dlf", "connector-name": "hbase-connector" } ] } 连接参数 参数 是否必选 类型 说明 linkConfig.hbaseType 是 枚举 HBase类型： CloudTab
HBase连接参数说明 目前CDM支持连接的HBase数据源有以下几种： MRS HBase FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS HBase
HBase/CloudTable增量迁移 使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。
HBase/CloudTable增量迁移 使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。
是否将选做Rowkey的数据同时写入HBase的列。 否 WAL开关 是否写WAL，不写WAL能提升性能，但如果HBase服务宕机可能会造成数据丢失。 是 匹配数据类型 是否匹配类型，例如数据库的int类型列数据按照int类型转换为二进制写入HBase。 否 父主题： 配置作业目的端参数
源端为HBase/CloudTable JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":
”，而不是“CDM作业实际启动时间-偏移量”。 是 table 整表迁移 源端和目的端都为HBase时显示该参数。 整表迁移通过二进制传输数据，表的所有信息都会传递。HBase->HBase整表迁移会传递列的timestamp信息，非整表迁移只传递列的value值。 是 否 列族
是否将选做Rowkey的数据同时写入HBase的列。 toJobConfig.algorithm 否 枚举 创建新HBase表时采用的压缩算法，支持SNAPPY和GZ算法，默认为“NONE”。 toJobConfig.writeToWAL 否 Boolean 选择是否开启HBase的预写日志机制（WAL，Write
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时，即导入数据到以下数据源时，目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。
配置HBase/CloudTable源端参数 作业中源连接为HBase连接或CloudTable连接时，即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时，源端作业参数如表1所示。 CloudTable或HB
MRS中恢复HBase表 CDH HBase表目录已经迁移到MRS HBase后，可以使用命令恢复。对于那些会变化的数据，需要使用快照保证数据不变，然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2
为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ 出现该问题的可能原因有： 创建MRS集群时未选择Hive/HBase组件。 创建MRS集群时所选择的企业项目与工作空间的企业项目不同。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群
MRS HBase数据连接参数说明 表1 MRS HBase数据连接 参数 是否必选 说明 数据连接类型 是 MRS HBase连接固定选择为MapReduce服务（MRS HBase）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 可能原因 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题： 检查CDM集群是否被关机。 是，将CDM集群开机后，确认管理中心的数据连接恢复正常。
字段映射界面无法显示所有列怎么处理？ 问题描述 在使用CDM从HBase/CloudTable导出数据时，在字段映射界面HBase/CloudTable表的字段偶尔显示不全，无法与目的端字段一一匹配，造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无Schema，每条数
HDFS，MRS HBase，MRS Hive。 FusionInsight集群：FusionInsight HDFS，FusionInsight HBase，FusionInsight Hive。 Apache集群：Apache HDFS，Apache HBase，Apache Hive。
x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移的方式无法使用。 迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH（Cloudera Hadoop） HBase集群中共有
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入，Split，Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。
资源权限配置页面 单击待创建权限策略HBase组件的“配置” ，进入配置界面单击“创建”，新建权限策略。 图14 创建HBase权限策略 在弹出的策略配置页配置相关参数，配置完成单击“确定”，策略配置完成。 图15 配置HBase权限策略 表6 HBase权限策略参数表 参数名 参数描述
解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题： 数据集成
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
