检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
报错看CDM封装的Hive SDK无法识别Hive数据源， 但Hive连接器测试连通性是正常的，于是仔细检查Hive的连接器配置的参数。 安全集群MRS Manager用户、用户组和角色配置都正确，发现Hive版本配置的为HIVE_3_X。
原因分析 表在metastore中存在，但不是Huid表，或者表在metastore中存在，但是表目录不存在，根因是在表目录下没有.hoodie目录。可能删表的时候只删了文件而没有drop table。 设置为主键或者预聚合键的列有空值，写入hoodie会失败。
fromJobConfig.lineSeparator 否 String 文件中的换行符，默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符，如空格回车需使用URL编码后的值。或通过编辑作业json方式配置，无需URL编码。
图1 日志提示信息 原因分析 云搜索服务对于时间类型有一个特殊处理：如果存储的时间数据不带时区信息，在Kibana可视化的时候，Kibana会认为该时间为GMT标准时间。
例如，可以将由MapReduce服务（MapReduce Service，简称MRS）处理的数据导入到数据仓库服务（Data Warehouse Service，简称DWS），进行交互式分析和报告统计收集。
原因分析 由于HBase/CloudTable无Schema，每条数据的列数不固定，在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列，此时作业执行完后会造成目的端的数据不全。 这个问题，可以通过以下方法解决： 在CDM的字段映射界面增加字段。
列模式：表的数据将以列式存储，适用于统计分析类查询（group、join多的场景），或者即席查询（查询条件不确定，行模式表扫描难以使用索引）的场景。
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
支持的数据源 支持的数据源（2.10.0.300） 支持的数据源（2.9.3.300） 支持的数据源（2.9.2.200） 支持的数据类型
图解云数据迁移
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题： 创建并管理CDM集群
源端为Hive JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.hive
源端为MongoDB/DDS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name"
目的端为DLI JSON样例 "to-config-values": { "configs": [ { "inputs": [
目的端为DDS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.database
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
