检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
isNumeric(value) 获取字符串最左端的指定长度的字符，例如获取“abc”最左端的2位字符“ab”。 表达式：StringUtils.left(value,2) 获取字符串最右端的指定长度的字符，例如获取“abc”最右端的2位字符“bc”。 表达式：StringUtils
后台排查sqoop日志，考虑源端数据类型格式问题导致异常。 分析源端数据类型，发现数据类型中有脏数据，源端数据类型有问题。 客户CDM界面配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 父主题： 故障处理类
该参数设置为“true”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“false”时，上传到OBS的对象使用的对象名，包含query参数。 fromJobConfig.md5FileSuffix 否 String 校验CDM抽取的文件，是否与源文件一致。
不存在时创建：当目的端的数据库没有“表名”参数中指定的表时，CDM会自动创建该表。如果“表名”参数配置的表已存在，则不创建，数据写入到已存在的表中。 先删除后创建：CDM先删除“表名”参数中指定的表，然后再重新创建该表。 当选择在DWS端自动创表时，DWS的表与源表的字段类型映射关系见在DWS端自动建表时的字段类型映射。
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？ 问题描述 在使用CDM迁移数据到数据仓库服务（DWS）时，迁移作业失败，且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 CloudTable
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题： 公共数据结构
源连接参数配置。根据不同源端有不同的参数配置，具体可参考源端作业参数说明下相应的源端参数配置。 to-connector-name 是 String 目的端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
主要功能 与其他服务的区别 云数据迁移CDM 大数据迁移上云 多种数据源到数据湖的迁移 与DRS的区别： 数据库迁移使用DRS；到大数据系统的迁移使用CDM。 对象存储迁移服务 OMS 对象存储迁移 他云对象存储数据迁移到华为云 华为云各Region间的数据迁移 与CDM的区别： OMS
源连接参数配置。根据不同源端有不同的参数配置，具体可参考源端作业参数说明下相应的源端参数配置。 to-connector-name 是 String 目的端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。
源连接参数配置。根据不同源端有不同的参数配置，具体可参考源端作业参数说明下相应的源端参数配置。 to-connector-name 是 String 目的端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。
可选择列表文件所在的OBS连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 /0521/Lists
周：每周一零点执行一次。 月：每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接，将作业备份到OBS，需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
writeToLink 否 String 脏数据要写入的连接，目前只支持写入到OBS连接或HDFS连接。例如：“obslink”。 throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称，只有当脏数据要写入OBS连接的时候，此参数才生效。例如：“dirtyData”。
脏数据要写入的连接，目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时，才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时，该参数才显示。 OBS上存储脏数据的目录，只有在
源连接参数配置。根据不同源端有不同的参数配置，具体可参考源端作业参数说明下相应的源端参数配置。 to-connector-name String 目的端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。
在连接管理界面找到需要修改的连接： 删除连接：单击操作列的“删除”删除该连接，或者勾选连接后单击列表上方的“删除连接”来批量删除未被任何作业使用的连接。 编辑连接：单击该连接名称，或者单击操作列的“编辑”进入修改连接的界面，修改连接时需要重新输入数据源的登录密码。 测试连通性：单击操作列的“测试连通性”，直接测试已保存连接的连通性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
