检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是，任务启动前会清除目标表中数据。
} 参数说明 参数 是否必选 类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig
列。关于分布列的更多信息，请参见数据仓库服务。 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。 INTEGER
连接高级属性配置，是否配置超时时间参数设置及设置情况： 用户连接参数超时时间“6000000”毫秒，已经足够大。进一步排查客户Mysql数据库是否异常，将日志中打印查询源端的sql在Mysql客户端执行，看是否报错以及报错情况： 发现执行查询语句，全表查询，报错“Lost connection
sql都有问题，跳转3。 否则，跳转4。 进一步确认：用dlf建个脚本，选择直连连接，执行一条spark sql，看是否报time out的错（甚至可能数据库都list不出来）。如果有以上现象，大概率是MRS集群的jdbc server出了问题。 单租户执行不了spark sql，则多半是队列资
当作业将数据导入到Doris时，目的端作业参数如表1所示。 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
简化或清空SQL语句，再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 读取数据的目标表名，单击输入框后面的按钮可进入表的选择界面
"ue") 如果当前字段为字符串类型，移除当前字段末尾指定的子字符串。指定的子字符串若不在当前字段的末尾，则不转换，例如移除当前字段“www.domain.com”后的“.com”。 表达式：StringUtils.removeEnd(value,".com") 如果当前字段为字符串
"ue") 如果当前字段为字符串类型，移除当前字段末尾指定的子字符串。指定的子字符串若不在当前字段的末尾，则不转换，例如移除当前字段“www.domain.com”后的“.com”。 表达式：StringUtils.removeEnd(value,".com") 如果当前字段为字符串
日志”来查看该作业最近的一次日志。 查看作业JSON 直接编辑作业的JSON文件，作用等同于修改作业的参数配置。 源目的统计查询 可对已经配置好的数据库类作业打开预览窗口，预览最多1000条数据内容。可对比源端和目的端的数据，也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数
待迁移任务库表较多，迁移量较大。此时可以使用多个CDM集群同时作业，提升迁移效率。 当前CDM集群的CPU使用率、磁盘使用率、内存使用率等指标经常在较高区间运行。此时建议使用多个CDM集群进行业务分流。 错峰执行CDM作业 如果大量CDM作业同时执行，当超过当前CDM集群的并发执行作业数时，会导致作业排队，耗时提升。
分析平台，使得该公司更好地聚焦业务，持续创新。 场景描述 H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构，拥有大量的贸易统计数据库，其数据广泛应用于产业研究、行业研究、国际贸易促进等方面。 在这之前，H公司采用其自建的大数据集群，并安排专人维护，每年固定购买电信联通双
Hive连接的表的访问权限时，才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Ke
您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚创建完成，请等待5～10分钟后查看监控数据。 前提条件 CDM集群正常运行。 重启失败、不可
com”。 端口：OBS服务器的端口，例如“443”。 OBS桶类型：根据实际情况下拉选择即可。 访问标识（AK）、密钥（SK）：访问OBS数据库的AK、SK。可在管理控制台单击用户名，选择“我的凭证 > 访问密钥”后获取。 单击“保存”，系统回到连接管理界面。 选择“表/文件迁移 >
数据迁移前后数据量不一致是什么问题？ 问题描述 使用CDM进行数据迁移，迁移完成后，目标库数据要比原始库多，有的多十几条，有的多几千条。 故障分析 根据故障信息分析，考虑是作业配置限制，检查作业配置，发现目的端配置为导入开始前“不清除”，不清除可能存在多次操作，部分数据重复。 解决方案
"_timestamp >= '${startTime}' and _timestamp < '${currentTime}'" } 源端数据库是数据仓库服务DWS或者MySQL时，对于时间的判断可以写成以下两种： _timestamp >= '2018-10-10 00:00:00'
这个不影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加新字段”的功能，要求源端数据源为：MongoDB、HBase、关系型数据库或Redis，其中Redis必须为Hash数据格式。 全部字段添加完之后，检查源端和目的端的字段映射关系是否正确，如果不正确可以拖拽字段调整字段位置。
"ue") 如果当前字段为字符串类型，移除当前字段末尾指定的子字符串。指定的子字符串若不在当前字段的末尾，则不转换，例如移除当前字段“www.domain.com”后的“.com”。 表达式：StringUtils.removeEnd(value,".com") 如果当前字段为字符串
月。构造出cronb表达式。 以配置天调度为例：重复周期选择1天：若当前时间2022/10/14 12:00，配置起始时间为2022/10/14 00:00。任务在2022/10/15 00:00执行；若当前时间2022/10/14 12:00，配置起始时间为2022/10/15
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
