检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发调度即可，无需配置CDM定时任务。 定时任务功能原理：采用Java Quartz定时器，类似Cron表达式配置。对起始时间解析出分，小时，天，月。构造出cronb表达式。 以配置天调度为例：重复周期选择1天：若当前时间2022/10/14 12:00，配置起始时间为2022/10/14
配额说明 CDM服务应用的基础设施如下： 弹性云服务器 虚拟私有云 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？ 问题描述 打开日志，最后一行日志如下所示，则说明此时集群并发资源消耗殆尽，或者集群内存使用达到阈值，新提交的作业需要排队等待。 submit task attempt_local1847334969_1748_m_000003_0
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and
对象存储：对象存储服务（OBS） 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件，不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具，请参见obsutil简介。 SFTP HTTP Hadoop：MRS HDFS
集群创建完成后，选择集群后面的“作业管理 > 连接管理 > 新建连接”，进入选择连接类型的界面，如图1所示。 图1 选择连接器类型 连接H公司本地的Apache Hadoop HDFS文件系统时，连接类型选择“Apache HDFS”，然后单击“下一步”。 图2 创建HDFS连接 名称：用户自定义连接名称，例如“hdfs_link”。
创建DLI连接 单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面，如图1所示。 图1 选择连接器类型 连接器类型选择“数据湖探索（DLI）”后单击“下一步”，配置DLI连接参数，如图2所示。 名称：用户自定义连接名称，例如“dlilink”。
创建DLI连接 单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面，如图1所示。 图1 选择连接器类型 连接器类型选择“数据湖探索（DLI）”后单击“下一步”，配置DLI连接参数，如图2所示。 名称：用户自定义连接名称，例如“dlilink”。
对象存储：对象存储服务（OBS） 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件，不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具，请参见obsutil简介。 SFTP HTTP Hadoop：MRS HDFS
待迁移的表在迁移过程中不能有写入，Split，Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。 分批配置迁移任务，保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。
这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 添加完字段后，请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。
这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 添加完字段后，请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。
当您参考创建集群、创建连接等一系列操作后，可以根据自身的业务需求使用CDM提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS
文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件，不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具，请参见obsutil简介。 SFTP HTTP Hadoop：MRS HDFS
搜索：Elasticsearch，云搜索服务（CSS） 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件，不支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具，请参见obsutil简介。 SFTP HTTP Hadoop：MRS HDFS 关系型数据库 云数据库
搜索：Elasticsearch，云搜索服务（CSS） 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件，不支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具，请参见obsutil简介。 SFTP HTTP Hadoop：MRS HDFS 关系型数据库 云数据库
文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件，不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具，请参见obsutil简介。 SFTP HTTP Hadoop：MRS HDFS
通过增大jdbc连接超时时间的控制，重新迁移作业。 通过作业配置中的源端和目标端连接名称，进入到cdm作业管理—>连接管理，找到该连接器名称。 编辑连接器，显示高级属性—>连接属性—>添加：属性名称socketTimeout 值：36000（单位为秒），测试连接，保存。 重新启动作业，等待迁移任务执行成功。
100 再次选择“连接管理 > 新建连接”，新建MRS Hive连接。连接器类型选择“MRS Hive”，然后单击“下一步”配置连接参数，参数说明如表2所示。配置完成后，单击“保存”回到连接管理界面。 图1 配置MRS Hive连接 表2 MRS Hive连接参数 参数名 说明 取值样例
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
