检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该参数选择“是”，CDM会将CSV文件的前N行数据作为标题行，不写入目的端的表。 否 标题行数 “前N行为标题行”选择“是”时才有该参数。抽取数据时将被跳过的标题行数。 说明： 标题行数不为空，取值为1-99之间的整数。 1 解析首行为列名 “前N行为标题行”选择“是”时才有该参
管理驱动 已发布区域：全部 作业管理 CDM可以实现在同构、异构数据源之间进行表/文件级别以及整库的数据迁移，支持配置作业定时任务及抽取并发数、作业定时备份/恢复、配置作业环境变量、作业批量导入/导出等功能。 新建表/文件迁移作业 新建整库迁移作业 配置作业源端参数 配置作业目的端参数
如何备份CDM作业？ 如何解决HANA集群只有部分节点和CDM集群网络互通？ 如何使用Java调用CDM的Rest API创建数据迁移作业？ 如何将云下内网或第三方云上的私网与CDM连通？ CDM是否支持参数或者变量？ CDM迁移作业的抽取并发数应该如何设置？ CDM是否支持动态数据实时迁移功能？
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。
用户名 连接DDS的用户名。 cdm 密码 连接DDS的密码。 - 直连模式 适用于主节点网络通，副本节点网络不通场景。 说明： 直连模式服务器列表只能配一个ip。 直连适用于主节点网络通，副本节点网络不通场景。 否 父主题： 配置连接参数
连接MongoDB的用户名。 cdm 密码 连接MongoDB的密码。 - 直连模式 适用于主节点网络通，副本节点网络不通场景。 说明： 直连模式服务器列表只能配一个ip。 直连适用于主节点网络通，副本节点网络不通场景。 否 连接属性 自定义连接属性，支持MongoDB属性，单位为ms。连接属性如下：
当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时，可保证CDM集群与其他云服务内网互通，无需专门打通网络。 当CDM集群与其他云服务所在的区域和VPC一致、但子网或安全组不一致时，需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。
选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll 可选参数，每次向Kafka请求数据限制最大请求记录数。 100 最大时间间隔/poll 可选参数，向Kafka请求数据的最大时间间隔。 100 通知Topic
HD和Apache Hadoop数据源在用户本地数据中心部署时，由于读写Hadoop文件需要访问集群的所有节点，需要为每个节点都放通网络访问。 推荐使用云专线服务，解决网络访问的同时，还可以提升迁移速度。 数据仓库服务(DWS)数据源约束 DWS主键或表只有一个字段时，要求字段类型必须是如下
不全，无法与目的端字段一一匹配，造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无Schema，每条数据的列数不固定，在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列，此时作业执行完后会造成目的端的数据不全。 这个问题，可以通过以下方法解决：
启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行可开启。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数，适当的抽取并发数可以提升迁移效率，配置原则请参见性能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数
启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行可开启。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数，适当的抽取并发数可以提升迁移效率，配置原则请参见性能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数
导入后完成语句 执行任务之后执行的SQL语句，目前仅允许执行一条SQL语句。 merge into loader线程数 每个loader内部启动的线程数，可以提升写入并发数。 1 在DWS端自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，
因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。关于如何调整抽取并发数，详情请参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称
→ OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。 优点：传输可靠性高，受专线以及网络质量影响较小。 缺点：迁移方式耗时较长。 父主题： 车联网大数据零丢失搬迁入湖
如何查看套餐包的剩余时长？ 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网，在用户名下拉列表中选择“费用中心”，然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题： 通用类
Hudi目的端的作业失败，日志报错Read Timeout怎么解决？ Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？ Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？ Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？ Hu
如果选择集群后连接失败，请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件： DataArts Studio实例（指DataArts Studio实例中的CDM集群）与MRS集群处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，
如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务（如DWS、MRS及ECS等），则网络互通需满足如下条件： CDM集
如果选择集群后连接失败，请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件： DataArts Studio实例（指DataArts Studio实例中的CDM集群）与MRS集群处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
