检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称，只有当脏数据要写入OBS连接的时候，此参数才生效。例如：“dirtyData”。
目的端作业配置 目的连接名称：选择创建DWS连接中的连接“dwslink”。 模式或表空间：选择待写入数据的DWS数据库。 自动创表：只有当源端和目的端都为关系数据库时，才有该参数。 表名：待写入数据的表名，可以手动输入一个不存在表名，CDM会在DWS中自动创建该表。
目的端作业配置 目的连接名称：选择创建DWS连接中的连接“dwslink”。 模式或表空间：选择待写入数据的DWS数据库。 自动创表：只有当源端和目的端都为关系数据库时，才有该参数。 表名：待写入数据的表名，可以手动输入一个不存在表名，CDM会在DWS中自动创建该表。
当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。 EMBEDDED 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的
管理集群标签 操作场景 CDM集群已经创建成功后，支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源，后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台
DELETE 请求服务器删除指定资源，如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候，PATCH可能会去创建一个新的资源。
如果是作业管理API，对于源端连接参数，则以“fromJobConfig.”开头，具体可参见源端作业参数说明下相应的源端参数说明；对于目的端连接参数，则以“toJobConfig.”开头，具体可参见目的端作业参数说明下相应的目的端参数说明；对于作业任务参数，请参见作业任务参数说明下相应的任务参数说明
支持云审计的关键操作 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
如果是作业管理API，对于源端连接参数，则以“fromJobConfig.”开头，具体可参见源端作业参数说明下相应的源端参数说明；对于目的端连接参数，则以“toJobConfig.”开头，具体可参见目的端作业参数说明下相应的目的端参数说明；对于作业任务参数，请参见作业任务参数说明下相应的任务参数说明
表3 请求Body参数 参数 是否必选 参数类型 描述 start 是 Object 集群启动操作，定义集群启动标识，为空对象。 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 jobId Array of strings 作业ID。
CDM的作业配置： “源目录或文件”输入：/hbase/data/default/src_test/.snapshot/s0 目的端“写入目录”输入：/hbase/data/default/表名 执行fixMeta和fixAssignments等命令恢复表，参考使用命令恢复历史不变的数据
当选择“BINARY_FILE”时，目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符，默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符，如空格回车需使用URL编码后的值。
可对比源端和目的端的数据，也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数，支持重新选择源连接和目的连接。 编辑作业JSON 直接编辑作业的JSON文件，作用等同于修改作业的参数配置。
Oracle到DWS迁移时，可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“单次请求行数”参数值的设置。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定单次批量提交的行数。
配额说明 CDM服务应用的基础设施如下： 弹性云服务器 虚拟私有云 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 10000 SSL加密 可选参数，控制是否通过SSL加密方式连接数据仓库。 是 说明： 启用SSL加密需确保DWS本身已启用SSL加密。
入门实践 当您参考创建集群、创建连接等一系列操作后，可以根据自身的业务需求使用CDM提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL
指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 - 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。
当选择“BINARY_FILE”时，目的端也必须为文件系统。 fromJobConfig.columnList 否 String 需要抽取的列号，列号之间使用“&”分割，并由小到大排序，例如：“1&3&5”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
