检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。
查询连接 功能介绍 查询连接接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
作业类型: jobType=NORMAL_JOB：表示查询表/文件迁移的作业。 jobType=BATCH_JOB：表示查询整库迁移的作业。 jobType=SCENARIO_JOB：表示查询场景迁移的作业。 不指定该参数时，默认只查询表/文件迁移的作业。 请求参数 表3 请求Header参数
Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码，如图1所示。 图1 获取SDK代码示例 SDK列表 表1提供了CDM服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址
Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据： 云账号的用户名、账号名和项目ID。 创建一个CDM集群，并获取集群ID。 获取方法：在集群管理界面，单击CDM集群名称可查看集群ID，例如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。
值不离散，查询会全表扫描，导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构，将需要过滤的列配置为索引列，然后重试。 如果由于数据不离散，导致还是失败请参考2~4，通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称，查找连接信息。 图2 连接信息
lumn表示字段名，data表示查询条件，例如“last_name:Smith”。 另外，如果查询条件data为带空格的字符串，则需要用双引号包围。如果不指定column，则会对所有字段以data进行匹配。 多条查询条件时，可通过连接词组合多个查询条件，格式为column1:data1
Submission objects 作业运行信息，详见submissions参数说明。 total Integer 查询该作业总的历史记录数。 page_no Integer 查询作业记录时，分页数。 page_size Integer 分页查询，每页返回的记录数。默认值：10。 表5
本章节为您介绍对用户授权的方法，操作流程如图1所示。 前提条件 给用户组授权之前，请您了解用户组可以添加的CDM权限，并结合实际需求进行选择。CDM支持的系统权限，请参见CDM系统权限。若您需要对除CDM之外的其它服务授权，请参见权限策略，了解IAM支持服务的所有权限。 示例流程 图1 IAM用户授权流程 创建用户组并授权
功能类 是否支持增量迁移？ 是否支持字段转换？ Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 数据源为Hive时支持哪些数据格式？ 是否支持同步作业到其他集群？ 是否支持批量创建作业？ 是否支持批量调度作业？ 如何备份CDM作业？ 如何解决HANA集群只有部分节点和CDM集群网络互通？
HD时，需要配置与FusionInsight HD对接的CAS Server的端口。 linkConfig.hBaseVersion 是 枚举 HBase版本： HBASE_1_X HBASE_2_X linkConfig.user 否 String 登录Manager平台的用户名，使用集群配置时不用配置
作业管理 查询作业 删除作业 修改作业 随机集群创建作业并执行 停止作业 指定集群创建作业 启动作业 查询作业状态 查询作业执行历史 父主题： API
“使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 - 单次写入行数
"cdm:cluster:get", "ecs:*:get*", "ecs:*:list*", "vpc:*:get*"
} ] } 连接参数 参数 是否必选 类型 说明 linkConfig.kafkaType 是 枚举 选择DMS Kafka版本,目前只有专享版。 Basic：指DMS Kafka普通队列。 Platinum：指DMS Kafka专享版。 linkConfig.brokerList
关键配置：时间过滤+定时执行作业。 前提条件：无。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 文件/路径过滤器 参数位置：在创建表
OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
查询所有可用区 功能介绍 查询CDM集群的所有可用区。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/regions/{region_id}/availability_zones 表1 路径参数 参数 是否必选 参数类型 描述 project_id
CDM有哪些安全防护？ 如何降低CDM使用成本？ CDM未使用数据传输功能时，是否会计费？ 已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？ 如何查看套餐包的剩余时长？ 套餐包到期未续订或按需资源欠费时，我的数据会保留吗？ CDM可以跨账户使用吗？ CDM集群是否支持升级操作？ CDM迁移性能如何？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
