检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
户可以在集群中创建数据迁移作业，在云上和云下的同构/异构数据源之间批量迁移数据。 数据源 即数据的来源，本质是讲存储或处理数据的媒介，比如：关系型数据库、数据仓库、数据湖等。每一种数据源不同，其数据的存储、传输、处理和应用的模式、场景、技术和工具也不相同。 源数据 源数据强调数据
参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目ID和账号ID。 请求参数 参数说明： 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景：连接定义文件在OBS上的路径，
请参见实时集成作业监控：查看作业详细信息。 实时集成作业监控：启动 单击“启动”，弹出“启动配置”界面。 设置“同步模式”和“时间”。 同步模式包含增量同步和全量同步。 时间表示配置的位点时间早于日志最早时间点时，会以日志最早时间点消费。当设置为“增量同步”时才显示时间参数。 单击“确定”，启动该任务。
GES节点只能选择一张点表和一张边表，并生成对应的元数据，因此本示例中使用2个Import GES节点依次进行导入。 Import GES节点说明： Import_GES_user-friend：在节点属性中，选择图名称后，边数据集和点数据集分别填写为“edge_friends”边表和“vert
found 应用不存在。 确认请求的key和secret是否准确。 APIG.0304 The app is not authorized to access the API 应用无权访问当前API。 确认API已授权给应用。 确认请求的key和secret是否准确。 APIG.0308
统一身份认证服务 DataArts Studio使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证和鉴权功能。 云审计服务 DataArts Studio使用云审计服务（Cloud Trace Service，简称CTS）审计用户在管理控制
（包括当前启动整点），依赖范围内的B实例，在2:15分执行A任务依赖1个B实例（2:10分），2:30执行的A任务依赖两个B实例（2:20和2:30）。它的边界范围为(0分,15分]，前开后闭区间。 图3 分钟依赖分钟举例二 分钟依赖小时 规则：分钟级作业依赖自然小时的上一周期作业执行完成后，再执行。
开发Pipeline作业 对已新建的作业进行开发和配置。 开发Pipeline模式的批处理作业和实时处理作业，请您参考编排作业节点、配置作业基本信息、配置作业参数和调测并保存作业章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业
查看MRS集群节点IP和域名 登录MRS集群节点，详情请参见登录MRS集群节点，执行命令cat /etc/hosts，可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接，并创建实时集成作业，选择对应数据连接和资源组进行连通性测试，详情请参考创建实时集成作业。
选择性配置示例值和描述。 配置好API基本信息后，单击“下一步”，即可进入API取数逻辑页面。 配置API参数 配置API基本信息后，即可配置API参数。这里将配置API的后端服务和请求参数。 表2 API参数配置说明 配置 说明 协议 用于传输请求的协议，支持HTTP和HTTPS协议。
创建Elasticsearch连接 创建整库迁移作业 前提条件 拥有EIP配额。 已经开通了云搜索服务，且获取云搜索服务集群的IP地址和端口。 已获取本地Elasticsearch数据库的服务器IP、端口、用户名和密码。 如果Elasticsearch服务器是在本地数据中心或第三方云上，需要确保Elasticse
情可参见CDM用户指南。 免费版不支持购买增量包，例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景，在业务负荷大的场景下，无法保证免费版实例上业务的正常运行。 免费版不支持通过API调用的方式使用，仅支持控制台方式使用。
字段映射 单表 基本参数 高级属性 支持 分库分表 基本参数 高级属性 支持 整库迁移 选择库匹配策略和表匹配策略 不支持 配置字段映射关系。 配置作业源端参数和目的端参数后，需要配置源端和目的端列的映射关系，配置字段映射关系后，任务将根据字段映射关系，将源端字段写入目标端对应类型的字段中。
约束限制 记录脏数据功能依赖于OBS服务。 作业导入时，JSON文件大小不超过1MB。 单文件传输大小不超过1TB。 配置源端和目的端参数时，字段名不可包含&和%。 前提条件 已新建连接，详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入
数据源为Hive时支持哪些数据格式？ 是否支持同步作业到其他集群？ 是否支持批量创建作业？ 是否支持批量调度作业？ 如何备份CDM作业？ 如何解决HANA集群只有部分节点和CDM集群网络互通？ 如何使用Java调用CDM的Rest API创建数据迁移作业？ 如何将云下内网或第三方云上的私网与CDM连通？ CDM是否支持参数或者变量？
2:3306:cdm:user:password 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JD
整库迁移作业每次运行，会根据整库作业的配置重建子任务，不支持修改子任务后再重新运行主作业。 支持整库迁移的数据源请参见支持的数据源。 约束限制 配置源端和目的端参数时，字段名不可包含&和%。 前提条件 已新建连接，详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入
source_sdi节点：为CDM Job节点，通过CDM节点将OBS上的数据导入到MRS Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3：数据集成中的集群和迁移作业（图中仅为示例，以实际集群名和迁移作业名为准）。 图8 source_sdi节点属性 demo_etl_sdi_dwi节点：为MRS
API授权操作(授权/取消授权/申请/续约) API主动授权： API审核人可发起，API主动授权成功后，在有效期内，APP即可访问该API。API授权包含授权和续约两部分功能。 2400 120 查看API发布信息(专享版) 查看API在不同集群上的发布信息。 2400 120 查看API不同操作对应的实例信息(专享版)
是符合预期的，当前HIVE SQL执行的结果是4，所以>5和=5的分支被跳过，执行<5这个分支成功。 图10 子作业运行结果 多IF条件下当前节点的执行策略 如果当前节点的执行依赖多个IF条件的节点，执行的策略包含逻辑或和逻辑与两种。 当执行策略配置为逻辑或，则表示多个IF判断条
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
