检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参见脚本映射样例。 Oracle数据源作为目标端时,主键字段对应的源端字段如果为空,该条记录会默认抛弃,不会产生调度日志错误码。 PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择PostgreSQL作为目标端数据源,具体配置如下。 表11 目标端PostgreSQL信息
仅当“是否增量迁移”选择开启时需要配置。 增量迁移的任务在首次执行后,后续数据集成的时间区间设置模式。 系统默认:表示集成上一次调度到本次调度之间新产生的数据,ROMA Connect在获取源端数据时,将两次任务调度的触发时间分别作为“开始时间”与“结束时间”。 自定义:表示按照设置的周
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
手工触发单个任务 功能介绍 手工触发一次任务调度。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/instanc
创建数据集成任务(编排任务) 配置编排任务流程 配置源端数据信息 配置目标端数据信息 配置映射规则 父主题: 数据集成指导
修改了任务配置,如果数据还是不符合目标端的要求,那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理: Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。 删除原任务并重建,那么Kafka通道中的topic会被删除,脏数据会被清理掉。
用户创建的FDI任务,同一账号的其他用户可见吗? FDI任务是做的用户隔离,如果没有授权,同一账号的其他用户看不到,用户要看到其他用户的任务需要通过集成应用授权。 父主题: 数据集成普通任务
= sourceObject["root.long"]; return targetObject; } 父主题: 创建数据集成任务(编排任务)
908(写入任务正在在排队中(平台资源)) 909(写入任务被拒绝执行,因为上一次调度还没有结束) 911(读取任务没有被正常开启,请检查网络是否通畅,参数是否正确) 912(写入任务没有被正常开启,请检查网络是否通畅,参数是否正确) 913(任务调度请求失败) 914(任务被拒绝执行,因为上一次调度还没有结束)
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
mapping field”错误 API到MySQL的定时任务时会出现源端报“connect timeout”错误 Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 Mysql到Mysql的定时任务,源端有类型为tinyint(1),值为2的字段,但是采集到目标端值就变成了1
填写异常数据要存储到OBS数据源的对象名。Path的值不能以斜杠(/)结尾。 配置完成后,若需要配置任务完成后执行,请前往配置任务完成后执行(可选);否则可直接单击“保存”,完成数据集成任务的配置。 父主题: 创建数据集成任务(普通任务)
删除指定任务 功能介绍 通过任务ID删除指定任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/fdi/insta
String 任务名称,只能以字母、数字为开头,包含字母、数字和 . _ - 3~100个字符。 最小长度:3 最大长度:100 task_id 否 String 任务ID,可以为空。 最小长度:3 最大长度:50 task_type 否 String 任务类型,目前组合任务仅支持实时任务。
String 任务标签,只能包含字母、数字、中划线、下划线。 最小长度:4 最大长度:64 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 task TaskBasicRsp object 任务简单信息。 task_detail String 任务详细信息。
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
初始化组合任务 功能介绍 初始化组合任务,分配任务ID,初始化映射等。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/f
String 实例ID。 最小长度:1 最大长度:64 task_id 是 String 任务唯一标识,任务的ID。 最小长度:1 最大长度:64 mapping_id 是 String 组合任务映射唯一标识。 最小长度:1 最大长度:64 请求参数 表2 请求Header参数 参数
用UUID以确保唯一性。 是否清空表 每次调度任务时是否先清空目标表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。 DM 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择DM作为目标端数据源。 在创建任务页面中配置目标端信息。 表7 目标端DM信息
重置组合任务进度 功能介绍 重置组合任务进度。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/instances