检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧的“处理器”中拖拽“任务调度器”至编排区域,“任务调度器”适用于数据源之间数据调度,主要用于设置任务的集成模式、执行周期等,具体参数说明见下表。 表2 任务调度器参数配置 参数 参数说明 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。
String 调度计划的cron表达式。 最小长度:8 最大长度:255 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 dispatch_id String 调度计划ID。 最小长度:1 最大长度:64 task_id String 调度计划关联的任务ID。 最小长度:1
参数类型 描述 dispatch_id String 调度计划ID。 最小长度:1 最大长度:64 task_id String 调度计划关联的任务ID。 最小长度:1 最大长度:64 start_datetime Integer 调度计划的执行开始时间,上限2147512447000,下限946684800000。
修改调度计划 功能介绍 通过任务ID和调度ID修改调度计划。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}/fdi/ins
查询指定任务的调度信息总览 功能介绍 查询指定任务的调度信息总览。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/
908(写入任务正在在排队中(平台资源)) 909(写入任务被拒绝执行,因为上一次调度还没有结束) 911(读取任务没有被正常开启,请检查网络是否通畅,参数是否正确) 912(写入任务没有被正常开启,请检查网络是否通畅,参数是否正确) 913(任务调度请求失败) 914(任务被拒绝执行,因为上一次调度还没有结束)
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
任务管理 创建普通任务 查询任务列表 统计不同类型不同状态任务数量 更新普通任务 查询指定任务的信息 删除指定任务 手工触发单个任务 手工停止当前执行的任务 创建调度计划 查询调度计划 修改调度计划 批量启动或停止任务 创建组合任务 初始化组合任务 修改组合任务 重置组合任务进度
在左侧的导航栏选择“数据集成 FDI > 任务管理”,然后单击页面的“创建组合任务”。 在创建组合任务页面中配置任务基本信息。 表1 任务基本信息 参数 配置说明 任务名称 任务创建后,任务名称不可修改。建议您按照一定的命名规则规划任务名称,能帮助您快速识别和检索任务。 集成模式 选择数据集成的模式。
要查看的任务。(编排任务无任务信息页面) 表1 任务信息说明 内容 内容说明 任务信息 任务的基本信息,包括任务名称、任务ID、集成模式、任务状态等。 任务详情 任务的配置信息,包括源端信息、目标端信息和Mapping信息(组合任务无Mapping信息)。 调度计划 任务的执行计
和授权参考消息集成指导章节。 配置任务完成后执行 在创建任务页面中配置任务完成后执行信息。 表1 任务完成后执行 参数 配置说明 执行动作 选择任务完成后是否发送消息。 不发送消息:表示任务完成后不发送消息通知。 发送消息至Kafka:表示任务完成后发送消息至Kafka。 发送消息至MRS
“任务状态”变为“启动”。 手工调度任务,手工调度任务前,需确保“任务状态”为“停止”状态。 单击数据集成任务右侧的“更多 > 手工调度”,手工调度任务。 定时任务:手工调度任务后,任务仅执行一次,“任务状态”依然为“停止”。 实时任务:手工调度任务后,即启动任务,“任务状态”变
String 任务类型: TIMING(定时任务) REALTIME(实时任务) 最小长度:3 最大长度:10 status Integer 任务状态: 0(停止) 1(运行中) 最小长度:3 最大长度:10 last_execute_time Integer 任务最近一次执行时
目标端任务报任务运行超时 原因分析 任务名称超过64个字符,且多个定时任务名称前64位都相同。 解决方案 修改任务名称长度及多个任务名称前64位相同的问题。 父主题: 数据集成任务
创建普通任务 功能介绍 创建普通任务(区别于组合任务)。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/inst
查询指定任务的信息 功能介绍 通过任务ID查询指定任务的信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/in
(可选)配置任务计划 如果任务的“集成模式”选择了“定时”,则您还需要为定时任务配置任务计划,告知ROMA Connect何时执行任务。 在创建数据集成任务后,如需修改任务计划,请先停止任务。 如果要集成同步的数据量较大,且任务的执行时间间隔较短,会出现上一次任务调度还没有执行完
“上次成功执行任务的时间” 且 endTime <= “当前任务执行时间” 的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。
导入导出数据集成任务 概述 数据集成任务创建后,您可以通过导入导出功能,导入或导出数据集成任务。如果数据集成任务关联子任务,在任务导入后需要重新配置子任务信息。 导出数据集成任务 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成
参见脚本映射样例。 Oracle数据源作为目标端时,主键字段对应的源端字段如果为空,该条记录会默认抛弃,不会产生调度日志错误码。 PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择PostgreSQL作为目标端数据源,具体配置如下。 表11 目标端PostgreSQL信息