检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询指定任务的调度信息总览 功能介绍 查询指定任务的调度信息总览。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/
参数类型 描述 dispatch_id String 调度计划ID。 最小长度:1 最大长度:64 task_id String 调度计划关联的任务ID。 最小长度:1 最大长度:64 start_datetime Integer 调度计划的执行开始时间,上限2147512447000,下限946684800000。
修改调度计划 功能介绍 通过任务ID和调度ID修改调度计划。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}/fdi/ins
String 调度计划的cron表达式。 最小长度:8 最大长度:255 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 dispatch_id String 调度计划ID。 最小长度:1 最大长度:64 task_id String 调度计划关联的任务ID。 最小长度:1
908(写入任务正在在排队中(平台资源)) 909(写入任务被拒绝执行,因为上一次调度还没有结束) 911(读取任务没有被正常开启,请检查网络是否通畅,参数是否正确) 912(写入任务没有被正常开启,请检查网络是否通畅,参数是否正确) 913(任务调度请求失败) 914(任务被拒绝执行,因为上一次调度还没有结束)
在左侧的“处理器”中拖拽“任务调度器”至编排区域,“任务调度器”适用于数据源之间数据调度,主要用于设置任务的集成模式、执行周期等,具体参数说明见下表。 表2 任务调度器参数配置 参数 参数说明 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。
在左侧的导航栏选择“数据集成 FDI > 任务管理”,然后单击页面的“创建组合任务”。 在创建组合任务页面中配置任务基本信息。 表1 任务基本信息 参数 配置说明 任务名称 任务创建后,任务名称不可修改。建议您按照一定的命名规则规划任务名称,能帮助您快速识别和检索任务。 集成模式 选择数据集成的模式。
要查看的任务。(编排任务无任务信息页面) 表1 任务信息说明 内容 内容说明 任务信息 任务的基本信息,包括任务名称、任务ID、集成模式、任务状态等。 任务详情 任务的配置信息,包括源端信息、目标端信息和Mapping信息(组合任务无Mapping信息)。 调度计划 任务的执行计
目标端任务报任务运行超时 原因分析 任务名称超过64个字符,且多个定时任务名称前64位都相同。 解决方案 修改任务名称长度及多个任务名称前64位相同的问题。 父主题: 数据集成任务
“任务状态”变为“启动”。 手工调度任务,手工调度任务前,需确保“任务状态”为“停止”状态。 单击数据集成任务右侧的“更多 > 手工调度”,手工调度任务。 定时任务:手工调度任务后,任务仅执行一次,“任务状态”依然为“停止”。 实时任务:手工调度任务后,即启动任务,“任务状态”变
和授权参考消息集成指导章节。 配置任务完成后执行 在创建任务页面中配置任务完成后执行信息。 表1 任务完成后执行 参数 配置说明 执行动作 选择任务完成后是否发送消息。 不发送消息:表示任务完成后不发送消息通知。 发送消息至Kafka:表示任务完成后发送消息至Kafka。 发送消息至MRS
查询指定任务的信息 功能介绍 通过任务ID查询指定任务的信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/in
创建普通任务 功能介绍 创建普通任务(区别于组合任务)。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/inst
(可选)配置任务计划 如果任务的“集成模式”选择了“定时”,则您还需要为定时任务配置任务计划,告知ROMA Connect何时执行任务。 在创建数据集成任务后,如需修改任务计划,请先停止任务。 如果要集成同步的数据量较大,且任务的执行时间间隔较短,会出现上一次任务调度还没有执行完
“上次成功执行任务的时间” 且 endTime <= “当前任务执行时间” 的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。
String 任务类型: TIMING(定时任务) REALTIME(实时任务) 最小长度:3 最大长度:10 status Integer 任务状态: 0(停止) 1(运行中) 最小长度:3 最大长度:10 last_execute_time Integer 任务最近一次执行时
参见脚本映射样例。 Oracle数据源作为目标端时,主键字段对应的源端字段如果为空,该条记录会默认抛弃,不会产生调度日志错误码。 PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择PostgreSQL作为目标端数据源,具体配置如下。 表11 目标端PostgreSQL信息
任务管理 创建普通任务 查询任务列表 统计不同类型不同状态任务数量 更新普通任务 查询指定任务的信息 删除指定任务 手工触发单个任务 手工停止当前执行的任务 创建调度计划 查询调度计划 修改调度计划 批量启动或停止任务 创建组合任务 初始化组合任务 修改组合任务 重置组合任务进度
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
导入导出数据集成任务 概述 数据集成任务创建后,您可以通过导入导出功能,导入或导出数据集成任务。如果数据集成任务关联子任务,在任务导入后需要重新配置子任务信息。 导出数据集成任务 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成