检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发说明 开发场景 开发规范 父主题: 数据集成开发指导
父主题: 数据集成组合任务
extend_meta_data 否 List<MetaData> 源端数据源元数据配置信息的拓展信息。 source_meta_data 否 List<MetaData> 源端数据源元数据配置信息。
FDI任务失败,修改问题后任务写入仍然报错 原因分析 Writer端写入数据时,先从Kafka通道的topic中消费数据,成功入库后才将消费偏移量提交给Kafka。如果写入数据时发生异常,将不会提交消费偏移量,等待修复问题后,重启任务,可以重新消费并处理未成功入库的数据。
最小长度:2 最大长度:512 请求示例 为指定数据集成任务创建调度计划,不使用Cron表达式,执行间隔为每天一次 { "use_quartz_cron" : false, "remark" : "123", "start_datetime" : "2020-11-14T07
最小长度:2 最大长度:512 请求示例 修改指定数据集成组合任务,操作类型修改为插入和更新,并同步已有数据 { "description" : "test" } 响应示例 状态码: 400 Bad Request { "error_code" : "FDI.3150",
方案概述 为了确保数据的实时性和一致性,可以周期性地将MySQL数据库中的数据同步至Oracle数据库中。
最小长度:2 最大长度:512 请求示例 修改指定数据集成组合任务,操作类型修改为插入和更新,并同步已有数据 { "description" : "test", "task_tag" : "combinationaa", "operation_types" : [ "INSERT
表5 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。 WHERE条件 配置要删除数据的条件值(注意值要用英文单引号包住)。 表6 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。
父主题: 获取数据源配置文件
父主题: 获取数据源配置文件
应用与数据集成平台 ROMA Connect 介绍API到Kafka的数据集成 03:18 API到Kafka的数据集成 应用与数据集成平台 ROMA Connect 介绍企业数据以API形式开放共享 02:53 企业数据以API形式开放共享
删除指定任务 手工触发单个任务 手工停止当前执行的任务 创建调度计划 查询调度计划 修改调度计划 批量启动或停止任务 创建组合任务 初始化组合任务 修改组合任务 重置组合任务进度 创建组合任务映射 查询组合任务的映射列表 修改组合任务映射 删除指定任务映射 组合任务自动映射 父主题: 数据集成
MySQL支持多种存储引擎,包括InnoDB、MyISAM、MEMORY等,每个存储引擎都有其自己的优缺点,可以根据需要进行选择。 创建MySQL连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。
其他业务系统通过调用该API,即可获取该业务系统数据库中的数据。 ROMA Connect的服务集成把数据库数据封装为RESTful API有两种实现方式: 数据API:通过编写SQL脚本方式,读取数据库中的数据。操作简单方便,但灵活性较低。
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
查看某个API的调用统计,包括“请求次数”、“调用延时”、“数据流量”和“出错统计”。 选择“集成应用”和“API”,筛选要查看统计数据的API,并可以选择要查看数据的时间段范围。 近1小时数据每2分钟刷新一次。 近6小时数据每2小时刷新一次。 近一天数据每2小时刷新一次。
最小长度:2 最大长度:512 请求示例 修改指定数据集成任务的调度计划,不使用Cron表达式,执行间隔为每天一次 { "dispatch_id" : "0b046396c0f84687840c37c642389609", "task_id" : "34bb58f48c684b5ea1158cff69b9fbe4
父主题: 数据集成任务管理
父主题: 创建并开放数据API