检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父主题: 数据集成组合任务
它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。
它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。
表5 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。 WHERE条件 配置要删除数据的条件值(注意值要用英文单引号包住)。 表6 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。
支持的动作 添加数据 查询数据 删除数据 配置参数 表1 添加数据 参数 说明 Collection名称 选择或者填写要添加数据的Collection名称。 添加数据 填写要添加数据的字段名和字段值。
父主题: 数据集成任务管理
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
其他业务系统通过调用该API,即可获取该业务系统数据库中的数据。 ROMA Connect的服务集成把数据库数据封装为RESTful API有两种实现方式: 数据API:通过编写SQL脚本方式,读取数据库中的数据。操作简单方便,但灵活性较低。
表4 删除记录 参数 说明 表名 数据库中要删除数据的表名。 WHERE条件 填写要删除数据的条件值(注意值要用英文单引号包住)。 父主题: 数据库
配置MySQL CDC(Binlog) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。
父主题: 数据集成普通任务
因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。
SAP支持读取视图,但可能存在数据重复或丢失的问题。因为SAP读取视图会调用/SAPDS/RFC_READ_TABLE2函数,该函数到SAP读取视图时会导致分页错乱。 父主题: 数据集成普通任务
/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 gauss100:gauss100数据源类型 zenith:zenith数据源类型 hana: hana
查看消息内容 概述 ROMA Connect提供了可视化的消息查询功能,可在控制台界面查看Topic中存储的消息数据,可以更直观方便的查看消息正文。 同一时间只能查询一个Topic的消息。
ROMA Connect通过已发布的连接器实例接入自定义数据源,实现对数据源的读写。 前提条件 已完成连接器的线下开发和部署,连接器与ROMA Connect的对接接口开发请参考连接器RESTful接口规范。 已在ROMA Connect中创建连接器。
前提条件 已经在对应的应用下创建Kafka和MRS Kafka数据源,数据源创建参考接入Kafka数据源和接入MRS Kafka数据源。 已创建消息集成Topic并授发布和订阅权限。创建Topic和授权参考消息集成指导章节。
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内
修改ACL策略 功能介绍 修改指定的ACL策略,其中可修改的属性为:acl_name、acl_type、acl_value,其它属性不可修改。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能
- true (需要) - false (不需要) error_handler 否 List<ErrorHandler> 异常数据存储,需要存储异常数据时配置。