检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Oracle CDC(LogMiner) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。
200 表4 响应Body参数 参数 参数类型 描述 code String 响应码 start_time Long 开始时间的UTC的时间戳 end_time Long 截止时间的UTC的时间戳 list Array of StatisticsAPI objects 统计指标的数据结构体
以自定义数据源作为源端,MySQL作为目标端为例创建定时任务。 参考创建数据集成任务(普通任务)接入源端自定义数据源和目标端MySQL数据源,并创建定时任务。完成后运行任务,可以将源端自定义的数据源中的数据,迁移到MySQL数据源的表中。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
配置MySQL CDC(Binlog) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。
SAP支持读取视图,但可能存在数据重复或丢失的问题。因为SAP读取视图会调用/SAPDS/RFC_READ_TABLE2函数,该函数到SAP读取视图时会导致分页错乱。 父主题: 数据集成普通任务
连接器 ROMA Connect支持常见的数据源类型,如关系型数据库、大数据存储、半结构化存储、消息系统等。
若没有分区,在输入mapping信息时,参考下面格式: { "col_seq":{ "index_0":"源表字段1", "index_1":"源表字段2", "index_2":"源表字段3" } } 父主题: 数据集成普通任务
同时,ROMA Connect的高度可扩展性设计,支撑园区海量的数据传输与存储,提升数据传输效率。
使用ROMA Connect进行数据集成,有如下优势: 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源,具体支持的数据源类型请参见数据集成任务支持的数据源。
公网出口 数据集成FDI和服务集成APIC访问公网数据或服务的地址,实例创建时自动配置。 表2 ROMA Site协同版基本信息 内容 内容说明 ROMA Connect实例信息 实例的基本信息,包括实例名称、实例ID、实例规格、描述、可用区、创建时间。
在页面上方搜索框中,筛选条件选择“实例ID”,并输入2中复制的资源ID,单击图标即可查找到该实例资源。 您也可以在2中复制资源名称,并在查找实例资源时筛选条件选择“名称”,通过资源名称查找实例资源。 单击实例的“删除”按钮,对实例执行删除操作。
配置SQL Server CDC 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。
表5 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。 WHERE条件 配置要删除数据的条件值(注意值要用英文单引号包住)。 表6 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。
配置API的流量控制 流量控制可限制单位时间内API的被调用次数,保护后端服务。为了提供持续稳定的服务,您可以创建流控策略,对绑定策略的API进行流量控制。若API被触发流量控制,则流控期间该API的所有调用请求都将被丢弃,并向调用方返回失败响应。 流量控制策略和API本身是相互独立的
接入数据源。 调用“创建数据源”接口,接入需要开放数据的数据库,并获取返回的数据源ID。 创建数据后端。 调用“创建后端API”接口,创建一个自定义后端,并获取返回的后端API编号。 调用“创建后端API脚本”接口,配置数据后端。 获取API分组ID。
环境变量管理 新建变量 删除变量 查看变量详情 查询变量列表 修改变量 父主题: 服务集成API
huge_message Boolean 大数据标识。 message_offset Integer 消息偏移量。 message_id String 消息ID。 app_id String 集成应用key。 tag String 消息标签。
单击“高级搜索”展开高级搜索框。 输入搜索条件,然后单击“搜索”,查询客户端发送的消息记录。 “Topic名称”选择步骤一:创建消息Topic中创建的消息Topic。 “查询方式”选择“按生产时间查询”,并选择客户端向ROMA Connect发送消息的时间段。