检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启LogMin
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。
Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 约束与限制 若MySQL数据库为主从模式,不支持使用MySQL从库。
数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持创建两种数据集成任务: 创建数据集成任务:普通数据集成任务,有定时任务和实时任务两种集成模式,支持所有默认类型的数据源,对于数据库类型数据源,只支持源端一个数据表到目标端一个数据表的集成同步。
修改API配置 概述 API的环境类信息、控制策略信息、密钥类信息、API授权的黑白名单以及未发布到RELEASE环境的API,为非资产数据,在导入集成资产后需要重新配置。 环境类信息包括独立域名、环境变量、负载通道的云服务器信息、非默认的环境。 控制策略信息包括流量控制策略、访
Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 约束与限制 若SQL Server数据库为主从模式,不支持使用SQL
用户可以把设计好的组合应用生成模板,其他用户可通过模板快速创建组合应用。 操作步骤 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面找到要导出的组合应用。 单击组合应用上的“”,选择“编辑”,进入组合应用的编辑界面。 单击页面右上角的“保存>保存为模板”。 在发布组合应用模板弹窗
规则引擎 配置数据转发规则 导入导出规则 父主题: 设备集成指导
SAP是否支持分页读取视图? SAP支持读取视图,但可能存在数据重复或丢失的问题。因为SAP读取视图会调用/SAPDS/RFC_READ_TABLE2函数,该函数到SAP读取视图时会导致分页错乱。 父主题: 数据集成普通任务
DIS数据库类型 源端进行数据采集时,一个通道只支持一个任务运行。 WebSocket数据库类型 创建数据集成任务时,“是否解析”选择“是”时,“元数据”中的“解析路径”必须配置,否则任务会失败。 关系型数据库类型 最大只支持1000万数据量的表同步。 组合任务(CDC) 源端: 定
创建API 功能介绍 添加一个API,API即一个服务接口,具体的服务能力。API分为两部分,第一部分为面向API使用者的API接口,定义了使用者如何调用这个API。第二部分面向API提供者,由API提供者定义这个API的真实的后端情况,定义了ROMA Connect如何去访问真
MQS连接开发(RESTful API) Java Demo使用说明 生产消息接口说明 消费消息接口说明 消费确认接口说明 父主题: 消息集成开发指导
"col_seq":{ "index_0":"源表字段1", "index_1":"源表字段2", "index_2":"源表字段3" } } 父主题: 数据集成普通任务
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时间已
开发准备 获取签名密钥信息 旧版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > API管理”的“签名密钥”页签中,单击API所绑定签名密钥的名称进入签名密钥详情页面,获取签名密钥的Key和Secret。 新版界面:登录ROMA Connect实例控制台,在“服务集成
实例配置管理 查看实例信息 修改实例配置参数 创建数据字典 导入导出资产 父主题: 实例管理
选择或者填写数据库中要删除数据的表名。 WHERE条件 配置要删除数据的条件值(注意值要用英文单引号包住)。 表6 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。 表7 自定义SQL 参数 说明 执行语句 填写操作数据库的原生SQL语句。
支持的动作 添加数据 查询数据 删除数据 配置参数 表1 添加数据 参数 说明 Collection名称 选择或者填写要添加数据的Collection名称。 添加数据 填写要添加数据的字段名和字段值。 表2 查询数据 参数 说明 Collection名称 选择或者填写要查询数据的Collection名称。
表名 填写要更新数据的数据表名。 更新数据 填写更新操作中目标字段的值。 WHERE条件 填写要更新数据的条件。 表5 同步记录 参数 说明 表名 要同步数据的数据表名。 清空表 每次同步数据,是否先清空表。 表6 删除记录 参数 说明 表名 填写要删除数据的数据表名。 WHERE条件