检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 CDC任务当前仅支持采集数据库物理表,不支持视图。 前提条件 若Oracle数据
的要求,那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理: Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。 删除原任务并重建,那么Kafka通道中的topic会被删除,脏数据会被清理掉。 对于组合任务,可以删除此表,启动任务后,
配置SQL Server CDC 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件 不
配置MySQL CDC(Binlog) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 前提条件
创建数据集成任务时,“是否解析”选择“是”时,“元数据”中的“解析路径”必须配置,否则任务会失败。 关系型数据库类型 最大只支持1000万数据量的表同步。 组合任务(CDC) 源端: 定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL
auth_tunnel String 授权通道类型 NORMAL:普通通道 GREEN:绿色通道 auth_whitelist Array of strings 绿色通道的白名单配置 auth_blacklist Array of strings 绿色通道的黑名单配置 visit_param
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库,然后执行以下命令: SELECT CAPTURE_NAME
在级联实例创建到被级联实例的负载通道。 在级联实例控制台左侧的导航栏选择“服务集成 APIC > API管理”,在“负载通道”页签中单击“创建负载通道”。 在新建负载通道页面配置负载通道相关信息。 配置负载通道配置。 表3 负载通道配置 参数 配置说明 通道名称 填写负载通道的名称,根据规划自
修改负载通道的服务器信息。 在实例控制台的“服务集成 APIC > API策略”页面,选择“负载通道”页签。 单击负载通道右侧的“编辑”。 在编辑负载通道页面,修改通道内服务器配置。 对于“服务器添加方式”为“选择云服务器”的负载通道,单击“添加云服务器”,添加负载通道内的服务器。
问参数返回不同的响应参数。 绿色通道 选择是否开启绿色通道,开启绿色通道后,需要设置白名单和黑名单。 白名单 仅当“绿色通道”开启时需要配置。 填写要添加到白名单的IP地址或地址段,白名单中的地址可以不用认证即可调用API。 黑名单 仅当“绿色通道”开启时可配置。 填写要添加到黑
问参数返回不同的响应参数。 绿色通道 选择是否开启绿色通道,开启绿色通道后,需要设置白名单和黑名单。 白名单 仅当“绿色通道”开启时需要配置。 填写要添加到白名单的IP地址或地址段,白名单中的地址可以不用认证即可调用API。 黑名单 仅当“绿色通道”开启时可配置。 填写要添加到黑
使用ROMA Connect集成消息 概述 ROMA Connect提供了安全、标准化消息通道,实现不同消息系统的集成对接。 本章节通过完成一个使用Kafka命令行与ROMA Connect对接的配置样例,帮助您快速熟悉使用ROMA Connect集成消息的过程。 使用ROMA Connect集成消息的步骤如下所示:
问参数返回不同的响应参数。 绿色通道 开启绿色通道后,白名单地址中的客户端无需认证即可调用API。 白名单 仅当“绿色通道”开启时需要配置。 填写要添加到白名单的IP地址或地址段,白名单地址中的客户端无需认证即可调用API。 黑名单 仅当“绿色通道”开启时可配置。 填写要添加到黑
重试间隔时间:失败后的重试时间间隔,范围为1-10秒。 SASL配置信息 安全协议 连接目标Kafka所使用的安全协议。 PLAINTEXT:默认接入点的用户认证协议。 SASL_PLAINTEXT:SASL用户认证协议。 SASL_SSL:SSL用户认证协议。 消息收发机制 目标Kafka的消息收发机制,默认为PLAIN。
VpcInfo object VPC通道详情。如果vpc_channel_status = 1,则这个object类型为必填信息 vpc_channel_status 否 Integer 是否使用VPC通道 1:使用VPC通道 2:不使用VPC通道 表11 ApiPolicyHttpCreate
使用ROMA Connect组合应用 组合应用可进行应用的复合集成,通过开放的API和事件通道进行应用的多次组装,形成新的组合应用,实现业务快速复制创新。 本章节通过以组合应用的方式开放一个接口为例(当访问这个接口的时候,系统返回“hello world”),帮助您快速熟悉ROMA
ACL策略绑定相关API,包括策略的绑定、解绑等操作。 OpenAPI接口 API导入导出相关API,包括前后端API的导入导出操作。 VPC通道管理 VPC通道相关API,包括VPC通道的创建、修改、查询、删除等操作。 客户端配置 客户端配置相关API,包括APP Code的创建、查询、删除等操作。 客户端配额
华为云事件源 参数 说明 事件订阅名称 在事件网格创建的事件订阅名称。 区域 事件网格服务所在区域。 项目 事件网格服务所在项目。 通道 事件通道,存储接收到的事件消息,并根据事件规则将事件消息路由到事件目标。 事件源 华为云服务事件源。 事件类型 华为云服务的事件类型,用于生成过滤规则。
源端数据源已开启CDC功能,根据不同的数据源类型和CDC实现模式,具体操作请参考: 配置Oracle CDC(LogMiner)(推荐使用) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 源端数据源中CDC归档日志的
停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过6小时,可以直接启动任务。如果已经超过6小时,通道内的数据已经过期,需要根据实际情况重置同步进度,然后启动任务。如果任务停止前存在没有采集完全量数据的表,将会重新采集对应表的全量数据。 另