检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MySQL CDC(Binlog) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。
创建规则引擎目的端 功能介绍 在ROMA Connect创建规则引擎目的端。 URI POST /v1/{project_id}/link/instances/{instance_id}/rules/destinations 表1 参数说明 名称 类型 是否必填 描述 project_id
KafkaProducer类说明 路径 com.roma.apic.livedata.client.v1.KafkaProducer 说明 生产Kafka消息。 使用示例 importClass(com.roma.apic.livedata.client.v1.KafkaProducer);
DataSourceClient类说明 路径 com.roma.apic.livedata.client.v1.DataSourceClient 说明 连接数据源,执行SQL语句、存储过程或NOSQL查询语句。 使用示例 SQL数据源示例: importClass(com.roma
DataSourceConfig类说明 路径 com.roma.apic.livedata.config.v1.DataSourceConfig 说明 配合DataSourceClient使用,对数据源进行配置。 构造器详情 public DataSourceConfig() 构
SapRfcClient类说明 路径 com.roma.apic.livedata.client.v1.SapRfcClient 说明 使用RFC方式访问SAP函数 使用示例 importClass(com.roma.apic.livedata.client.v1.SapRfcClient);
CipherUtils类说明 路径 com.huawei.livedata.lambdaservice.security.CipherUtils 说明 解密密码箱中密码的key值。 在获取解密密码箱中普通密码的key值时,注意敏感信息保护,避免敏感信息泄露。 方法列表 返回类型 方法和说明
RabbitMqConfig类说明 路径 com.roma.apic.livedata.config.v1.RabbitMqConfig 说明 与ConnectionConfig,QueueConfig,ExchangeConfig和RabbitMqProducer配合使用,对RabbitMQ客户端进行配置。
附录:如何提高消息处理效率 消息生产和消费的可靠性必须由ROMA Connect、生产者和消费者协同工作才能保证,对使用ROMA Connect的生产者和消费者有如下的使用建议。 重视消息生产与消费的确认过程 消息生产 生产消息后,生产者需要根据ROMA Connect的返回信息
查看签名密钥绑定的API列表 功能介绍 查询某个签名密钥上已经绑定的API列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_i
查看API绑定的签名密钥列表 功能介绍 查询某个API绑定的签名密钥列表。每个API在每个环境上应该最多只会绑定一个签名密钥。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
RedisClient类说明 路径 com.roma.apic.livedata.client.v1.RedisClient 说明 连接Redis设置或读取缓存(如果不指定JedisConfig,则连接到自定义后端的Function API提供的默认Redis)。 使用示例 importClass(com
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下:
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库,然后执行以下命令: SELECT CAPTURE_NAME
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
MD5Encoder类说明 路径 com.huawei.livedata.lambdaservice.util.MD5Encoder 说明 计算Md5值。 方法列表 返回类型 方法和说明 static String md5(String source) 计算字符串的Md5值 方法详情
Python客户端使用说明 操作场景 本文以Linux CentOS环境为例,介绍Python版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。
购买RCU时套餐包,当月未使用完的RCU时下个月是否可以继续使用? 不可以,上个生效月RCU时余量不可以转结到下个生效月。 父主题: 计费FAQ
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。