检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
立即执行一次：否。 图2 定时器配置 配置MySQL参数。 选择连接，选择之前已创建的MySQL连接器“MySql_test”。 选择动作，选择模板已选择好的“获取记录”。 配置参数。选择需要同步的表名，字段名选择“aa”和“bb”，其他参数保持默认。 图3 MySQL配置 配置循环处理器，保持默认配置即可。
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime，源端数据库中createtime记录了数据插入的时间，查看未采集到的数据，updatetime要早于createtime，导致任务运行时数据还没有插入updatetime的
完成本实践所需的资源： 表1 资源规划 资源 资源说明 数量 MySQL 2核 4GB 1 Oracle 2核 4GB 1 新版ROMA Connect实例 配额设置为组合应用，2RCU 1 父主题： 定时同步MySQL中的数据到Oracle
数据同步验证 连接Mysql数据源，在源端数据表中插入一条数据。 连接Oracle数据源，根据定时器设置的同步时间间隔等待一分钟，在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题： 定时同步MySQL中的数据到Oracle
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题： 创建API的时候“安全认证”选择的是“无认证”，创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”，创建数据源的时候“认证方式”选了“AppKey
发生异常时对监控部分流程的重试间隔，单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test，将对mysql操作重试一次（间隔两秒），之后终止，不再执行后续流程；若出现运行异常且错误信息中包含error，则不会对mysql操作重试，会进行日志采集，然后继续执行后续Redis
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库，负责建立和维护应用程序和PostgreSQL数据库之间的连接，并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432，但是管理员可以根据需要将其更改为其他端口。
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确，导致组合任务启动失败，任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况，如果存在请和数据库管理员沟通后删除乱码表名的表，然后重新启动任务。 父主题： 数据集成组合任务
据不支持同步。 源端MySQL数据源： 如果MySQL数据库使用的是MGR集群模式，在接入源端数据源时，必须直接连接主节点，不能连接route节点。 如果MySQL数据库中数据量特别巨大，在首次执行数据同步时可能会连接数据库超时，可以通过修改MySQL数据库的超时参数intera
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置，源端字段类型的长度超出目标端字段类型的长度限制，或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点，其中两个节点ping不通API的IP。 解决方案 属于网络问题，需要找VPC定位。 父主题： 数据集成任务
Hive MRS 3.*.* MRS Kafka MRS 3.*.* MySQL 5.7、8.0 OBS 3 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c PostgreSQL 11 RabbitMQ 3.6.10 RocketMQ 4.8.0 Redis
接入数据源。 配置ROMA Connect接入业务系统的数据库，确保可以正常从数据库读取和写入数据。 不同类型数据源的接入配置不同，此处以Kafka作为源端数据库，MySQL作为目标端数据库为例进行说明，其他类型数据库请参考接入数据源。 接入源端Kafka数据源： 在左侧的导航
配置异常数据存储（可选） 概述 本节主要提供数据集成任务异常数据存储的配置说明，仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中，如果源端的某些数据符合集
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败，界面报错为binlog probably
Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置，修改数据源配置为正确的MQS地址。
传输，安全性更高。以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具和客户端证书。 进入文件压缩包所在的目录，然后执行以下命令解压文件。 解压命令行工具文件： tar -zxf kafka_tar 其中，kafka_tar为Kafka命令行工具压缩包的名称。 解压客户端证书文件：
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库，负责建立和维护应用程序和PostgreSQL数据库之间的连接，并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432，但是管理员可以根据需要将其更改为其他端口。
从OBS解析文件到RDS数据库，采集过一次后，后面采集会进行更新吗？ 如果是采集同一个文件，每次在OBS上更新文件，目标端数据库有主键情况下，每次会根据主键更新数据。 如果是采集多个文件，目标端数据库有主键且主键相同的情况下，每次都会更新成时间最早的文件里的值，即数据内容没有变化
仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写Sql Server数据库的JDBC格式连接串，例如：jdbc:sqlserver://{hostna
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
