检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime，源端数据库中createtime记录了数据插入的时间，查看未采集到的数据，updatetime要早于createtime，导致任务运行时数据还没有插入updatetime的
定错误信息时，会进行异常处理步骤。 重试次数 发生异常时对监控部分流程的最大重试次数。 重试间隔（秒） 发生异常时对监控部分流程的重试间隔，单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test，将对mysql操作重试一次（
Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置，修改数据源配置为正确的MQS地址。
forma，如下图所示。 解决方案 该问题是debezium当前版本的一个BUG，需要用户升级MySQL。 对于组合任务，可以尝试通过修改配置的方法规避，首先删除此表的配置，启动任务后会跳过这些数据，等任务执行成功后，再将表配置回来重新采集。 父主题： 数据集成组合任务
配置异常数据存储（可选） 概述 本节主要提供数据集成任务异常数据存储的配置说明，仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中，如果源端的某些数据符合集
码。 PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择PostgreSQL作为目标端数据源，具体配置如下。 表11 目标端PostgreSQL信息 参数 配置说明 是否自动建表 选择是否自动创建新的数据表。 目标表名称 仅当“是否自动建表”开启时显示。
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
MRS HBase数据库：string 不建议在MRS Hive数据库中使用varchar、char、date，长度超过限制后，FDI会自动进行截取，可能造成信息不完整。 父主题： 数据集成普通任务
选择“默认”方式。 连接地址 填写MySQL数据库的访问IP地址。 端口 填写MySQL数据库的访问端口，MySQL的默认访问端口为3306，以数据库的实际配置为准。 数据库名 填写数据表所在的数据库名称。 编码格式 数据库所使用的编码格式。 超时时间（秒） 连接数据库的超时时间，单位为秒。
存储过程调用 当前数据API不支持直接创建存储过程，但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程，以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表，表结构如下建表语句所示： create table sp_test(id number
oracle：oracle数据源类型 mysql：mysql数据源类型 mongodb：mongodb数据源类型 redis：redis数据源类型 postgresql：postgresql/opengauss数据源类型 hive：hive数据源类型 mssql：sqlserver数据源类型 sql
String 映射前缀(根据前后缀组合将源端表映射至匹配目标端表名称 = 前缀(可选) + 源端表名称 + 后缀(可选))。 mapping_suffix 否 String 映射后缀(根据前后缀组合将源端表映射至匹配目标端表名称 = 前缀(可选) + 源端表名称 + 后缀(可选))。 tar
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题： 连接器
OPENGAUSS：GaussDB数据源 MYSQL：MySQL数据源 ORACLE：Oracle数据源 POSTGRESQL：PostgreSQL数据源 SQLSERVER：SQL Server数据源 TAURUS：GAUSSDB(FOR MYSQL)数据源 DIS：DIS数据源 DWS：DWS数据源
OPENGAUSS：GaussDB数据源 MYSQL：MySQL数据源 ORACLE：Oracle数据源 POSTGRESQL：PostgreSQL数据源 SQLSERVER：SQL Server数据源 TAURUS：GAUSSDB(FOR MYSQL)数据源 DIS：DIS数据源 DWS：DWS数据源
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
OPENGAUSS：GaussDB数据源 MYSQL：MySQL数据源 ORACLE：Oracle数据源 POSTGRESQL：PostgreSQL数据源 SQLSERVER：SQL Server数据源 TAURUS：GAUSSDB(FOR MYSQL)数据源 DIS：DIS数据源 DWS：DWS数据源
OPENGAUSS：GaussDB数据源 MYSQL：MySQL数据源 ORACLE：Oracle数据源 POSTGRESQL：PostgreSQL数据源 SQLSERVER：SQL Server数据源 TAURUS：GAUSSDB(FOR MYSQL)数据源 DIS：DIS数据源 DWS：DWS数据源
OPENGAUSS：GaussDB数据源 MYSQL：MySQL数据源 ORACLE：Oracle数据源 POSTGRESQL：PostgreSQL数据源 SQLSERVER：SQL Server数据源 TAURUS：GAUSSDB(FOR MYSQL)数据源 DIS：DIS数据源 DWS：DWS数据源
源，例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明，假设数据API有数据源1和数据源2，user01是数据源1的数据表和user02是数据源2的数据表，两张表的结构如下： 表1 表结构 数据源 表名 参数 数据源1 user01 id（int） name（varchar）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
