检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 任务中配置的时间戳字段为updatetime，源端数据库中createtime记录了数据插入的时间，查看未采集到的数据，updatetime要早于createtime，导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内，所以部分数据采集不到。
ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 约束与限制 若MySQL数据库为主从模式，不支持使用MySQL从库。 不支持采集二进制类型的字段，例如：TINYBLOB、BLOB
仅当“连接模式”选择“默认”时可配置。 数据库所使用的编码格式。 超时时间 仅当“连接模式”选择“默认”时可配置。 连接数据库的超时时间，单位为秒。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写MySQL数据库的JDBC格式连接串，例如：jdbc:mysql://{host
符串。 是：由用户自己输入数据源连接字符串。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的连接IP地址。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的端口。 JDBC字符串 仅当“是否使用JDBC字符串”选择“是”时需要配置。
FDI各类数据库支持哪些数据类型？ FDI各类数据库支持的数据类型有： Kafka数据库：string MySQL数据库：integer，bigint，number，varchar，char，float，date，timestamp，datetime Oracle数据库：inte
增量获取时区 增量数据获取开始时区。 增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值 增量数据获取的时间戳初始值。 重置增量获取时间初始值 选择是否开启重置增量获取时间初始值。 增量获取时间补偿(毫秒） 增量获取时间补偿。 表3 添加记录 参数 说明 表名 填写要插入数据的数据表名。
Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置，修改数据源配置为正确的MQS地址。
MySQL MySQL连接器用于连接MySQL数据库，负责建立和维护应用程序和MySQL数据库之间的连接，并管理数据的传输。 MySQL是一个流行的开源关系型数据库，广泛用于Web应用程序的后端。它支持多种操作系统，包括Windows、Linux、Unix和macOS X。MyS
选择“默认”方式。 连接地址 填写MySQL数据库的访问IP地址。 端口 填写MySQL数据库的访问端口，MySQL的默认访问端口为3306，以数据库的实际配置为准。 数据库名 填写数据表所在的数据库名称。 编码格式 数据库所使用的编码格式。 超时时间（秒） 连接数据库的超时时间，单位为秒。 用户名
project_id 是 String 项目ID，获取方式请参见API参考的“附录 > 获取项目ID”章节。 instance_id 是 String 实例ID 表2 Query参数 参数 是否必选 参数类型 描述 api_id 是 String API的编号 duration 是 String
后端服务调用失败 原因分析 可能是以下三种原因导致，请逐一排查： 后端服务地址错误。 后端超时时间设置不合理。 当后端服务没有在设置的后端超时时间内返回时，API网关提示后端服务调用失败。 如果“后端服务地址”在ECS（Elastic Cloud Server），ECS的安全组无法被外部访问。
Hive读写文件格式只支持rcfile和textfile类型。 MRS Hive作为源端最大只支持100万数据量表的同步。 API数据源类型 超时时间为60秒，服务端响应时间若超过60秒会触发任务执行报错。 API作为源端，单次请求最大支持读取的数据大小为20M，超过此大小必须分页分批读取。 API
实例节点出现故障的情况下，单副本Topic查询消息时会出现内部错误问题，因此不建议使用单副本Topic。 老化时间（小时） 设置Topic中存储消息的老化时间，超过老化时间的消息将会被删除。 同步复制 客户端向Topic生产消息时，是否把消息复制给所有副本，然后才向消息客户端返回响应。
查看某个API的调用统计，包括“请求次数”、“出错统计”、“数据流量”和“调用延时”。 选择“集成应用”和“API”，筛选要查看统计数据的API，并可以选择要查看数据的时间段范围。 近1小时数据每2分钟刷新一次。 近6小时数据每2小时刷新一次。 近一天数据每2小时刷新一次。 近一周和近一月数据每天刷新一次。 父主题：
某些大数据量的表存在数据倾斜时，DWS集群会变为只读状态。从FDI侧来看，在某个时间点，所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题，恢复数据库服务后，如果FDI的任务停止时间没有超过6小时，可以直接启动任务。如果已经超过6小时，通道内的数据已经过期，需要根
方案概述 为了确保数据的实时性和一致性，可以周期性地将MySQL数据库中的数据同步至Oracle数据库中。 这一过程会按照预设的时间间隔精确执行，通过模板“定时同步MySql中的数据到Oracle”创建组合应用，系统会自动抓取MySQL数据库中的最新数据记录，并将其无缝对接到Oracle
仅当“连接模式”选择“默认”时可配置。 数据库所使用的编码格式。 超时时间 仅当“连接模式”选择“默认”时可配置。 连接数据库的超时时间，单位为秒。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写MySQL数据库的JDBC格式连接串，例如：jdbc:mysql://{host
CDC（Binlog） 配置SQL Server CDC 源端数据源中CDC归档日志的保留时间需要大于集成任务解析的日志时间，否则会造成集成任务找不到归档日志而导致增量同步失败。因此，数据集成任务停止运行的时间不宜过长。建议最少保留2天以上的归档日志。 在首次执行数据同步期间，建议不要对源端数据库做DDL操作。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方式请参见API参考的“附录 > 获取项目ID”章节。 instance_id 是 String 实例ID api_id 是 String API的编号 请求参数 表2 请求Header参数
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方式请参见API参考的“附录 > 获取项目ID”章节。 instance_id 是 String 实例ID api_id 是 String API的编号 请求参数 表2 请求Header参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
