检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时，采集日志显示数据库和缓存不一致时，可以从数据源和任务的维度，执行同步任务，使数据库和缓存保持一致，解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime，源端数据库中createtime记录了数据插入的时间，查看未采集到的数据，updatetime要早于createtime，导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置，源端字段类型的长度超出目标端字段类型的长度限制，或者配置的映射字段中某个字段在源端的数据中不存在。
自定义数据源开发示例（定时任务） 操作场景 FDI当前支持接入MySQL类型数据库，但因为MySQL是最常用的数据库类型，可以方便开发者参照理解，故本章节以MySQL类型自定义连接器为例进行开发，示例使用Java语言进行开发，Demo代码参考MysqlConnctor.rar。
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点，其中两个节点ping不通API的IP。 解决方案 属于网络问题，需要找VPC定位。 父主题： 数据集成任务
FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表，其他数据源不支持清空表操作。 父主题： 数据集成普通任务
接入MySQL数据源。 在“数据源管理”页面单击右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“MySQL”数据源类型，然后单击“下一步”。 在页面中填写MySQL数据源的相关配置信息。
连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后，单击“测试连接”，检测ABM与数据源之间是否能够连通。 若测试结果为“测试连接成功！”
Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。
解决方案 该问题是debezium当前版本的一个BUG，需要用户升级MySQL。 对于组合任务，可以尝试通过修改配置的方法规避，首先删除此表的配置，启动任务后会跳过这些数据，等任务执行成功后，再将表配置回来重新采集。 父主题： 数据集成组合任务
连接模式 选择数据库的连接方式。 默认：使用系统默认方式连接数据库。 专业：使用JDBC连接字符串方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。
连接模式 选择数据库的连接方式。 默认：使用系统默认方式连接数据库。 专业：使用JDBC方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。
配置示例 图中配置对mysql组件获取记录操作进行异常监控。
selected_row_count 上一个数据库节点执行查询操作的数据条数。 仅支持MySQL，Gauss200，PostgreSQL，Oracle，SQL Server或DB2数据库。 updated_row_count 上一个数据库节点执行插入、更新和删除操作的数据条数。
ip为数据库的访问地址。 port为数据库的访问端口。 安全认证类型 数据库的安全认证类型，目前仅支持“Simple”。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 数据源的接入配置示例如下图所示。
{hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {servicename}为要接入的Oracle数据库服务名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。
请使用PostgreSQL数据源类型来对接DWS数据库（DWS数据源类型不推荐使用，但因历史原因，暂不下线）。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。
因Oracle数据库意外重启等原因导致CDC功能异常时，可以在Oracle数据库中执行以下命令来排查和修复。
OBS源端的CSV文件解析到关系型数据库时，列的值不对怎么办？ 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致，需修改任务配置，按照文件中列的顺序填写元数据。 父主题： 数据集成普通任务
数据库编号 填写Redis的数据库编号，不填写则默认连接编号0的数据库。 Redis数据源的接入配置示例如下图所示。 图1 Redis数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
