检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MysqlConfig mysqlConfig = getAndCheckMysqlConfig(readerRequestBody.getDatasource()); String jdbcUrl = buildMysqlUrl(mysqlConfig);
FDI任务是否支持清空目标表？ FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表，其他数据源不支持清空表操作。 父主题： 数据集成普通任务
Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置，修改数据源配置为正确的MQS地址。
解决方案 该问题是debezium当前版本的一个BUG，需要用户升级MySQL。 对于组合任务，可以尝试通过修改配置的方法规避，首先删除此表的配置，启动任务后会跳过这些数据，等任务执行成功后，再将表配置回来重新采集。 父主题： 数据集成组合任务
发生异常时对监控部分流程的重试间隔，单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test，将对mysql操作重试一次（间隔两秒），之后终止，不再执行后续流程；若出现运行异常且错误信息中包含error，则不会对mysql操作重试，会进行日志采集，然后继续执行后续Redis
MQS消息堆积最佳实践 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
配置异常数据存储（可选） 概述 本节主要提供数据集成任务异常数据存储的配置说明，仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中，如果源
时间之间的数据。 分区选项 仅当“连接方式”选择“表连接器”时需要配置。 提供对数据进行分区读取的操作，从而提高数据读取速度。分区支持按年、月、天分区读取数据，或者不分区读取。 例如，当在要读取1号到30号的数据时，分区选择天，那么在读取数据时则按30天进行分区读取数据。 说明：
FDI各类数据库支持哪些数据类型？ FDI各类数据库支持的数据类型有： Kafka数据库：string MySQL数据库：integer，bigint，number，varchar，char，float，date，timestamp，datetime Oracle数据库：inte
源端为DWS的配置与MySQL的类似，配置示例可参考MySQL配置示例。 Kafka 返回页首 任务的“集成模式”为“实时”时，可以选择Kafka作为源端数据源，具体配置如下。 表6 源端Kafka信息 参数 配置说明 Topic名称 选择要获取数据的Topic名称。 数据根字段
的数据不支持同步。 源端MySQL数据源： 如果MySQL数据库使用的是MGR集群模式，在接入源端数据源时，必须直接连接主节点，不能连接route节点。 如果MySQL数据库中数据量特别巨大，在首次执行数据同步时可能会连接数据库超时，可以通过修改MySQL数据库的超时参数inte
根据数据源类型的不同，数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源
例如，目标端分区字段为yyyymm，以源端字段createtime作为分区字段来源字段，createtime字段的时间格式为ddMMyyyy（日月年），目标端分区字段格式为yyyyMM（年月），分区字段的值比源端字段的值增加1个小时，则Mapping信息中，分区字段yyyymm的“源端字段名”填写如下：
目的端数据格式选择“MySQL”，在选择表名后，目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例，该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表，并将结果中的桶名称和对象名称通过数据映射，映射到MySql指定表中的相关字段，然后使用MySql添加记录的
存储过程调用 当前数据API不支持直接创建存储过程，但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程，以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表，表结构如下建表语句所示： create table sp_test(id number
单击“创建”，完成MQS数据源的接入。 接入MySQL数据源。 在“数据源管理”页面单击右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“MySQL”数据源类型，然后单击“下一步”。 在页面中填写MySQL数据源的相关配置信息。 表2 数据源配置参数 参数
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
原业务使用的Kafka规格。消息集成规格请参考产品规格。 在ROMA Connect实例上创建与原Kafka相同配置的Topic，包括Topic名称、副本数、分区数、消息老化时间，以及是否同步复制和落盘等。 方案一：先迁生产，再迁消费 方案介绍 本方案中，先将生产消息的业务迁移到ROMA
并发送告警消息/邮件。 分区 Kafka将消息主题（Topic）划分为多个分区（Partition），消息被分布式存储在不同分区中，实现Kafka的水平扩展与高可用。 副本 为了提高消息的可靠性，Kafka的每个分区会有多个副本，对消息进行冗余备份。分区在每个副本存储一份全量数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
