-
MySql - 应用与数据集成平台 ROMA Connect
MySql MySQL连接器用于连接MySQL数据库,负责建立和维护应用程序和MySQL数据库之间的连接,并管理数据的传输。 MySQL是一个流行的开源关系型数据库,广泛用于Web应用程序的后端。它支持多种操作系统,包括Windows、Linux、Unix和macOS X。MyS
-
接入MySQL数据源 - 应用与数据集成平台 ROMA Connect
配置。 填写MYSQL数据库的JDBC格式连接串,格式:jdbc:mysql://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的MYSQL数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。
-
接入MySQL数据源 - 应用与数据集成平台 ROMA Connect
接入MySQL数据源 概述 ROMA Connect支持把MySQL数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用MySQL数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
-
配置MySQL CDC(Binlog) - 应用与数据集成平台 ROMA Connect
执行以下命令重启MySQL数据库。 service mysqld restart 以root用户登录数据库,执行以下命令,查询变量log_bin的值是否为“ON”,即是否已开启Binlog。 show variables like 'log_bin'; (可选):当创建MySQL CDC
-
接入GaussDB(for MySQL)数据源 - 应用与数据集成平台 ROMA Connect
接入GaussDB(for MySQL)数据源 概述 ROMA Connect支持把GaussDB(for MySQL)数据库作为一个数据源,并用于数据集成任务。在使用GaussDB(for MySQL)数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成
-
Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 - 应用与数据集成平台 ROMA Connect
Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 原因分析 从源端数据源视图中查看,视图定义语句使用了union,但是union两边字段编码不一致,须统一编码。 解决方案 建议使用CONVERT转换为统一编码,如:CONVERT
-
Mysql到Mysql的定时任务,源端有类型为tinyint(1),值为2的字段,但是采集到目标端值就变成了1 - 应用与数据集成平台 ROMA Connect
Mysql到Mysql的定时任务,源端有类型为tinyint(1),值为2的字段,但是采集到目标端值就变成了1 原因分析 Mysql驱动自动识别tinyint(1)为bit类型,所以目标端的值都变成了1。 解决方案 修改数据源配置,连接与安全配置项选择“专业”模式,在字符串最后加
-
API到MySQL时源端报“401 unauthorized”错误 - 应用与数据集成平台 ROMA Connect
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候“认证方式”选了“AppKey
-
创建后端API脚本 - 应用与数据集成平台 ROMA Connect
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
-
自定义数据源开发示例(定时任务) - 应用与数据集成平台 ROMA Connect
MysqlConfig mysqlConfig = getAndCheckMysqlConfig(readerRequestBody.getDatasource()); String jdbcUrl = buildMysqlUrl(mysqlConfig);
-
源端Mysql增量采集每小时执行一次时部分数据丢失 - 应用与数据集成平台 ROMA Connect
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
-
Kafka集到Mysql目标端报“cannot find record mapping field”错误 - 应用与数据集成平台 ROMA Connect
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
-
API到MySQL的定时任务时会出现源端报“connect timeout”错误 - 应用与数据集成平台 ROMA Connect
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
-
FDI任务是否支持清空目标表? - 应用与数据集成平台 ROMA Connect
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
-
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 - 应用与数据集成平台 ROMA Connect
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
-
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 - 应用与数据集成平台 ROMA Connect
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
-
异常监控 - 应用与数据集成平台 ROMA Connect
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
-
创建后端API脚本 - 应用与数据集成平台 ROMA Connect
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
-
配置异常数据存储(可选) - 应用与数据集成平台 ROMA Connect
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集成条
-
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded - 应用与数据集成平台 ROMA Connect
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this