Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
3.4 MySQL 5.7,8.0 MRS HBase MRS 3.*.* MRS Hive MRS 3.*.* Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c PostgreSQL 11.0 Redis 3.0.7、4.0.11 SQL Server
源端为Oracle的配置与MySQL的类似,配置示例可参考MySQL配置示例。 PostgreSQL 返回页首 任务的“集成模式”为“定时”时,可以选择PostgreSQL作为源端数据源,具体配置如下。 表11 源端PostgreSQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。
后端服务请求携带了参数id=88,可选参数sex没有携带,则执行SQL语句: select * from table01 where id=88; 后端服务请求携带了参数id=88和sex=female,则执行SQL语句: select * from table01 where id=88
Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
out,由于格式限定,出参的value也需要填写,可填写符合数据类型的任意值,不影响输出结果。 数据API中对存储过程的调用,用String和int来区分字符串和数值,无需加单引号,这一点和SQL要求不一样。 在后端服务的Headers、Parameters或者Body中定义的参数名不能相同,否则将被覆盖。
源端MySQL信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MySQL数据源所属的集成应用,在接入数据源时已配置。 源端数据类型 选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。
The SQL statement of incremental migration does not contain "${{begin}}" and "${{end}}". 增量迁移的SQL语句中不包含“${{begin}}”和“${{end}}”。 检查增量迁移的SQL语句。
一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下: 表1 表结构 数据源 表名 参数 数据源1 user01
varchar,char,float,date,timestamp SQL Server数据库:integer,bigint,varchar,char,float,date,datetime PostgreSQL数据库:integer,number,varchar,char,float,date,timestamp
instance_id 否 String 实例ID。 is_add_sql 否 Boolean 是否添加SQL语句,关系型数据库使用。 - true (添加) - false(不添加) query_sql 否 String 查询SQL语句,可为空,关系型数据库使用。 source_table
如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化。因为从OBS获取多个文件默认按照时间降序排序,先解析最晚上传的文件,所以最早上传的文件最后解析,这样就会导致任务执行结束后,数据库中的值还是最早上传的文件中的值。 父主题: 数据集成普通任务
region_id 区域ID。 project_id 项目ID。 start_date 起始日期,起始日期和结束日期间隔不超过一个月,查询包含起始日期。 end_date 结束日期,起始日期和结束日期间隔不超过一个月,查询包含结束日期。 offset 偏移量,表示从此偏移量开始查询,offset大于等于0。
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
instanceId 否 String 实例ID。 isAddSql 否 Boolean 是否添加SQL语句,关系型数据库使用。 - true (添加) - false(不添加) querySql 否 String 查询SQL语句,可为空,关系型数据库使用。 sourceTable 否
选择2中所配置的MySQL数据源。 目标端表 选择MySQL数据库中集成数据要写入的数据表。 选择数据表后,单击“选择表字段”,选择车位感应设备信息和车位状态信息要写入数据库的列字段。 批次号字段 此处不设置。 配置MQS到MySQL的数据映射规则。 单击“自动Mapping”,自动建立
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持,如关系型数据库、消息队列、API、NoSQL、对象存储等,这些数据源可以直接在ROMA Connect中使用,您只需要接入数据源,创建并启动数据集成任务,就可以将您的源端数据集成到目标端。 如果ROMA Con
填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。 用户名
nsight_LibrA_V300R001C00 MySQL 5.6,5.7,8.0 MRS HBase MRS 3.*.* MRS Hive MRS 3.*.* Oracle 11g PostgreSQL 11.0 SQL Server 2012、2014、2016、2017 DWS
您即将访问非华为云网站,请注意账号财产安全