检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标表,导致向此字段写入空数据,需确保表映射正确。 Oracle产生的RedoLog中,UPDATE语句的字段中没有WH
没有采集到数据。 Mysql到Mysql的定时任务,源端有类型为tinyint(1),值为2的字段,但是采集到目标端值就变成了1 目标端数据源为公网Kafka时,定时任务目标端报“The task executes failed.Writer data to kafka failed”错误
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
填写API响应消息中用于判断分页结束的字段路径。在API响应消息中,每一层元素之间使用英文点号分隔。例如:响应消息为{"a":{"b":{"c":"xxx"}}},其中的元素c为分页结束字段,则分页结束字段路径为a.b.c。 当分页结束方式选择为“分页list返回为空”时,分页结束字段路径填写list字段的根路径。
of MappingInfo objects 字段映射列表。 数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20
例如,目标端分区字段为yyyymm,以源端字段createtime作为分区字段来源字段,createtime字段的时间格式为ddMMyyyy(日月年),目标端分区字段格式为yyyyMM(年月),分区字段的值比源端字段的值增加1个小时,则Mapping信息中,分区字段yyyymm的“源端字段名”填写如下:
选择或者填写要增量获取记录的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 增量获取时区 增量数据获取开始时区。 增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值
要配置。 数据源为MYSQL、SQLSERVER、DB2、GAUSS100、GaussDB(for MySQL)、ARTEMISMQ、POSTGRESQL、 GaussDB、HIVE类型且mode为default时需要配置。 数据源为ORACLE类型且mode为(default、multiAddress)时需要配置。
HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
2的返回对象为“default2”。 select user_age from user02 where user_id=${default1[0].id}; 其中,${default1[0].id}为数据源1的查询结果(default1为数据源1的返回对象,id为数据源1的查询字段)。
of MappingInfo objects 字段映射列表。 数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
填写API响应消息中用于判断分页结束的字段路径。在API响应消息中,每一层元素之间使用英文点号分隔。例如:响应消息为{"a":{"b":{"c":"xxx"}}},其中的元素c为分页结束字段,则分页结束字段路径为a.b.c。 当分页结束方式选择“分页list返回为空”时,分页结束字段路径填写list字段的根路径。
选择或者填写要增量获取记录的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 增量获取时区 增量数据获取开始时区。 增量获取时间戳字段 增量数据获取的时间戳字段。 增量获取时间戳初始值
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题: 连接器
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
数据源为MYSQL、ORACLE、SQLSERVER、DB2、GAUSS100、GaussDB(for MySQL)、ARTEMISMQ、POSTGRESQL、 GaussDB、HIVE类型且mode为default时需要配置。 数据源为IMF类型且mq_type为RabbitMQ时需要配置。
选择待集成数据要写入的数据表。选择数据表后,单击“选择表字段”,可以选择只需要写入的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一