检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Mysql到Mysql的定时任务,源端有类型为tinyint(1),值为2的字段,但是采集到目标端值就变成了1 原因分析 Mysql驱动自动识别tinyint(1)为bit类型,所以目标端的值都变成了1。 解决方案 修改数据源配置,连接与安全配置项选择“专业”模式,在字符串最后加
获取数据源中某个表中所有字段 功能介绍 获取数据源中某个表中所有字段。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fd
目标表中配置的RowId字段类型不正确导致写入数据失败 原因分析 使用RowId的方式采集Oracle表数据时,由于设置表字段类型不正确,导致报错,如下图。 解决方案 修改表字段类型,RowId一般是使用字母、数字生成的18位字符串,采集到目标端需要为字符类型。 父主题: 数据集成组合任务
MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? 目标端MRS Hive和源端字段数据类型不匹配时,例如源端字段为datetime,目标端字段为date,数据可以集成到目标端,但是数据类型不匹配的字段值会为NULL,其他字段正常集成。 父主题: 数据集成普通任务
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
目标端表 选择MySQL数据库中集成数据要写入的数据表。 选择数据表后,单击“选择表字段”,选择车位感应设备信息和车位状态信息要写入数据库的列字段。 批次号字段 此处不设置。 配置MQS到MySQL的数据映射规则。 单击“自动Mapping”,自动建立源端和目标端数据字段间的映射
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题: 连接器
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单
HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
例如,目标端分区字段为yyyymm,以源端字段createtime作为分区字段来源字段,createtime字段的时间格式为ddMMyyyy(日月年),目标端分区字段格式为yyyyMM(年月),分区字段的值比源端字段的值增加1个小时,则Mapping信息中,分区字段yyyymm的“源端字段名”填写如下:
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确,导致组合任务启动失败,任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况,如果存在请和数据库管理员沟通后删除乱码表名的表,然后重新启动任务。 父主题: 数据集成组合任务
手动添加表映射。 在表映射关系栏中单击“手动添加表映射”,手动添加数据表的映射关系。 在表映射关系中选择“源端表名”和“目标端表名”。 单击“操作”栏的“执行映射”,在弹出对话框中查看映射字段,可根据实际情况修改源端和目标端字段名或删除多余字段,也可单击“手动添加字段映射”添加新的字段。单击右上角的按钮,可选择字段映射的配置项。
return obj; } 数据库字段涉及多层json解析。 如果源端数据对象包含的字段涉及多层json对象嵌套,则需要对每一个解析出来的字段使用“[]”引用。 例如如下脚本表示root字段包含id、name、double等多层对象嵌套,则每一个解析的字段需要单独引用。 function
填写插入操作中目标字段的值。 表4 更新记录 参数 说明 表名 填写要更新数据的数据表名。 更新数据 填写更新操作中目标字段的值。 WHERE条件 填写要更新数据的条件。 表5 同步记录 参数 说明 表名 要同步数据的数据表名。 清空表 每次同步数据,是否先清空表。 表6 删除记录 参数
Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 约束与限制 若MySQL数据库为主从模式,不支持使用MySQL从库。 不支持采集二进制类型的字段,例如:TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB。
端下载。 操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。 单击“新建查询
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
目标端表 选择集成数据要写入MySQL数据库中的数据表。 选择数据表后,单击“选择表字段”,可以选择要写入数据的列字段。 批次号字段 选择目标表中类型为String并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一
FDI各类数据库支持哪些数据类型? 跟踪号是什么,能跟踪到数据吗? FDI任务是否支持清空目标表? FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗?