检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
API请求体大小可以在实例配置参数中配置(1-9536 MB),但是有以下几点限制: 使用APP认证时,认证签名只能签12MB,如果请求体大于12MB,签名会失败。 托管类API的请求体最大为2GB。 函数API请求体受内部沙箱内存大小的限制,无精确计算值。 父主题: 服务集成
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库,负责建立和维护应用程序和PostgreSQL数据库之间的连接,并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432,但是管理员可以根据需要将其更改为其他端口。
选择“默认”方式。 连接地址 填写MySQL数据库的访问IP地址。 端口 填写MySQL数据库的访问端口,MySQL的默认访问端口为3306,以数据库的实际配置为准。 数据库名 填写数据表所在的数据库名称。 编码格式 数据库所使用的编码格式。 超时时间(秒) 连接数据库的超时时间,单位为秒。
产品规格差异 ROMA Connect实例和各功能组件的产品规格如下所示。建议在规格定义的指标范围内使用ROMA Connect,超规格使用将容易引起系统异常等问题。 实例规格 ROMA Connect服务支持的实例规格如下。 入门版实例为白名单特性,需要联系技术支持开通后方可使
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题: 连接器
各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 注意,每种集成能力有不同的起步RCU数量和步长。 集成能力规格 新版ROMA Connect各集成能力的产品规格根据分配的RCU数量不同而有所不同,具体每RCU对应的集成能力规格如表2所示。 以下性能数
使用逻辑删除。 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 源端为Oracle的配置与MySQL的类似,配置示例可参考MySQL配置示例。 PostgreSQL 返回页首 任务的“集成模式”为
约束与限制 您能创建的ROMA Connect资源数量与配额有关系,具体请参见配额说明。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源