检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
MysqlConfig mysqlConfig = getAndCheckMysqlConfig(readerRequestBody.getDatasource()); String jdbcUrl = buildMysqlUrl(mysqlConfig);
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
规格变更说明 方案概述 ROMA Site协同版实例规格变更目前仅支持实例从3VM的基础版扩容为4VM的专业版,即增加一台同规格虚拟机。各集成组件强制依赖实例,不可单独变更。 ROMA Site协同版实例规格变更包含站点规格变更和实例规格变更两部分。其中实例规格变更时,又可分为新站点容器扩容和已有容器升级两种场景。
产品规格差异 ROMA Connect实例和各功能组件的产品规格如下所示。建议在规格定义的指标范围内使用ROMA Connect,超规格使用将容易引起系统异常等问题。 实例规格 入门版实例为白名单特性,需要联系技术支持开通后方可使用,且仅支持在华北-北京四区域开通。入门版实例不支
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
规格变更操作 变更站点规格 登录ROMA Connect控制台,在左侧导航栏选择“Site实例”。 在“Site实例”页面单击要变更规格实例上的“更多”,选择“规格变更”。 确认变更规格后单击“规格升级”。 当前仅支持从3VM的基础版规格变更为4VM的专业版规格。 再次单击“规格升级”,系统将自动创建边缘节点。
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
他端口保持内部互通。 变更前请确认华为云环境运行正常。 能够正常登录控制台。 当前站点信息状态为“运行中”及节点信息都显示为“运行中”。 变更前请确认新增节点机器的网卡名称和站点配置的名称一致。 变更前请联系技术支持确定站点的CPU架构是否正确填写。 变更前请确认站点模板为3VM
MQS支持的Kafka服务端版本是多少? MQS支持Kafka 1.1.0、2.7版本。 父主题: 消息集成
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
的数据不支持同步。 源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连接数据库超时,可以通过修改MySQL数据库的超时参数inte
在“资源管理”页面单击正在变更规格的实例,进入实例控制台。 在“实例信息”页面中,选择“后台任务”页签,可查看实例规格变更任务信息。 查看后台任务 在实例控制台的“实例信息”页面选择“后台任务”页签,可查看变更实例规格的任务结果,包括创建成功、创建失败两种任务状态。 鼠标悬停于“配置变更”,可查看实例规格变更前配置与变更后配置。
各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 注意,每种集成能力有不同的起步RCU数量和步长。 集成能力规格 新版ROMA Connect各集成能力的产品规格根据分配的RCU数量不同而有所不同,具体每RCU对应的集成能力规格如表2所示。 以下性能数
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
给目标端,建议在源端使用逻辑删除。 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 源端为DB2的配置与MySQL的类似,配置示例可参考MySQL配置示例。 DWS 返回页首 任务的“集成模式”为
根据数据源类型的不同,数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源