检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置数据映射规则 概述 本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
资源规划 完成本实践所需的资源: 表1 资源规划 资源 资源说明 数量 MySQL 2核 4GB 1 Oracle 2核 4GB 1 新版ROMA Connect实例 配额设置为组合应用,2RCU 1 父主题: 定时同步MySQL中的数据到Oracle
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确,导致组合任务启动失败,任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况,如果存在请和数据库管理员沟通后删除乱码表名的表,然后重新启动任务。 父主题: 数据集成组合任务
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库,负责建立和维护应用程序和PostgreSQL数据库之间的连接,并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432,但是管理员可以根据需要将其更改为其他端口。
选择模板创建组合应用 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产目录”,在右测搜索框搜索“定时同步”,选择“定时同步MySql中的数据到Oracle”模板,单击“使用模板”。 本实践中MySQL数据源表中的字段与Oracle中数据目标表中的字段类型保持一致。
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候“认证方式”选了“AppKey
Sql Server Sql Server连接器用于连接Sql Server数据库,负责建立和维护应用程序和Sql Server数据库之间的连接,并管理数据的传输。 Sql Server是一个关系型数据库,具有使用方便可伸缩性好等优点。 Sql Server默认端口为1433,但
创建Oracle连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“Oracle”连接器。 在弹窗中配置连接器信息,完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称Oracle_test。 区域 选择区域。
数据源连接测试失败排查操作 请检查数据源相关配置是否正确,例如数据库名及密码是否填写错误。 请检查数据源IP与FDI是否在同一个VPC内,若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。
DWS DWS连接器用于连接DWS数据库,负责建立和维护应用程序和DWS数据库之间的连接,并管理数据的传输。 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL
配置源端数据信息 概述 本节主要介绍编排任务连接后的连接配置。提供了编排任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据,包括数据源、数据格式、数据范围等。对于不同的数据源类型,其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型
Sql Server Sql Server连接器用于连接Sql Server数据库,负责建立和维护应用程序和Sql Server数据库之间的连接,并管理数据的传输。 Sql Server是一个关系型数据库,具有使用方便可伸缩性好等优点。 Sql Server默认端口为1433,但
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库,负责建立和维护应用程序和PostgreSQL数据库之间的连接,并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432,但是管理员可以根据需要将其更改为其他端口。
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。
配置SQL Server CDC 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 约束与限制
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
接入数据源 概述 在创建数据API之前,您需要先接入数据源,确保可以正常从数据源读取数据。根据数据源类型的不同,数据源的接入配置有所差异。 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时,可直接访问数据源。
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。