检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka数据源 概述 ROMA Connect支持把MRS Kafka作为一个数据源,并用于数据集成任务。在使用MRS Kafka数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 MRS
本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库,然后执行以下命令: SELECT CAPTURE_NAME
填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。
{port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 PostgreSQL数据源的接入配置与DB2类似,配置示例可参考DB2数据源接入配置示例。 完成数据源接入配置后,单击“开始检测”,检测ROMA
于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端) 普通任务支持的集成模式(目标端) 组合任务支持的集成模式(源端)
在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。
填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址
查看数据集成任务 概述 数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息,避免目标端出现脏数据或者数据集成不完
实例到数据源所在子网的路由配置。 接入数据源 接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源
填写要连接的pdb数据库名。 编码格式 填写数据库的编码格式。 超时时间 填写连接数据库的超时时间。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 连接成功后,单击“确定”,保存连接器。 父主题: 定时同步MySQL中的数据到Oracle
Connect的能力计算单元。每个RCU可分配到不同的集成能力上,包括数据集成、服务集成、消息集成、设备集成、组合应用等。根据分配的RCU数量,各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 连接器 ROMA Connect支持常见的数据源类型,如关系
支持的数据与协议 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持
业务规则 填写此数据标准的业务规则信息。 是否允许有值 此数据标准关联的数据是否有值 允许值范围 若允许有值,则填写对应的允许值,以逗号分隔。 数据示例 填写此数据标准的数据示例信息。 数据管家 填写此数据标准的数据管家。 数据类型 选择此数据标准的数据类型。 业务规则责任部门 填写此数据标准的业务规则责任部门。
端下载。 操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。 单击“新建查询
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
String 源端数据库模式,gauss100数据库使用。 source_selected_column_list 否 List<Column> 源端选择的字段名列表,关系型数据库使用。 order_column 否 String 源端排序的字段名,可为空,关系型数据库使用。 order_type
Connect的服务集成,快速把数据库开放为RESTful API,不同业务系统间的数据以API方式互相开放访问,同时在开放API时可选择多种安全认证方式,实现跨网络跨地域应用系统数据间的安全访问。 跨系统业务数据集成与转换 介绍如何通过ROMA Connect的数据集成,把业务系
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
Integer 开始时间前置值(天),数据源为API时配置。 当incr_migration_type为systemDefault时必须填写。 若源端生成的数据为实时变化的,如告警数据等,可通过前置时间进行采集处理。数据采集的开始时间 = 数据源系统时间 - 时间前置值 period_granularity