检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。 实时任务启动后,ROMA Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。
FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 数据源”,单击“创建数据源”,进入创建数据源页面。接着选择“APIC”类型的数据源,然后在数据源输入框中输入数据源名称。 在页面中配置数据源的连接信息,如下表所示。
修改数据源配置 概述 数据源的连接信息包括地址、账号和密码,为非资产数据,在导入集成资产后需要重新配置。 前提条件 已完成集成资产的导入。 操作步骤 在实例控制台的“数据源管理”页面,单击数据源右侧的“编辑”。 在编辑数据源页面修改数据源的连接信息配置。
创建并开放数据API 接入数据源 创建数据API 绑定域名 配置API授权(可选) 父主题: 服务集成指导(旧版界面)
数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的连接IP地址。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的端口。
数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 JDBC字符串 填写FI HBSE的JDBC格式连接串,例如:jdbc:hbase:// host:port/dbname。 host为数据库的连接地址。
使用ROMA Connect集成数据的步骤如下所示: 步骤一:准备数据源 步骤二:接入数据源 步骤三:创建数据集成任务 步骤四:启动数据集成任务 步骤五:查看数据集成结果 步骤一:准备数据源 在使用ROMA Connect进行数据集成前,您需要准备一个API数据源和MQS数据源,作为本配置样例中的源端和目标端数据源
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。
使用ROMA Connect进行数据集成,有如下优势: 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源,具体支持的数据源类型请参见数据集成任务支持的数据源。
开发场景 场景说明 如果ROMA Connect支持的数据源类型无法接入您使用的数据源,您可以自行开发一个数据源插件,用于实现对数据源的读写。 同时,这个数据源插件以标准RESTful接口形式供ROMA Connect接入,最终实现ROMA Connect对数据源的读写。
接入PostgreSQL数据源 概述 ROMA Connect支持把PostgreSQL、开源openGauss数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用该数据源前,您需要先接入数据源。
”错误 FDI任务失败,修改问题后任务写入仍然报错 表名存在乱码导致Camel访问数据库失败 插入数据违反非空约束 DWS变成只读状态导致FDI任务运行失败 向DWS写入数据时越来越慢怎么解决
数据集成组合任务 源数据库重启等操作对组合任务是否有影响? 如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 父主题: 数据集成
删除指定数据源信息 功能介绍 通过数据源ID删除指定数据源信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
Gauss 200 Gauss 200连接器用于连接Gauss 200数据库,负责建立和维护应用程序和Gauss 200数据库之间的连接,并管理数据的传输。 Gauss 200采用MPP架构,支持行存储和列存储,提供PB级别数据量的处理能力。
企业将合作伙伴所需数据和信息上传到ROMA Connect,根据合作伙伴的要求转换数据格式,集成数据。企业完成数据和消息的集成之后,合作伙伴可以访问ROMA Connect获取相关信息。
查询topic的磁盘存储情况 功能介绍 查询topic在Broker上磁盘占用情况。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
接入MongoDB数据源 概述 ROMA Connect支持把MongoDB数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用MongoDB数据源前,您需要先接入数据源。
接入DB2数据源 概述 ROMA Connect支持把DB2数据库作为一个数据源,并用于数据集成任务。在使用DB2数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。