检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开放业务系统数据 方案概述 配置示例 父主题: 应用示例
配置数据映射规则 概述 本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常
FDI任务只能采集单张表到单张表吗? 普通任务只能从源端的单个表采集到目标端单个表,组合任务可以配置多个表采集到多个表。 父主题: 数据集成普通任务
配置Oracle CDC(LogMiner) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和
配置目标端数据信息 概述 本节主要提供数据集成任务目标端信息的配置说明。目标端信息用于告诉ROMA Connect如何将待集成的数据写入到目标端,包括数据源、数据存储信息等。对于不同的数据源类型,其目标端信息配置有所差异。 数据迁移过程中若目标端数据存在主键冲突,则根据主键自动更新数据
DWS变成只读状态导致FDI任务运行失败 原因分析 在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过
配置MySQL CDC(Binlog) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能
查询单次调度日志详情 功能介绍 查询单次调度的日志详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/instances
消费消息接口说明 功能介绍 消费指定队列中的消息,可同时消费多条消息。 当队列中消息较少时,单次消费返回的消息数量可能会少于指定条数,但多次消费最终可获取全部消息。当返回的消息为空数组时,表示未消费到消息。 endpoint为https://{rest_connect_address
配置SQL Server CDC 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 约束与限制
创建Topic 功能介绍 创建Topic。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/mqs/instances/{instance_id
开发准备 获取API的调用信息 获取API的请求信息 旧版界面:在ROMA Connect实例控制台选择“服务集成 APIC > API管理”,在“API列表”页签中可获取API的“域名”、“请求方法”和“请求路径”。单击API的名称进入API详情页面,在“调用信息”页签下,获取API
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务
导入导出自定义后端 概述 ROMA Connect支持通过文件的方式导入导出自定义后端。 导入自定义后端:支持导入YAML和JSON格式API定义文件,且文件内容应满足Swagger 2.0规范。 导出自定义后端:支持导出YAML和JSON格式API定义文件。 前提条件 导入自定义后端前
查询消息 功能介绍 查询消息的偏移量和消息内容。 先根据时间戳查询消息的偏移量,再根据偏移量查询消息内容。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2
绑定域名 在开放API前,您需要为API分组绑定独立域名,用户通过独立域名访问分组内的API。 独立域名可分为内网域名和公网域名两种: 内网域名:部署在云服务平台内的业务系统,可以使用内网域名访问API。 公网域名:部署在云服务平台外的业务系统,可以使用公网域名访问API。 您也可以使用系统分配的默认子域名访问
数据集成普通任务 FDI各类数据库支持哪些数据类型? 跟踪号是什么,能跟踪到数据吗? FDI任务是否支持清空目标表? FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持,如关系型数据库、消息队列、API、NoSQL、对象存储等,这些数据源可以直接在ROMA Connect中使用,您只需要接入数据源,创建并启动数据集成任务,就可以将您的源端数据集成到目标端。 如果ROMA Connect
查看组合应用系统日志 概述 本章节指导您如何查看组合应用的系统日志。 查看系统日志 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面单击要查看日志的组合应用。 在组合应用详情页面,选择“系统日志”页签,可查看该组合应用下流任务的启停记录和部署记录等日志信息
接入自定义数据源 概述 ABM支持自定义数据源,并用于扩展采集器,支持同一网段内本地ABM服务采集远端服务模型数据,增强扩展能力。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM >