检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息集成开发指导 开发说明 开发准备 MQS连接开发(开源客户端) MQS连接开发(RESTful API)
创建数据集成任务(编排任务) 配置编排任务流程 配置源端数据信息 配置目标端数据信息 配置映射规则 父主题: 数据集成指导
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
A Connect实例控制台的“集成应用”页面中,单击设备所属集成应用的名称,在集成应用的基本信息中获取Key和Secret。 Port为7443;clientId、subTopic、host可以直接从ROMA Connect实例控制台的“设备集成 LINK > 设备管理”页面中
数据集成开发指导 开发说明 连接器RESTful接口规范 自定义数据源开发示例(定时任务) 自定义数据源开发示例(实时任务)
创建设备 应用实践 应用与数据集成平台 ROMA Connect 介绍API到Kafka的数据集成 03:18 API到Kafka的数据集成 应用与数据集成平台 ROMA Connect 介绍企业数据以API形式开放共享 02:53 企业数据以API形式开放共享
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
接入Kafka数据源 概述 ROMA Connect支持把Kafka作为一个数据源,并用于数据集成任务。在使用Kafka数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA
Connect实例的消息集成规格不能低于原业务使用的Kafka规格。消息集成规格请参考产品规格。 在ROMA Connect实例上创建与原Kafka相同配置的Topic,包括Topic名称、副本数、分区数、消息老化时间,以及是否同步复制和落盘等。 方案一:先迁生产,再迁消费 方案介绍 本方案中,先将生产消息的业务迁移到ROMA
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
List<MetaData> 数据源的元数据定义对象,仅当“是否解析(is_parse)”选择“是”时需要配置。 对于FTP数据源类型,元数据必须按照文件中的字段顺序填写。 数据源为API、FTP配置。 path 否 String 文件路径,文件型数据源,为必填项。 write_mode
接入MQS数据源 概述 ROMA Connect支持把消息集成MQS作为一个数据源,并用于数据集成任务。在使用MQS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA
Hive目标端写入时出现数据乱码 原因分析 创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
描述 填写任务的描述信息。 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。 不同数据源所支持的数据集成模式有所不同,具体请参考表1。 任务标签
integration mode. 数据源不支持实时集成模式。 检查数据源配置。 400 FDI.3060 The data source does not support the scheduled integration mode. 数据源不支持定时集成模式。 检查数据源配置。 400 FDI
开放数据API 接入数据源 创建数据后端 发布数据API 绑定域名 配置调用授权(可选) 父主题: 服务集成指导
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持创建两种数据集成任务: 创建数据集成任务:普通数据集成任务,有定时任务和实时任务两种集成模式,支持所有默认类型的数据源,对于数据库类型数据源,只支持源端一个数据表到目标端一个数据表的集成同步。
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
SAP是否支持分页读取视图? SAP支持读取视图,但可能存在数据重复或丢失的问题。因为SAP读取视图会调用/SAPDS/RFC_READ_TABLE2函数,该函数到SAP读取视图时会导致分页错乱。 父主题: 数据集成普通任务