检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
跨系统业务数据集成与转换 方案概述 配置系统间数据集成
开放业务系统数据 方案概述 配置示例 父主题: 应用示例
增量授权应用Topic权限 功能介绍 增量授权应用Topic权限。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/mqs
配置系统间数据集成 前提条件 确保业务系统数据库所在网络与ROMA Connect的网络互通。 若通过公网互通,ROMA Connect实例需绑定弹性IP。 确保源端和目标端业务系统的数据库为ROMA Connect支持的数据源类型 数据集成支持的数据源请参见数据集成支持的数据源。
增量迁移的任务在首次执行后,后续数据集成的时间区间设置模式。 系统默认:表示集成上一次调度到本次调度之间新产生的数据,ROMA Connect在获取源端数据时,将两次任务调度的触发时间分别作为“开始时间”与“结束时间”。 自定义:表示按照设置的周期规则确认“开始时间”与“结束时间”,适合一般周期循环任务的
Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。 约束与限制 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开
为Topic所属的集成应用选择对Topic的操作权限,此处选择“发布+订阅”,即该Topic可用于生产和消费消息。 分区数 合理设置分区数量,可以提升消息生产与消费的并发性能。 副本数 ROMA Connect会自动在每个副本上备份数据,当其中一个副本故障时数据依然可用,Topic的副本数越多,可靠性越高。
通过数据集成任务把Topic中的停车场数据实时写入停车场管理系统的数据库中,用于车位状态监测和停车计费,并可在IOC大屏上显示。 通过数据API把数据库中的车位状态数据开放给第三方应用,供车主、城市管理者了解停车场车位情况。 使用ROMA Connect实现停车场管理系统数字化改造的业务流程如下: 在ROMA
Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务系统A中新增的数据同步到业务系统B中,保证了两个系统间的数据同步。 ROMA Connect的数据集成直接读取业务系统A中数据库的数据,并根据集成任务的
Connect的服务集成功能,可快速把企业的业务系统数据以RESTful API形式对外开放,供企业内的其他业务系统或第三方业务系统使用。 方案实现 ROMA Connect支持通过控制台或API方式进行业务配置。本章节主要介绍如何调用ROMA Connect的业务API完成业务系统数据开放的配置,以指导
息传递、发布/订阅、消息路由等场景。它还提供了可视化的管理界面,便于配置和监控,具有较高的可靠性和灵活性。ActiveMQ可用于构建分布式系统,支持多种编程语言和平台,提供了广泛的API支持。 创建ActiveMQ连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“
MQ是IBM提供的一个消息队列软件,它可以在分布式系统中进行异步通信,确保数据的可靠传输。MQ是一种基于消息的中间件,它提供了一种可靠、安全的方式来传输消息,可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序,并且可以在不同的系统之间进行数据转换和格式化。 创建IBM
消息系统 ActiveMQ ArtemisMQ IBM MQ Kafka 父主题: 连接器
3148 The destination instance does not match the source instance. 目的实例与源实例不匹配。 检查源端或者目标端实例是否匹配。 400 FDI.3149 The task ID is empty. 任务ID为空。 填写任务ID。
BufferMemorySize producer可以用来缓存数据的内存大小,默认为33554432。 Retries 重试次数。 父主题: 消息系统
lower)。 Kafka的主题是一个逻辑概念,分区与副本属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、副本与主题间的关系。 图1 Kafka消息流 Topic Topic即消息主题,是消息队列的一种发布与订阅消息的模型,消息的生产、消费及管理围绕着消息主题
查看组合应用系统日志 概述 本章节指导您如何查看组合应用的系统日志。 查看系统日志 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面单击要查看日志的组合应用。 在组合应用详情页面,选择“系统日志”页签,可查看该组合应用下流任务的启停记录和部署记录等日志信息。
ArtemisMQ ArtemisMQ 是一个开源的高性能消息队列(Message Queue)系统,它是基于 Apache ActiveMQ 和 Apache Artemis 的技术构建而成的。ArtemisMQ 提供了可靠的异步消息传递机制,允许不同的应用程序之间通过消息进行
数据API编号,“req_protocol”、“req_method”、“req_uri”、“auth_type”、“group_id”需与发布数据API时设置的值保持一致。“parameters”下可根据实际需要设置多个后端请求参数,或不设置请求参数。 为数据API绑定独立域名