检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果后端服务需要使用签名密钥对请求发送方进行认证,请提前创建签名密钥。 部署并发布后端服务时,如果需要使用自定义认证方式进行API的安全认证,请提前创建自定义认证。 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超过6
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持,如关系型数据库、消息队列、API、NoSQL、对象存储等,这些数据源可以直接在ROMA Connect中使用,您只需要接入数据源,创建并启动数据集成任务,就可以将您的源端数据集成到目标端。 如果ROMA Con
创建数据后端 概述 ROMA Connect支持把数据源定义为后端服务,实现从数据源中读写数据,并以API的形式对外开放。 约束与限制 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超过6
务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。 创建Kafka连接
Redis Redis连接器用于连接Redis数据库,可以帮助应用程序快速、高效地与Redis数据库进行交互。 Redis是一种高性能的键值存储系统,常用于缓存、会话管理、实时消息传递、排行榜等场景。它支持多种数据结构,包括字符串、哈希表、列表、集合和有序集合等。Redis还提供了
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
数据集成到目标端的一个数据表中。 数据集成任务的配置分为任务基本信息、制定计划(可选)、源端信息、目标端信息、Mapping信息和异常数据存储(可选)、任务完成后执行(可选)几个部分,本节及接下来的几个小节将对这几部分分别进行介绍。本节主要提供数据集成任务基本信息和任务计划的配置说明。
”组合,即为元数据的完整路径,具体请参见元数据解析路径配置说明。 数据类型 选择从Kafka数据源获取的数据格式类型,需要与Kafka实际存储的数据格式一致,可选择格式为“JSON”。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 时区 选择Kafka数据源使用的时区,以便ROMA
户可以通过网页、手机客户端、POP3/SMTP等多种方式进行收发邮件。163邮箱的特点是界面简洁、易用性高、安全性强,同时还提供了大容量的存储空间和多种实用的功能,如邮件过滤、垃圾邮件拦截、邮件归档等。此外,163邮箱还提供了企业邮箱、VIP邮箱等增值服务,满足不同用户的需求。 前提条件
MQS消息堆积最佳实践 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分
e和Kafka作为数据集成任务的源端和目标端。 对象存储服务 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 ROMA Connect可以
通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用
的信号,则表明该消息已经被ROMA Connect可靠存储。 消息消费 消息消费时,消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在ROMA Connect的存储介质中。消费时依次获取ROMA Connect中存储的消息。消费者获取消息后,进行消费并记录消费成功或失败的状态,并将消费状态提交到ROMA
可通过该配置项进行路由配置。 付费信息 实例的计费模式。 RCU分布配置 分布给不同集成能力的RCU值。 消息存储空间 实例的MQS消息存储空间信息,包括存储类型和存储空间使用率(百分比)。 MQS基本信息 实例的MQS的基本配置信息。 对应Kafka引擎类型,您可以根据实际需要修改“容量阈值策略”。
7版本。 消息集成(MQS)容量阈值策略 实例中MQS消息存储达到容量阈值时(存储空间的95%)的处理策略,请根据您的业务需要选择。 生产受限:拒绝消息生产请求,直到有消息到达老化时间被删除,腾出存储空间后(剩余存储空间大于5%),才能接收新的消息生产请求。此策略适用于消息消费
支持消息数据高可靠 支持消息持久化,多副本存储机制。副本间消息同步、异步复制,数据同步或异步落盘多种方式供您自由选择。 使用流程 使用ROMA Connect进行消息集成的流程如下图所示。 图1 业务使用流程 已创建实例和集成应用。 创建Topic 创建用于存储消息的Topic,供消息生产方发布消息和供消息消费方订阅消息。
自定义后端开发(数据后端) SQL语法 存储过程调用 多个数据源编排 可选参数的使用 父主题: 服务集成开发指导
Connect内分配唯一的ID和密钥,使设备可以连接到ROMA Connect上的LINK中。 数据转发 ROMA Connect不会直接存储设备上报的数据,您需要配置数据转发规则,把设备数据转发到其他服务进行存储。可以把数据转发到ROMA MQS,也可以转发到Kafka、DIS等其他服务。 接入设备 设备在集成MQTT客户端后即可接入到ROMA
查询Topic列表 创建Topic 修改Topic 删除Topic 批量删除Topic 导入Topic 导出Topic 下载证书 查询topic的磁盘存储情况 父主题: 消息集成API
流任务的结束时间。 运行ID 流任务的运行ID。 运行时间 流任务的运行时间。 状态 流任务的运行状态。 (可选)配置访问日志,实现异常监控日志的存储。 如果组合应用未启动,请单击“启动并配置运行记录”,选择一个实例启动此组合应用。 如果组合应用已启动,单击“点击开启”弹出“运行记录配置”窗口,然后配置日志接入信息。