检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
数据集成到目标端的一个数据表中。 数据集成任务的配置分为任务基本信息、制定计划(可选)、源端信息、目标端信息、Mapping信息和异常数据存储(可选)、任务完成后执行(可选)几个部分,本节及接下来的几个小节将对这几部分分别进行介绍。本节主要提供数据集成任务基本信息和任务计划的配置说明。
务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。 创建Kafka连接
Connect内分配唯一的ID和密钥,使设备可以连接到ROMA Connect上的LINK中。 数据转发 ROMA Connect不会直接存储设备上报的数据,您需要配置数据转发规则,把设备数据转发到其他服务进行存储。可以把数据转发到ROMA MQS,也可以转发到Kafka、DIS等其他服务。 接入设备 设备在集成MQTT客户端后即可接入到ROMA
规则,对日志数据进行拆分和过滤,然后将解析后的日志数据发送到ELK的ElasticSearch进行存储。 ELK的ElasticSearch接收到日志数据后,生成日志数据的索引并存储数据,为Kibana的可视化显示提供聚合搜索和数据分析的支撑。 用户使用ELK的Kibana创建日
务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。 创建Kafka连接
如果后端服务需要使用签名密钥对请求发送方进行认证,请提前创建签名密钥。 部署并发布后端服务时,如果需要使用自定义认证方式进行API的安全认证,请提前创建自定义认证。 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超过6
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持,如关系型数据库、消息队列、API、NoSQL、对象存储等,这些数据源可以直接在ROMA Connect中使用,您只需要接入数据源,创建并启动数据集成任务,就可以将您的源端数据集成到目标端。 如果ROMA Con
创建数据后端 概述 ROMA Connect支持把数据源定义为后端服务,实现从数据源中读写数据,并以API的形式对外开放。 约束与限制 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超过6
x-apigateway-backend.httpEndpoints HTTP类型后端服务定义。 httpVpcEndpoints 否 x-apigateway-backend.httpVpcEndpoints HTTP-VPC类型后端服务定义。 functionEndpoints 否 x-apigateway-backend
若业务系统与ROMA Connect实例在相同VPC内时,可直接访问API。 若业务系统与ROMA Connect实例在同一区域的不同VPC内时,可通过创建VPC对等连接,将两个VPC的网络打通,实现同一区域跨VPC访问API。具体步骤请参考VPC对等连接说明。 若业务系统与ROMA C
x-apigateway-backend.httpEndpoints HTTP类型后端服务定义。 httpVpcEndpoints 否 x-apigateway-backend.httpVpcEndpoints HTTP-VPC类型后端服务定义。 functionEndpoints 否 x-apigateway-backend
缺省值:-1 vpc_channel_info 否 VpcInfo object VPC通道详情。如果vpc_channel_status = 1,则这个object类型为必填信息 vpc_channel_status 否 Integer 是否使用VPC通道 1:使用VPC通道 2:不使用VPC通道
mini", "charging_mode" : 1, "vpc_id" : "5810f4bb-b202-45cd-a5d1-xxxxxxxxxxxx", "vpc_name" : "vpc-4aeb", "created_at" : "1601016527494"
String 修改时间 vpc_channel_info VpcInfo object VPC通道详情。如果vpc_channel_status = 1,则这个object类型为必填信息 vpc_channel_status Integer 是否使用VPC通道 1:使用VPC通道 2:不使用VPC通道
华为云事件源 参数 说明 事件订阅名称 在事件网格创建的事件订阅名称。 区域 事件网格服务所在区域。 项目 事件网格服务所在项目。 通道 事件通道,存储接收到的事件消息,并根据事件规则将事件消息路由到事件目标。 事件源 华为云服务事件源。 事件类型 华为云服务的事件类型,用于生成过滤规则。
String 后端自定义认证对象的ID vpc_info 否 VpcInfoV1 object VPC通道信息 vpc_status 否 Integer 是否使用VPC通道 1 : 使用VPC通道 2 : 不使用VPC通道 表14 VpcInfoV1 参数 是否必选 参数类型 描述
updateSpecialThrottle 创建负载通道 Vpc createVpc 删除负载通道 Vpc deleteVpc 修改负载通道 Vpc updateVpc 为负载通道添加后端实例 Vpc addVpcMember 为负载通道删除后端实例 Vpc deleteVpcMember 导出单个API Swagger
操作流程 获取MQS连接信息,具体请参考开发准备。 若ROMA Connect实例的消息集成在开启SASL_SSL的同时,也开启了VPC内网明文访问,则VPC内无法使用SASL方式连接消息集成的Topic。 使用SASL方式连接消息集成的Topic时,建议在客户端所在主机的“/etc
户可以通过网页、手机客户端、POP3/SMTP等多种方式进行收发邮件。163邮箱的特点是界面简洁、易用性高、安全性强,同时还提供了大容量的存储空间和多种实用的功能,如邮件过滤、垃圾邮件拦截、邮件归档等。此外,163邮箱还提供了企业邮箱、VIP邮箱等增值服务,满足不同用户的需求。 前提条件