检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞
、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞
CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 前提条件 不支持采集二进制类型的字段,例如:TINY
APIC是否支持多后端节点方案? 通过负载通道支持多后端节点。一个负载通道中可以添加多个弹性云服务器。 父主题: 服务集成
String 后端服务器组名称。为后端服务地址选择服务器组,便于统一修改对应服务器组的后端地址。 status Integer 后端服务器状态 1:可用 2:不可用 port Integer 后端服务器端口 最小值:0 最大值:65535 ecs_id String 后端云服务器的编号。
请检查数据源IP与FDI是否在同一个VPC内,若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。 请检查数据源IP是否为客户自有的数据中心或私有网,如果是请先建立VPN连接。
FROM ALL_CAPTURE; 如果查询到的状态为“Aborted”,则说明CDC的出站服务器状态异常。输入以下命令后按Enter键,再输入/按Enter键执行该命令手工启动出站服务器: BEGIN DBMS_XSTREAM_ADM.START_OUTBOUND(server_name
FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。 父主题: 数据集成任务
应用场景 智慧园区集成 工业互联网集成 集团应用与数据集成
/log:/usr/share/filebeat/data # filebeat读取本地日志,该本地日志地址需要根据实际待监控路径的地址进行配置,相对路径或绝对路径均可。 # 多地址监听:若在一台服务器中需要监听多个地址,则需在filebeat.yml的path和docker-compose.ym
sourceIp:调用API的客户端源地址。 stage:API所发布的环境名称。 apiId:API的ID。 appId:调用API所使用的集成应用的ID。 requestId:当次调用API所生成的请求ID。 serverAddr:网关服务器的地址 。 serverName:网关服务器的名称。 ha
安全组。如果要为实例开启公网访问,还需要为实例绑定弹性IP地址。 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,面向IoT、互联网等实时数据,提供高效采集、传输、分发能力。 ROMA Con
一般情况下,中级机构颁发的证书文件包含多份证书,如包含服务器证书和证书链2个*.PEM格式的证书内容。在填写证书时,未把所有证书拼接在一起组成一份完整的证书。 解决方案 在填写证书时,需要将所有证书拼接在一起组成一份完整的证书后再填写。拼接时,须按照“服务器证书-证书链”的顺序进行拼接,具体方法如下:
获取MQS连接信息 获取连接地址与端口 在ROMA Connect实例控制台的“实例信息”页面,在“基本信息”页签查看MQS连接地址。 使用Kafka客户端内网连接MQS:在“连接地址”下查看消息集成 MQS内网连接地址。 使用Kafka客户端公网连接MQS:在“连接地址”下查看消息集成 MQS公网连接地址。
同一台服务器,除非该云服务器不可用。 配置通道内服务器。 选择“服务器添加方式”,访问子公司实例的API时需要选择“指定服务器地址”。 单击“创建服务器分组”,在创建服务器分组弹窗中配置分组信息,完成后单击“确定”。 您可以根据需要把服务器划分到多个分组中。 表4 服务器分组配置
发到每一台服务器。 加权最小连接:结合弹性服务器权重值,将请求转发到具有最少活跃连接数的那台服务器。 源地址哈希:由请求的来源IP地址决定请求被转发到哪一台云服务器,相同源地址的请求始终会转发到同一台服务器,除非该云服务器不可用。 URI哈希:由请求的路径决定请求被转发到哪一台云
可向设备下发的命令,应用服务器可通过LINK直接向单个设备下发命令,以实现对设备的远程控制。命令下发具体配置如下: 选择物模型服务:物模型服务来源于设备所属产品的物模型。如果没有可用的物模型服务,可单击右侧“创建物模型服务”创建。 是否同步:选择是否同步命令下发后返回的结果。选择
String 后端服务器组名称。为后端服务地址选择服务器组,便于统一修改对应服务器组的后端地址。 status Integer 后端服务器状态 1:可用 2:不可用 port Integer 后端服务器端口 最小值:0 最大值:65535 ecs_id String 后端云服务器的编号。
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录