检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于Serverless版事件流实现Kafka实例之间的数据同步 本文介绍如何应用事件网格EventGrid的Serverless版事件流功能实现分布式消息服务Kafka版实例间的数据同步。 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。
L证书旁的“下载”。 SSL证书将会下载到本地电脑,名字为“kafka-certs.zip”的文件。 参考创建桶,创建一个OBS桶,桶的区域与Kafka实例区域保持一致,其“桶策略”需为“公共读”或“公共读写”。 最新版的事件流支持私有桶获取证书。 参考上传文件,在桶的根目录下上传“kafka-certs
String 订阅源ID name String 订阅的事件源名称 provider_type String 订阅的事件源的提供方类型 detail Object 订阅的事件源参数列表 filter Object 订阅事件源的匹配过滤规则 created_time String 创建时间
支持地域 支持在分布式消息服务Kafka版之间创建事件流的地域有:华东-上海一、华东-上海二、华北-北京四、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
背景信息 事件流作为一种更为实时、轻量和高效的端到端的流式数据处理通道,对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标。源端分布式消息Kafka版生产的消息可以通过事件流这个通道被路由到目标端的分布式消息Kafka版,无需定义事件网格。详情请参见事件流概述。 父主题:
输入并发数,输入值范围1~1000。 建议并发数与选择的Topic的分区数保持一致,如果不一致可能会影响消息消费速率。当您选择Topic时,如果并发数为空会读取您选择的Topic的分区数作为并发数。 消费点位 选择消费点位。 最新点位:将会从消息队列的最新消息开始消费。 最早点位:将会从消息队列的最早消息开始消费。
在OBS目标桶查看对象是否已完成同步 该数据同步功能默认同步后路径一致,在目标桶桶目录下查看文件是否同步成功: 图1 目标桶目录 父主题: 实施步骤
前提条件 已开通事件网格服务并授权。 已购买Kafka实例。 已创建分布式消息Kafka版类型的目标连接,具体方式请参考目标连接。 单条消息不超过256KB。 公测期间无商用SLA承诺。 当前暂不支持跨Region、Kafka-OBS(规划中)。 云上云下、跨云厂商需用户侧拉专线。
在事件追踪中查看事件投递信息 在EG控制台界面,单击“事件通道”中对应的事件通道的“事件轨迹”可以看到该事件的投递详情和事件详情: 界面入口: 图1 界面入口 事件详情: 图2 事件详情 事件轨迹: 图3 事件轨迹 父主题: 实施步骤
使用限制 单账号跟踪的事件可以通过云审计控制台查询。多账号的事件只能在账号自己的事件列表页面去查看,或者到组织追踪器配置的OBS桶中查看,也可以到组织追踪器配置的CTS/system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录,您必
购买RCU时套餐包,当月未使用完的RCU时下个月是否可以继续使用? 不可以,上个生效月RCU时余量不可以转结到下个生效月。 父主题: 计费FAQ
8 请下载1.4.0版本的 Java SDK 将jar包打包成zip文件 参考创建桶,创建一个OBS桶,桶的区域与EG服务的区域保持一致,其“桶策略”需为“公共读”或“公共读写”。 参考上传文件,在桶的根目录下上传打包的ZIP文件。 在OBS中单击上传的对象,可以复制链接地址,此地址即为客户端SDK地址。
在左侧导航栏选择“网络管理>目标连接”,进入“目标连接”页面。 单击“创建目标连接”,弹出“创建目标连接”对话框。 首次创建目标连接时,系统会自动弹出创建委托授权界面,需要您创建授权委托,详情请查看授权委托。 配置如下目标连接参数。更多创建Kafka目标连接参数的详细介绍,请参考创建目标连接。
CONNECTION PRIVATE_ENDPOINT SOURCE_RABBITMQ SOURCE_ROCKETMQ max Integer 配额最大值 min Integer 配额最小值 quota Integer 当前租户的配额 used Integer 当前租户已使用的配额 状态码:
事件源 事件源是事件的来源,负责将华为云服务、自定义应用、SaaS应用等应用程序生产的事件发布到事件网格。 事件网格支持的事件源如下: 云服务事件源:华为云服务作为事件源,通过预定义的事件类型和事件通道发布事件到事件网格,事件规则对事件进行过滤,然后将过滤后的事件路由到事件目标。
设置事件流状态为RUNNING,清除告警。 正常提示。 601 未知致命异常 设置事件流状态为ERROR,上报告警,自动重启事件流。 建议联系华为工程师处理。 602 网络异常 502 消费者不存在 401 目标端投递认证失败 主动刷新token,设置事件流状态为ERROR,自动重启事件流。 等待自动恢复。 600
本文介绍如何在事件网格EventGrid控制台管理Schema,包含创建、查看和删除Schema等操作。 前提条件 云产品官方事件源的事件对应的Schema只支持在控制台上查看Schema详情和Schema版本详情,不支持创建、修改和删除。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件模型”,进入“事件模型”页面。
过滤规则参数说明 事件源产生的事件与过滤规则进行匹配,匹配成功后事件才会被路由到与过滤规则关联的事件目标。过滤规则必须和匹配的事件具有相同的结构。 本章节介绍过滤规则和事件匹配时的规则,以及构成过滤规则的参数:运算操作符、条件表达式和匹配字段。 匹配规则 过滤规则和事件匹配时,需要遵循以下规则:
事件网格实现了对事件订阅和事件通道的监控,用户无需任何配置,即可查询事件投递和事件接入的监控信息。 操作步骤 登录管理控制台。 在管理控制台左上角单击,选择区域。 在管理控制台左上角单击,选择“应用中间件 > 事件网格”,进入事件网格页面。 在“事件订阅”页面,单击订阅名称所在行的“监控”,查看事件投递监控数据。
Serverless版事件流概述 事件流对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标,是一种更为实时、轻量和高效的端到端的流式数据处理场景。 图1 事件流示意图 EG事件流目前处于公测阶段,欢迎您试用和体验相关的功能。 父主题: 事件流