检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于Serverless版事件流实现Kafka实例之间的数据同步 本文介绍如何应用事件网格EventGrid的Serverless版事件流功能实现分布式消息服务Kafka版实例间的数据同步。 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。
变量:从CloudEvents标准事件中获取变量值,将变量值按照模板定义的格式路由到事件目标。 常量:事件只能触发事件目标,但是不会传送事件内容到事件目标,事件网格将您设置的常量路由到事件目标。 关于转换规则的更多示例信息,请参考事件内容转换。
String 订阅源ID name String 订阅的事件源名称 provider_type String 订阅的事件源的提供方类型 detail Object 订阅的事件源参数列表 filter Object 订阅事件源的匹配过滤规则 created_time String 创建时间
L证书旁的“下载”。 SSL证书将会下载到本地电脑,名字为“kafka-certs.zip”的文件。 参考创建桶,创建一个OBS桶,桶的区域与Kafka实例区域保持一致,其“桶策略”需为“公共读”或“公共读写”。 最新版的事件流支持私有桶获取证书。 参考上传文件,在桶的根目录下上传“kafka-certs
String 订阅源ID name String 订阅的事件源名称 provider_type String 订阅的事件源的提供方类型 detail Object 订阅的事件源参数列表 filter Object 订阅事件源的匹配过滤规则 created_time String 创建时间
背景信息 事件流作为一种更为实时、轻量和高效的端到端的流式数据处理通道,对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标。源端分布式消息Kafka版生产的消息可以通过事件流这个通道被路由到目标端的分布式消息Kafka版,无需定义事件网格。详情请参见事件流概述。 父主题:
支持地域 支持在分布式消息服务Kafka版之间创建事件流的地域有:华东-上海一、华东-上海二、华北-北京四、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
输入并发数,输入值范围1~1000。 建议并发数与选择的Topic的分区数保持一致,如果不一致可能会影响消息消费速率。当您选择Topic时,如果并发数为空会读取您选择的Topic的分区数作为并发数。 消费点位 选择消费点位。 最新点位:将会从消息队列的最新消息开始消费。 最早点位:将会从消息队列的最早消息开始消费。
前提条件 已开通事件网格服务并授权。 已购买Kafka实例。 已创建分布式消息Kafka版类型的目标连接,具体方式请参考目标连接。 单条消息不超过256KB。 公测期间无商用SLA承诺。 当前暂不支持跨Region、Kafka-OBS(规划中)。 云上云下、跨云厂商需用户侧拉专线。
8 请下载1.4.0版本的 Java SDK 将jar包打包成zip文件 参考创建桶,创建一个OBS桶,桶的区域与EG服务的区域保持一致,其“桶策略”需为“公共读”或“公共读写”。 参考上传文件,在桶的根目录下上传打包的ZIP文件。 在OBS中单击上传的对象,可以复制链接地址,此地址即为客户端SDK地址。
在函数服务的监控中查看代码执行详情 在“函数列表”中找到进行数据同步的函数: 图1 函数列表 单击监控中对应的请求查看代码日志: 图2 代码日志 父主题: 实施步骤
拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先。 如果您给用户授予EG FullAccess的系统策略,但不希望用户拥有EG FullAccess中定义的删除事件源权限,您可以创建一条拒绝删除事件源的自定义策略,然后同时将EG
面上方的“企业”入口。如需使用该功能,请联系客服申请开通。 当前只有订阅和通道两种资源支持企业项目管理。 授权 通过为企业项目添加用户组,并设置策略,实现企业项目和用户组的关联。将用户加入到用户组,使用户具有用户组中的权限,从而精确地控制用户所能访问的项目,以及所能操作的资源。具体步骤如下:
相关概念 事件 状态发生改变的数据记录。 事件源 事件的来源,负责生产事件。 事件目标 事件的处理终端,负责消费事件。 事件通道 事件的中转站,负责接收来自事件源的事件。 事件规则 事件发送到事件网格后,会根据事件规则进行过滤,满足规则的事件才会被路由发送到对应的事件目标。
约束与限制 您能创建的事件网格资源的数量与配额有关系,如果您需要扩大配额,请参见关于配额。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
事件通道负责接收来自事件源的事件。 事件网格支持的事件通道如下: 云服务事件通道:由事件网格自动创建、且不可修改的一条默认的云服务事件通道,用于接收云服务事件源产生的事件。云服务事件源产生的事件只能发布到云服务事件通道。 自定义事件通道:您自行创建的事件通道,用于接收自定义事件源产生的事件。 父主题:
事件是符合特定规范的数据。事件源发布到事件网格的事件必须符合CloudEvents规范。 事件网格支持的事件如下。 华为云服务事件:华为云服务事件源产生的事件。 自定义事件:您自定义的事件源接入事件网格产生的事件。您需要自行使用SDK接入事件网格。 事件示例 事件源发布到事件网格的事件示例如下:
事件目标 事件目标是事件的处理终端,负责消费事件。 事件网格支持的事件目标如下: 云服务事件目标:已对接事件网格的华为云服务。 自定义事件目标:您自定义的处理事件的服务。
如果需要修改自定义事件源的描述信息,单击待修改事件源后的“编辑”,在弹出的对话框中编辑描述及相关参数信息。 如果需要查看自定义事件源的信息,单击待查看信息的事件源名称,在弹出的对话框中查看自定义事件源信息。 如果发送事件界面配置的事件源为新事件源(事件源列表查询不到),发送事件后,无法在CES服务监控里查询到监控信息。
顺序。 同一消息组内的消息的消费顺序和发送顺序完全一致。2、生产顺序为:设置消息组,保证消息顺序发送。消费方式为:并发消费,实际消息处理结果:并发消费,尽可能按时间顺序处理。3、生产顺序为:未设置消息组,消息乱序发送。消费方式为:顺序消费,实际消息处理结果:按队列存储粒度,严格顺序。