检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实施步骤 创建OBS源桶和目标桶 创建FG函数 创建EG事件订阅 发送OBS事件 在事件追踪中查看事件投递信息 在函数服务的监控中查看代码执行详情 在OBS目标桶查看对象是否已完成同步 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
基于Serverless版事件流实现Kafka实例之间的数据同步 本文介绍如何应用事件网格EventGrid的Serverless版事件流功能实现分布式消息服务Kafka版实例间的数据同步。 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。
变量:从CloudEvents标准事件中获取变量值,将变量值按照模板定义的格式路由到事件目标。 常量:事件只能触发事件目标,但是不会传送事件内容到事件目标,事件网格将您设置的常量路由到事件目标。 关于转换规则的更多示例信息,请参考事件内容转换。
置Topic的消息类型是其它类型时,则该消息类型的Topic消息将不会被同步。 前提条件 业务有自己的源RocketMQ和目标RocketMQ。 源RocketMQ和目标RocketMQ实例支持的版本:4.x、5.x。 源RocketMQ和目标RocketMQ实例的规格、Broker数量、存储空间需保持一致。
预检查是创建事件流作业流程中的一环,用来检查用户填写的配置信息是否符合要求。预检查包含多个检查项,详情请参考表1,且每项检查独立执行,检查结果分成功、失败和告警三种类型。 表1 检查项目介绍 项目 内容 源端和目标端实例版本检查 检查源端实例和目标端实例的版本是否匹配。 源端连通性检查
网络配置。 虚拟私有云:选择已创建的虚拟私有云,如何创建请参见创建虚拟私有云和子网。 子网:选择已创建的子网,如何创建请参见为虚拟私有云创建新的子网。 请确保事件流集群配置的虚拟私有云、子网与Kafka或RocketMQ的源端实例、目标端实例配置的虚拟私有云、子网的网络互通,否则连通性测试不通过。
返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。 图4 Kafka事件流同步进展详情 表4 参数说明 参数名称 说明 Topic名称 创建Kafka实例时的Topic。 分区数 创建Topic时设置的分区数,分区数越大消费的并发度越大。
修改事件流的状态 登录事件网格控制台。 在左侧导航栏选择“事件流”,进入“事件流”页面。 在待修改状态的事件流所在行,单击“启用”/“停用”,完成事件流状态的修改。 修改事件流的事件源 登录事件网格控制台。 在左侧导航栏选择“事件流”,进入“事件流”页面。 单击待修改事件源的事件流名称,进入事件流详情页。
配置事件目标。 单击“事件目标”,右侧弹出“事件目标”弹窗。 选择目标服务。 设置事件目标参数。 完成后单击“确定”。 单击“保存”,完成事件流的创建。 事件流创建成功后,状态默认为“停用”。 父主题: 管理Serverless版事件流
事件 事件是符合特定规范的数据。事件源发布到事件网格的事件必须符合CloudEvents规范。 事件网格支持的事件如下。 华为云服务事件:华为云服务事件源产生的事件。 自定义事件:您自定义的事件源接入事件网格产生的事件。您需要自行使用SDK接入事件网格。 约束与限制 单事件大小限制:64K。
触发器类型:选择“分布式消息服务(Kafka)”。 实例:选择与死信队列相同的Kafka实例。 主题:选择与死信队列相同的Topic。 批处理大小:每次从Topic消费的消息数量,建议设置为10。 用户名:Kafka实例开启SSL时需要填写。连接Kafka专享版实例的用户名。 密码:Kafka实例开启SSL时需
产品功能 事件网格作为一种Serverless的事件总线服务,支持接入多种类型的事件源和事件目标,提供事件过滤路由的能力。 事件源 事件源是事件的来源,负责生产事件。事件网格支持以下事件源: 华为云服务事件源:华为云服务作为事件源,华为云服务包含弹性云服务器、对象存储服务和云容器引擎等等。
告警规则适用的告警类型,默认为指标。 资源类型 告警涉及资源类型,默认为事件网格。 维度 告警涉及的维度,默认为事件订阅。 监控范围 监控的范围,默认为指定资源。 监控对象 监控对象的选择,默认为事件订阅名称。 触发规则 触发告警的规则,默认为自定义创建。 告警策略 触发告警的告警策略,具体配置可参考表2。
委托下拉框只会查询出被委托方是事件网格服务的委托。 请确保您选择的委托已被授权的权限包含“functiongraph:function:invoke*”。 配置规则 类型 事件网格将CloudEvents标准事件转换成事件目标可以接受的事件类型。支持以下三种转换类型: 透传:事件
请选择/输入OBS桶名称。 转储目录 请输入转储目录。 OBS桶中对象的目录,多级目录用“/”分隔。 时间目录格式 请选择时间目录格式。 说明: 数据将存储在转储目录下的时间目录中,时间目录是按时间格式作为层级的目录。 例如,当选择的时间目录格式精确到日时,存储目录为:“桶名称/转储目录/年/月/日”。
件权限将事件发布到目标账号的通道中。 委托场景 首次创建目标连接时,系统会自动弹出创建委托授权界面,同意授权后,EG将在统一身份认证服务为您创建名为EG_DELEGATE_FG_AGENCY的委托。授权成功后,您可以在IAM控制台的委托列表中查看已创建的委托。 表2 EG_DEL
当消费点位选择自定义时,需要配置日期时间。 消费超时时间(毫秒) 请输入1000到900000之间的整数。 消息类型 默认为普通消息。 消费线程数 请输入20到64之间的整数。 批量消费最大消息数 请输入1到32之间的整数。 单击“下一步”,进入规则配置页面,规则配置可参考过滤规则参数说明。 图2
告警规则适用的告警类型,默认为指标。 资源类型 告警涉及资源类型,默认为事件网格。 维度 告警涉及的维度,默认为事件流。 监控范围 监控的范围,默认为指定资源。 监控对象 监控对象的选择,默认为事件流名称。 触发规则 触发告警的规则,默认为自定义创建。 告警策略 触发告警的告警策略,具体配置可参考表2。
值作为Key值。 常量:将指定的常量作为key值。若选择常量,所有消息将发送至同一分区。 规则配置 类型 事件网格将CloudEvents标准事件转换成事件目标可以接受的事件类型。支持以下三种转换类型: 透传:事件网格不对事件进行转换,将原生事件的完整结构直接路由到事件目标。 变
告警规则适用的告警类型,默认为指标。 资源类型 告警涉及资源类型,默认为事件网格。 维度 告警涉及的维度,默认为事件通道。 监控范围 监控的范围,默认为指定资源。 监控对象 监控对象的选择,默认为事件通道名称。 触发规则 触发告警的规则,默认为自定义创建。 告警策略 触发告警的告警策略