检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于Serverless版事件流实现Kafka实例之间的数据同步 本文介绍如何应用事件网格EventGrid的Serverless版事件流功能实现分布式消息服务Kafka版实例间的数据同步。 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。
次。 点击“查看更多指标详情”,可跳转至云监控Cloud Eye界面。 当“周期”选择为原始值时,监控数据为原始数据;当“周期”选择为具体时间时,监控数据可选择“平均值”、“最大值”、“最小值”、“求和值”、“方差值”的聚合算法。 父主题: 监控
的所有事件流事件数据。 您也可以根据需要选择“近1小时”“近3小时”“近12小时”“近24小时”“近7天”“近30天”,分别查看不同时段的事件流事件数据。 图1 事件流监控 事件流监控支持自定义时间跨度,可自定义选择查询的时间区间。 开启“自动刷新”后,指标数据会每5s刷新一次。
控,如不选择,则查看全部监控指标。 开启“自动刷新”后,指标数据会每5s刷新一次。 点击“查看更多指标详情”,可跳转至云监控CES界面。 当“周期”选择为原始值时,监控数据为原始数据;当“周期”选择为具体时间时,监控数据可选择“平均值”、“最大值”、“最小值”、“求和值”、“方差值”的聚合算法。
在“事件订阅”页面,单击订阅名称所在行的“监控”,查看事件投递监控数据。 支持查看单个事件目标的监控数据。 支持查看最近1小时、最近4小时、最近24小时、最近7天和自定义时间的监控数据。 支持选择周期(1分钟、5分钟、20分钟)和方法(平均值、最大值、最小值)查看监控数据。 在“事件通道”页面,单击通道名称所在行的“监控”,查看事件接入监控数据。
String 指标数据统计方式 缺省值:AVG 枚举值: AVG MIN MAX period 否 Integer 指标数据统计周期(单位minute) 缺省值:1 start_time 是 Long 获取指标数据起始时间 end_time 否 Long 获取指标数据结束时间 channel_id
基于EventGrid事件订阅和Function实现OBS桶数据同步 方案概述 操作流程 实施步骤
过滤规则参数说明 事件源产生的事件与过滤规则进行匹配,匹配成功后事件才会被路由到与过滤规则关联的事件目标。过滤规则必须和匹配的事件具有相同的结构。 本章节介绍过滤规则和事件匹配时的规则,以及构成过滤规则的参数:运算操作符、条件表达式和匹配字段。 匹配规则 过滤规则和事件匹配时,需要遵循以下规则:
您可以在事件订阅中通过配置事件过滤规则来筛选最终路由到事件目标的事件。 事件源产生的事件与过滤规则进行匹配,匹配成功后事件才会被路由到与过滤规则关联的事件目标。过滤规则必须和匹配的事件具有相同的结构。 关于事件过滤规则的更多信息,请参见过滤规则参数说明。
项目和企业项目 项目 IAM中的项目用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。用户拥有的资源必须挂载在项目下,项目可以是一个部门或者项目组。一个账户中可以创建多个项目。 企业项目 企业管理中的企业项目是对多个资源进行分组和管理,在目标区域中同一类型的
String 指标数据统计方式 缺省值:AVG 枚举值: AVG MIN MAX period 否 Integer 指标数据统计周期(单位minute) 缺省值:1 start_time 是 Long 获取指标数据起始时间 end_time 否 Long 获取指标数据结束时间 subscription_id
选择Topic。 如果事件目标与死信队列使用同一个Topic,EG将无法区分事件成功与失败,不推荐您配置同一个Topic。 单击“确定”,完成死信配置。 处理死信队列数据 当数据发送到死信队列后,您可以参考以下方法,来处理死信数据。 登录函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。
区域:与事件网格所在区域保持一致 桶名称:输入示例如“eg-obs” 默认存储类别:选择“标准存储” 桶策略:选择“私有” 默认加密:不勾选 归档数据直读:选择“关闭” 企业项目:选择“default” 图1 创建桶 配置完成后,单击“立即创建”,根据提示信息完成桶的创建。 父主题: 实施步骤
在函数服务的监控中查看代码执行详情 在“函数列表”中找到进行数据同步的函数: 图1 函数列表 单击监控中对应的请求查看代码日志: 图2 代码日志 父主题: 实施步骤
操作流程 前提条件 进行本实践操作需要提前完成的事项: 已开通事件网格服务并授权。 已创建虚拟私有云和子网。 已创建安全组。 实践流程 创建事件订阅和事件路由流程如下图所示: 父主题: 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版
例,实例中已创建Topic,且实例状态处于“运行中”。具体步骤,请参考购买实例。 已创建私网访问端点,其VPC及子网与RocketMQ实例相同。 已正确配置default安全组和RocketMQ实例所属的安全组规则,具体规则请参考创建事件源如何配置安全组。 创建RocketMQ事件源
事件网格通过事件内容转换将CloudEvents标准事件转换成事件目标可以处理的类型。 事件网格支持的转换类型如下:透传、变量、常量。 约束与限制 事件网格转换类型为变量时,事件流不支持将源端消息内容中的字段进行转换。 透传 事件网格不对事件进行转换,将CloudEvents标准事件直接路由到事件目标。示例如下:
对话机器人服务 CBS 关系型数据库 RDS 云解析服务的Region级 DNS 存储容灾服务 SDRS 语音通话 VoiceCall 应用性能管理 APM 应用编排服务 AOS 数据接入服务 DIS 数据库安全服务 DBSS 慧眼HiLens HiLens 云数据迁移 CDM 多活高可用服务
相关概念 事件 状态发生改变的数据记录。 事件源 事件的来源,负责生产事件。 事件目标 事件的处理终端,负责消费事件。 事件通道 事件的中转站,负责接收来自事件源的事件。 事件规则 事件发送到事件网格后,会根据事件规则进行过滤,满足规则的事件才会被路由发送到对应的事件目标。
支持通过多种网络链路,实现跨云平台数据同步、云下数据同步上云或云上跨Region的数据同步等多种业务场景。适用于业务割接期数据的整体搬迁上云,支持短期单向同步。 特点:通过增量同步技术,业务运行中可以完成数据库同步,同步不影响业务。 同步 实现数据源之间的数据实时同步, 可作为MAS容灾方案原子能力,实现跨Region