检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案概述 本文介绍如何通过事件网格服务的事件订阅和函数服务实现OBS桶的数据同步。 方案架构 本实践事件订阅架构图如下所示: 图1 事件订阅架构图 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题:
在函数服务的监控中查看代码执行详情 在OBS目标桶查看对象是否已完成同步 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
已在OBS开通白名单(联系OBS服务)。 实践流程 创建事件订阅和事件路由流程如下图所示: 图1 流程图 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
支持通过多种网络链路,实现跨云平台数据同步、云下数据同步上云或云上跨Region的数据同步等多种业务场景。适用于业务割接期数据的整体搬迁上云,支持短期单向同步。 特点:通过增量同步技术,业务运行中可以完成数据库同步,同步不影响业务。 同步 实现数据源之间的数据实时同步, 可作为MAS容灾方案原子能力,实现跨Region
背景信息 事件流作为一种更为实时、轻量和高效的端到端的流式数据处理通道,对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标。源端分布式消息Kafka版生产的消息可以通过事件流这个通道被路由到目标端的分布式消息Kafka版,无需定义事件网格。详情请参见事件流概述。 父主题:
事件网格(EventGrid,简称EG)专享版事件流作为易用、稳定、高效的数据同步管道连接不同的系统与服务,支持中间件数据在线实时同步。事件流围绕云中间件,降低了中间件之间数据流通的复杂性,有效地帮助您减少数据传输的成本。适用于上云、跨云、云内跨地域中间件数据搬迁和备份容灾等场景,为企业上云和容灾业务连续性
东-上海二、华北-北京四、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
云上云下、跨云厂商需用户侧拉专线。 相关监控指标 2023年9月30日上线。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
2023-02-24 新增获取obs桶列表API接口。 新增预校验指定事件源发布事件成功接口。 新增查询事件通道监控指标数据接口。 新增查询事件订阅监控指标数据接口。 更新查询事件订阅列表接口名称为查询单个函数的EG触发器接口。 新增查询单个函数流的EG触发器接口。 新增EG.00513002、EG
图3 目标端消息 图4 源端消息 单消息需保持大小在2M以下。 如消息一致,则Kafka实例间的数据同步成功。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
编辑自定义事件模型 自定义事件模型创建成功后,您可以根据实际需求修改自定义事件的描述信息、版本兼容方式和版本内容。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件模型”,进入“事件模型”页面。 在“自定义事件模型”页签中,通过以下任意一种方式编辑自定义事件模型。 单击待编
事件网格与所在区域保持一致。 桶名称 输入示例如“eg-test”。 默认存储类别 按需选择。 桶策略 按需选择。 默认加密 按需选择。 归档数据直读 按需选择。 企业项目 按需选择。 图1 桶参数配置 配置完成后,单击“立即创建”,根据提示信息完成桶的创建。 以上述流程构建源桶与目标桶。
发送OBS事件 目前支持的事件类型。 图1 支持类型 事件类型中描述的事件(如上传、覆盖),在OBS中触发后,根据事件订阅中事件类型的选择,可对该事件进行路由传递。例如在桶名为test_zzy的OBS源桶中上传“test930.png”文件,目录为“success”。 图2 OBS桶列表
事件通道概述 事件通道负责接收来自事件源的事件。 事件网格支持的事件通道如下: 云服务事件通道:由事件网格自动创建、且不可修改的一条默认的云服务事件通道,用于接收云服务事件源产生的事件。云服务事件源产生的事件只能发布到云服务事件通道。 自定义事件通道:您自行创建的事件通道,用于接收自定义事件源产生的事件。
登录事件网格控制台。 在左侧导航栏选择“事件订阅”,进入“事件订阅”页面。 单击“创建事件订阅”,进入订阅详情页。 单击订阅名称旁的,弹出“修改订阅”弹窗。 输入订阅名称和描述信息,单击“确定”,完成订阅名称和描述信息输入。 配置事件源。 配置如下事件源参数: 选择提供方:华为云 事件源:OBS应用事件源
在事件追踪中查看事件投递信息 在EG控制台界面,单击“事件通道”中对应的事件通道的“事件轨迹”可以看到该事件的投递详情和事件详情: 界面入口: 图1 界面入口 事件详情: 图2 事件详情 事件轨迹: 图3 事件轨迹 父主题: 实施步骤
在函数服务的监控中查看代码执行详情 在“函数列表”中找到进行数据同步的函数: 图1 函数列表 单击监控中对应的请求查看代码日志: 图2 代码日志 父主题: 实施步骤
c,EG将无法区分事件成功与失败,不推荐您配置同一个Topic。 单击“确定”,完成死信配置。 处理死信队列数据 当数据发送到死信队列后,您可以参考以下方法,来处理死信数据。 登录函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。 单击右上方的“创建函数”,进入“创建函
ID。 CHANNEL_ID:修改为步骤一中记录的通道ID。 ENDPOINT:事件网格访问端点,如“华北-北京四”区域,公网访问端点值为“events.cn-north-4.myhuaweicloud.com”。 SOURCE:即事件源名称,修改为步骤四中配置事件源时记录的“Filter”中“values”值。
“配置类型”为“新建”时,输入事件通道名称和描述信息。 事件源创建成功后,事件通道不支持修改。 事件源名称 您自定义的事件源名称,用于识别不同的事件源。 事件源创建成功后,事件源名称不支持修改。 描述(可选) 事件源的描述信息。 事件源类型 事件源类型选择“分布式消息服务RocketMQ版”。