检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于EventGrid事件订阅和Function实现OBS桶数据同步 方案概述 操作流程 实施步骤
背景信息 事件流作为一种更为实时、轻量和高效的端到端的流式数据处理通道,对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标。源端分布式消息Kafka版生产的消息可以通过事件流这个通道被路由到目标端的分布式消息Kafka版,无需定义事件网格。详情请参见事件流概述。 父主题:
在函数服务的监控中查看代码执行详情 在“函数列表”中找到进行数据同步的函数: 图1 函数列表 单击监控中对应的请求查看代码日志: 图2 代码日志 父主题: 实施步骤
云上云下、跨云厂商需用户侧拉专线。 相关监控指标 2023年9月30日上线。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
基于Serverless版事件流实现Kafka实例之间的数据同步 本文介绍如何应用事件网格EventGrid的Serverless版事件流功能实现分布式消息服务Kafka版实例间的数据同步。 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。
创建自定义事件模型 事件模型(Schema)用于定义事件的结构。事件网格支持的事件模型如下: 云服务事件模型:事件网格为华为云服务事件源产生的事件提供Schema。每个华为云服务事件源的事件类型对应一个云服务事件模型。 自定义事件模型:针对发送到自定义通道的事件,您可以自定义Schema,也可以通
在事件追踪中查看事件投递信息 在EG控制台界面,单击“事件通道”中对应的事件通道的“事件轨迹”可以看到该事件的投递详情和事件详情: 界面入口: 图1 界面入口 事件详情: 图2 事件详情 事件轨迹: 图3 事件轨迹 父主题: 实施步骤
选择“消息查询”,分别查看源端topic和目标端topic的“消息体”。 图3 目标端消息 图4 源端消息 单消息需保持大小在2M以下。 如消息一致,则Kafka实例间的数据同步成功。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
在OBS目标桶查看对象是否已完成同步 该数据同步功能默认同步后路径一致,在目标桶桶目录下查看文件是否同步成功: 图1 目标桶目录 父主题: 实施步骤
建松耦合、分布式的事件驱动架构。 文档 图说ECS 立即使用 立即使用 成长地图 由浅入深,带您玩转EG 01 了解 了解事件网格的产品功能、业务使用场景和基本概念,有助于您系统性的掌握事件网格概况。 产品介绍 什么是事件网格 产品功能 应用场景 配额说明 计费说明 相关概念 02
发送OBS事件 目前支持的事件类型。 图1 支持类型 事件类型中描述的事件(如上传、覆盖),在OBS中触发后,根据事件订阅中事件类型的选择,可对该事件进行路由传递。例如在桶名为test_zzy的OBS源桶中上传“test930.png”文件,目录为“success”。 图2 OBS桶列表
py文件中定义的存放输出图片的OBS桶参数值your-bucket-output, 创建OBS桶中创建的存放输出图片OBS桶。 添加依赖包。 示例代码依赖pillow包,需要通过依赖包的形式进行引入,步骤如下: 进入创建的函数的详情页,在“代码”页签,单击页面最底部的“添加依赖包”。
支持地域 支持在分布式消息服务Kafka版之间创建事件流的地域有:华东-上海一、华东-上海二、华北-北京四、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
已开通OBS服务并授权。 已在OBS开通白名单(联系OBS服务)。 实践流程 创建事件订阅和事件路由流程如下图所示: 图1 流程图 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
基于Serverless版事件流实现RocketMQ推送事件至函数工作流服务 本文介绍如何通过事件网格服务的事件流功能将RocketMQ产生的事件推送至函数工作流服务。 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。
对象名前缀、对象名后缀填写时,对象文件格式必须都符合才能触发事件,当前后缀为空时,任意对象文件都符合。 创建事件订阅时,如果选择的OBS桶有被其他事件订阅调用,请确保当前桶的对象名前缀和后缀与其他事件订阅中配置的对象名前缀和后缀不一致。否则,保存事件订阅时,会报“OBS桶对象名前缀或后缀冲突”错误。 配置事件目标。
可作为MAS容灾方案原子能力,实现跨Region 、跨云、云下云上中间件间形成灾备关系。支持正向和反向的长期单向数据同步,提供云内正、反向切换等容灾特性。 特点:异地远距离传输优化,围绕灾备提供特性,不同于业界基于简单的数据同步形成方案。 ETL 实现不同系统间关键业务的数据持续性的实时流动,支持
方案概述 本文介绍如何通过事件网格服务的事件订阅和函数服务实现OBS桶的数据同步。 方案架构 本实践事件订阅架构图如下所示: 图1 事件订阅架构图 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题:
创建OBS源桶和目标桶 登录OBS控制台。 单击“创建桶”,进入“创建桶”页面。 设置桶参数。关于桶参数的详细介绍,请参考创建桶。 表1 桶参数配置 参数 说明 区域 事件网格与所在区域保持一致。 桶名称 输入示例如“eg-test”。 默认存储类别 按需选择。 桶策略 按需选择。
创建FG函数 创建EG事件订阅 发送OBS事件 在事件追踪中查看事件投递信息 在函数服务的监控中查看代码执行详情 在OBS目标桶查看对象是否已完成同步 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步