检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案概述 本文介绍如何通过事件网格服务的事件订阅和函数服务实现OBS桶的数据同步。 方案架构 本实践事件订阅架构图如下所示: 图1 事件订阅架构图 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题:
操作流程 前提条件 已开通事件网格服务并授权。 已开通函数服务并授权。 已开通OBS服务并授权。 已在OBS开通白名单(联系OBS服务)。 实践流程 创建事件订阅和事件路由流程如下图所示: 图1 流程图 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
实施步骤 创建OBS源桶和目标桶 创建FG函数 创建EG事件订阅 发送OBS事件 在事件追踪中查看事件投递信息 在函数服务的监控中查看代码执行详情 在OBS目标桶查看对象是否已完成同步 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
创建自定义事件源 自定义应用事件源 分布式消息服务RabbitMQ版 分布式消息服务RocketMQ版 父主题: 事件源
背景信息 事件流作为一种更为实时、轻量和高效的端到端的流式数据处理通道,对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标。源端分布式消息Kafka版生产的消息可以通过事件流这个通道被路由到目标端的分布式消息Kafka版,无需定义事件网格。详情请参见事件流概述。 父主题:
支持地域 支持在分布式消息服务Kafka版之间创建事件流的地域有:华东-上海一、华东-上海二、华北-北京四、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
专业版事件流 专业版事件流概述 产品优势 应用场景 专业版事件流集群 专业版事件流作业 专业版事件流预检查 父主题: 事件流
前提条件 已开通事件网格服务并授权。 已购买Kafka实例。 已创建分布式消息Kafka版类型的目标连接,具体方式请参考目标连接。 单条消息不超过256KB。 公测期间无商用SLA承诺。 当前暂不支持跨Region、Kafka-OBS(规划中)。 云上云下、跨云厂商需用户侧拉专线。
创建OBS源桶和目标桶 登录OBS控制台。 单击“创建桶”,进入“创建桶”页面。 设置桶参数。关于桶参数的详细介绍,请参考创建桶。 表1 桶参数配置 参数 说明 区域 事件网格与所在区域保持一致。 桶名称 输入示例如“eg-test”。 默认存储类别 按需选择。 桶策略 按需选择。
发送OBS事件 目前支持的事件类型。 图1 支持类型 事件类型中描述的事件(如上传、覆盖),在OBS中触发后,根据事件订阅中事件类型的选择,可对该事件进行路由传递。例如在桶名为test_zzy的OBS源桶中上传“test930.png”文件,目录为“success”。 图2 OBS桶列表
在事件追踪中查看事件投递信息 在EG控制台界面,单击“事件通道”中对应的事件通道的“事件轨迹”可以看到该事件的投递详情和事件详情: 界面入口: 图1 界面入口 事件详情: 图2 事件详情 事件轨迹: 图3 事件轨迹 父主题: 实施步骤
在OBS目标桶查看对象是否已完成同步 该数据同步功能默认同步后路径一致,在目标桶桶目录下查看文件是否同步成功: 图1 目标桶目录 父主题: 实施步骤
图1 费用账单 选择“流水和明细账单 > 明细账单”,在如下图2所示红框位置复制资源名称。 图2 明细账单 在管理控制台左侧导航栏,选择“应用中间件 > 事件网格EG”,选择资源所在区域,然后进入资源列表。 在右侧搜索框中将复制的资源名称粘贴过来,单击“搜索”即可查找到该资源。
事件通道、事件目标是否已是连通状态,已配置的事件规则是否生效,事件是否成功发送到事件目标。 前提条件: 已创建自定义事件通道、已创建自定义应用事件源、已设置事件目标,并基于上述内容创建事件订阅。 登录事件网格控制台。 在左侧导航栏选择“事件通道”,进入“事件通道”页面。 单击“发布事件”,进入“发布事件”页面。
死信队列 概述 启用死信队列后EG会把处理失败的事件发送到配置的队列中,若不启用则处理失败的事件将被丢弃。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件订阅”,进入“事件订阅”页面。 单击“创建事件订阅”。 单击“事件目标”。 在弹窗中选择“事件目标”。 启用“死信队列”,并配置参数。
在函数服务的监控中查看代码执行详情 在“函数列表”中找到进行数据同步的函数: 图1 函数列表 单击监控中对应的请求查看代码日志: 图2 代码日志 父主题: 实施步骤
最大长度:128 authentication_required 否 Boolean 鉴权认证 msg_trace_switch 否 Boolean 保存消息轨迹 access_key 否 String AccessKey 最大长度:128 secret_key 否 String SecretKey
考创建企业项目。 操作步骤 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择事件流所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 事件网格EG”,单击进入事件网格EG页面。 单击“事件流”,进入事件流列表页面。 在事件流名称后,单击“监控”,跳转到监控指标页面。
创建企业项目。 操作步骤 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择事件订阅所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 事件网格EG”,单击进入事件网格EG页面。 单击“事件订阅”,进入事件订阅列表页面。 在订阅名称后,单击“监控”,跳转到监控指标页面。
最大长度:128 authentication_required Boolean 鉴权认证 msg_trace_switch Boolean 保存消息轨迹 access_key String AccessKey 最大长度:128 secret_key String SecretKey