检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用场景 迁移 支持通过多种网络链路,实现跨云平台数据同步、云下数据同步上云或云上跨Region的数据同步等多种业务场景。适用于业务割接期数据的整体搬迁上云,支持短期单向同步。 特点:通过增量同步技术,业务运行中可以完成数据库同步,同步不影响业务。 同步 实现数据源之间的数据实时同步
json.dumps(event), "headers": { "Content-Type": "application/json" } } 步骤二:创建事件订阅 事件订阅将事件源、通道和事件目标绑定在一起,通过事件规则将事件源发出的事件路由到事件目标。
开启时表示将消息消费进度同步到目标Kafka。 启动偏移量 请选择为“最早”或“最新”。 压缩算法 请选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。 图3 预检查 返回专业版事件流作业
示例。 图3 云服务事件源配置参数 如果“事件源”选择“OBS应用事件源”,请参考表2。同时,需用户的华为云账号添加“Tenant Administrator”权限,如何授权请参见依赖角色的授权方法。 表2 OBS应用事件源参数说明 参数名称 说明 事件源 选择事件源。 桶 选择OBS桶。
自定义应用事件源 本章节介绍在控制台创建自定义应用事件源的方法。 前提条件 (可选)创建自定义应用事件源前,需要先创建自定义事件通道。 创建自定义应用事件源 登录事件网格控制台。 在左侧导航栏选择“事件源”,进入“事件源”页面。 单击“自定义事件源”,弹出“创建自定义事件源”对话框。
进入事件轨迹页面后,单击“事件ID”列表中的事件名称,即可查看事件详情。 图9 查看事件详情 消息体事件格式如下: { "datacontenttype": "application/json", "data": { "context": "11111" }, "subject": "RABBITMQ:
查看事件消息格式。 查看事件轨迹的事件详情: 图7 事件轨迹详情 消息体事件格式如下: { "datacontenttype": "application/json", "data": { "context": "{\"hello\":\"world\"}",
String 超时时间 dataschema 否 String 数据架构 事件Body体示例如下(以“OBS应用事件源”为例): "datacontenttype":"application/json", "data": { "obs":{ "bucket":{
基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版 方案概述 资源和成本规划 操作流程 实施步骤
json.dumps(event), "headers": { "Content-Type": "application/json" } } 步骤四:创建事件订阅 事件订阅将事件源、通道和事件目标绑定在一起,通过事件规则将事件源发出的事件路由到事件目标。
能将OBS应用事件源产生的事件路由至分布式消息服务Kafka版。 方案架构 本实践事件订阅架构图如下所示: 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题: 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版
实施步骤 创建OBS桶 购买Kafka实例 创建Kafka目标连接 创建事件订阅 发送OBS事件 查看事件消息 父主题: 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版
已开通事件网格服务并授权。 已创建虚拟私有云和子网。 已创建安全组。 实践流程 创建事件订阅和事件路由流程如下图所示: 父主题: 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版
查看事件消息 登录分布式消息服务Kafka版控制台,选择Kafka实例所在的区域。 在“Kafka专享版”页面,单击Kafka实例的名称“eg-kafka”,进入实例详情页面。 选择“消息查询”页签,在消息页签页面,设置查询的Topic名称“topic-eg”、分区以及查询方式。
输入订阅名称和描述信息,单击“确定”,完成订阅名称和描述信息输入。 配置事件源。 配置如下事件源参数: 选择提供方:华为云 事件源:OBS应用事件源 桶:选择OBS桶 事件类型:下拉框中事件类型根据用户需求勾选 对象名前缀:若填写,符合规范才能触发事件。默认不填写,表示全匹配。
创建一个事件订阅,事件源为OBS应用事件源,事件目标为分布式消息服务Kafka版。 创建一个目标连接,类型为“分布式消息服务 Kafka版”。 1 00.00 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台显示为准。 父主题: 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版
创建OBS桶 登录OBS控制台。 单击“创建桶”,进入“创建桶”页面。 参考图1,设置桶参数。关于桶参数的详细介绍,请参考创建桶。 区域:与事件网格所在区域保持一致 桶名称:输入示例如“eg-obs” 默认存储类别:选择“标准存储” 桶策略:选择“私有” 默认加密:不勾选 归档数据直读:选择“关闭”
购买Kafka实例 购买实例 登录分布式消息服务Kafka版控制台,单击页面右上方的“购买Kafka实例”。 配置如下实例参数。更多购买实例参数的详细介绍,请参考购买Kafka实例。 计费模式:按需计费 区域:与事件网格所在区域保持一致 项目:选择默认项目 可用区:根据默认项配置
发送OBS事件 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击已创建的桶“eg-obs”,进入“对象”页面。 进入待上传的文件夹,单击“上传对象”,系统弹出“上传对象”对话框。 上传一个本地已准备好的文件,单击“上传”。 更多上传对象文件的方法请参考上传对象。 图1 上传对象
创建Kafka目标连接 登录事件网格控制台。 在左侧导航栏选择“网络管理>目标连接”,进入“目标连接”页面。 单击“创建目标连接”,弹出“创建目标连接”对话框。 首次创建目标连接时,系统会自动弹出创建委托授权界面,需要您创建授权委托,详情请查看授权委托。 配置如下目标连接参数。更