检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
事件路由基于SmartConnect实现能力同步数据的同步。 约束与限制 事件路由公测期间免费。 如果源端kafka和目标端kafka在不同vpc里,但是他们的broker地址存在重叠,这种情况任务也会失败,规避方式是让用户用一个新的vpc打通其中一个kafka的网络,保障源端和目标端的地址不重叠。 事件路由
方案概述 本文介绍如何通过事件网格服务的事件订阅和函数服务实现OBS桶的数据同步。 方案架构 本实践事件订阅架构图如下所示: 图1 事件订阅架构图 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题:
服务可用性99.99%,采用分布式集群化部署,具备极强的容灾能力。 安全可靠 对接统一身份认证服务、云日志服务、云监控服务和云审计服务等安全管理服务,全方位保护事件的存储与访问。 持久化数据支持磁盘和用户指定密钥加密,进一步提高数据的安全性。
控指标页面,默认展示近1小时的所有投递事件数据。 您也可以根据需要选择“近1小时”“近3小时”“近12小时”“近24小时”“近7天”“近30天”,分别查看不同时段的投递事件数据。 图1 事件订阅监控 事件订阅监控支持自定义时间跨度,可自定义选择查询的时间区间。 事件订阅支持多目标
事件 事件是符合特定规范的数据。事件源发布到事件网格的事件必须符合CloudEvents规范。 事件网格支持的事件如下。 华为云服务事件:华为云服务事件源产生的事件。 自定义事件:您自定义的事件源接入事件网格产生的事件。您需要自行使用SDK接入事件网格。 约束与限制 单事件大小限制:64K。
网络配置。 虚拟私有云:选择已创建的虚拟私有云,如何创建请参见创建虚拟私有云和子网。 子网:选择已创建的子网,如何创建请参见为虚拟私有云创建新的子网。 请确保事件流集群配置的虚拟私有云、子网与Kafka或RocketMQ的源端实例、目标端实例配置的虚拟私有云、子网的网络互通,否则连通性测试不通过。
应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于EG的业务。 表1 EG最佳实践一览表 最佳实践 说明 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版 本章节介绍如何通过事件网格服务的事件订阅功能将OBS应用事件源产生的事件路由至分布式消息服务Kafka版。
返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。 图4 Kafka事件流同步进展详情 表4 参数说明 参数名称 说明 Topic名称 创建Kafka实例时的Topic。 分区数 创建Topic时设置的分区数,分区数越大消费的并发度越大。
置Topic的消息类型是其它类型时,则该消息类型的Topic消息将不会被同步。 前提条件 业务有自己的源RocketMQ和目标RocketMQ。 源RocketMQ和目标RocketMQ实例支持的版本:4.x、5.x。 源RocketMQ和目标RocketMQ实例的规格、Broker数量、存储空间需保持一致。
了数据备份的可用性。支持选项: acks=0:表示producer不需要等待任何确认收到的信息,副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据,同时重试配置不会发生作用(因为客户端不知道是否失败)回馈的offset会总是设置为-1。
当选择“正则匹配”时需在下方输入“Topic正则”。 当选择“精确匹配”时需选择“Topics”。 副本数 是。 自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。 同步消费进度 是。 说明: 开启时表示将消息消费进度同步到目标Kafka。 启动偏移量 否。 压缩算法
新增预校验指定事件源发布事件成功接口。 新增查询事件通道监控指标数据接口。 新增查询事件订阅监控指标数据接口。 更新查询事件订阅列表接口名称为查询单个函数的EG触发器接口。 新增查询单个函数流的EG触发器接口。 新增EG.00513002、EG.00513003、EG.00513006、EG.00512002、EG
X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 最小长度:1 最大长度:16384 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer
事件监控 事件网格支持的监控指标 查看监控数据
监控 查看监控数据 支持的监控指标 配置监控告警 父主题: 事件订阅
监控 查看监控数据 支持的监控指标 配置监控告警 父主题: 事件通道
监控 查看监控数据 支持的监控指标 配置监控告警 父主题: 事件流
error_info ErrorInfo object vpc_id String 待连接的VPC ID subnet_id String 待连接的子网ID agency String 私网目标连接使用的用户委托名称 flavor flavor object 规格 type String
error_info ErrorInfo object vpc_id String 待连接的VPC ID subnet_id String 待连接的子网ID agency String 私网目标连接使用的用户委托名称 flavor flavor object 规格 type String
X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 最小长度:1 最大长度:16384 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer