检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请输入Secret Key。 订阅方式 请选择集群或广播。 接入点类型 请选择公网或私网。 地址 请输入地址。 客户端SDK 请输入客户端SDK上传到OBS的地址。 说明: 客户端SDK上传到OBS的地址获取方式可参考常见问题。 消费超时时间(毫秒) 请输入1000到900000之间的整数。
SASL认证机制 枚举值: SCRAM-SHA-512 PLAIN ssl_certificate_url 否 String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd 否 String SASL证书密码 最小长度:1 最大长度:256
方案概述 本文介绍如何通过事件网格服务的事件订阅功能将OBS应用事件源产生的事件路由至分布式消息服务Kafka版。 方案架构 本实践事件订阅架构图如下所示: 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。
购买Kafka实例 创建Kafka目标连接 创建事件订阅 发送OBS事件 查看事件消息 父主题: 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版
SASL认证机制 枚举值: SCRAM-SHA-512 PLAIN ssl_certificate_url String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd String SASL证书密码 最小长度:1 最大长度:256
SASL认证机制 枚举值: SCRAM-SHA-512 PLAIN ssl_certificate_url String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd String SASL证书密码 最小长度:1 最大长度:256
SASL认证机制 枚举值: SCRAM-SHA-512 PLAIN ssl_certificate_url 否 String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd 否 String SASL证书密码 最小长度:1 最大长度:256
前提条件 进行本实践操作需要提前完成的事项: 已开通事件网格服务并授权。 已创建虚拟私有云和子网。 已创建安全组。 实践流程 创建事件订阅和事件路由流程如下图所示: 父主题: 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版
支持CloudEvents SDK和API。 高并发&高可用 支持千万级事件并发。 服务可用性99.99%,采用分布式集群化部署,具备极强的容灾能力。 安全可靠 对接统一身份认证服务、云日志服务、云监控服务和云审计服务等安全管理服务,全方位保护事件的存储与访问。 持久化数据支持磁盘和用户指定密钥加密,进一步提高数据的安全性。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 最小长度:1 最大长度:16384 表3 请求Body参数
存事件订阅时,会报“OBS桶对象名前缀或后缀冲突”错误。 配置事件目标。 配置如下事件目标参数: 选择提供方:华为云 事件目标:分布式消息服务 Kafka版 目标连接:选择“kafka-connect” Topic:选择“topic-eg” 启用消息Key:关闭 规则配置类型:透传。配置转换规则请参考事件内容转换
查看事件消息 登录分布式消息服务Kafka版控制台,选择Kafka实例所在的区域。 在“Kafka专享版”页面,单击Kafka实例的名称“eg-kafka”,进入实例详情页面。 选择“消息查询”页签,在消息页签页面,设置查询的Topic名称“topic-eg”、分区以及查询方式。
操作流程 前提条件 已开通事件网格服务并授权。 已开通函数服务并授权。 已开通OBS服务并授权。 已在OBS开通白名单(联系OBS服务)。 实践流程 创建事件订阅和事件路由流程如下图所示: 图1 流程图 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
事件目标为分布式消息服务Kafka版。 创建一个目标连接,类型为“分布式消息服务 Kafka版”。 1 00.00 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台显示为准。 父主题: 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版
创建OBS桶 登录OBS控制台。 单击“创建桶”,进入“创建桶”页面。 参考图1,设置桶参数。关于桶参数的详细介绍,请参考创建桶。 区域:与事件网格所在区域保持一致 桶名称:输入示例如“eg-obs” 默认存储类别:选择“标准存储” 桶策略:选择“私有” 默认加密:不勾选 归档数据直读:选择“关闭”
购买Kafka实例 购买实例 登录分布式消息服务Kafka版控制台,单击页面右上方的“购买Kafka实例”。 配置如下实例参数。更多购买实例参数的详细介绍,请参考购买Kafka实例。 计费模式:按需计费 区域:与事件网格所在区域保持一致 项目:选择默认项目 可用区:根据默认项配置
发送OBS事件 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击已创建的桶“eg-obs”,进入“对象”页面。 进入待上传的文件夹,单击“上传对象”,系统弹出“上传对象”对话框。 上传一个本地已准备好的文件,单击“上传”。 更多上传对象文件的方法请参考上传对象。 图1 上传对象
选择创建的函数,单击进入函数详情页。 选择“设置 > 触发器”,单击“创建触发器”,弹出“创建触发器”对话框。 图3 创建触发器 设置以下信息。 触发器类型:选择“分布式消息服务(Kafka)”。 实例:选择与死信队列相同的Kafka实例。 主题:选择与死信队列相同的Topic。 批处理大小:每次从Topic消费的消息数量,建议设置为10。
事件通道负责接收来自事件源的事件。 事件网格支持的事件通道如下: 云服务事件通道:由事件网格自动创建、且不可修改的一条默认的云服务事件通道,用于接收云服务事件源产生的事件。云服务事件源产生的事件只能发布到云服务事件通道。 自定义事件通道:您自行创建的事件通道,用于接收自定义事件源产生的事件。
参考表1,填写事件源的配置信息。 表1 社区版 RocketMQ参数说明 参数名称 说明 事件提供方 选择社区版 RocketMQ。 地址 请输入连接地址。 Group 请输入Group。 Topic 请输入Topic。 虚拟私有云 请选择虚拟私有云。 说明: 事件流创建之后不允许修改虚拟私有云,编辑会有异常提示。