检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发送OBS事件 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击已创建的桶“eg-obs”,进入“对象”页面。 进入待上传的文件夹,单击“上传对象”,系统弹出“上传对象”对话框。 上传一个本地已准备好的文件,单击“上传”。 更多上传对象文件的方法请参考上传对象。 图1 上传对象
配置“源端和目标端配置”。 当源端和目标端均为Kafka时: 图3 源端和目标端配置 源端类型:Kafka 目标端类型:Kafka 规格(QPS):选择为2000、5000、9000、15000或>20000。 表2 源端目标端配置参数说明 参数 说明 配置类型 请选择“Kafka地址”或“实例名称”。
描述:用户自定义。 源库和目标库配置。 源库类型:“Kafka”和“RocketMQ”。 目标库类型:“Kafka”和“RocketMQ”。 集群节点规格:默认“10 ECU”。 10 ECU支持1~10个并发作业数,10 ECU Kafka最多支持40万QPS,RocketMQ支持3万QPS,DCS支持10万QPS。
触发器类型:选择“分布式消息服务(Kafka)”。 实例:选择与死信队列相同的Kafka实例。 主题:选择与死信队列相同的Topic。 批处理大小:每次从Topic消费的消息数量,建议设置为10。 用户名:Kafka实例开启SSL时需要填写。连接Kafka专享版实例的用户名。 密码:Kafka实例开启S
路由到对象存储服务OBS 本章节介绍在创建事件流时如何配置对象存储服务OBS为事件目标。 前提条件 已开通对象存储服务OBS作为事件目标。 事件源选择为“分布式消息服务 Kafka版”。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流 > Serverless版事件流”
式消息服务Kafka版 本章节介绍如何通过事件网格服务的事件订阅功能将OBS应用事件源产生的事件路由至分布式消息服务Kafka版。 基于Serverless版事件流实现Kafka实例之间的数据同步 本章节介绍如何通过事件网格服务的事件流功能实现分布式消息服务Kafka版实例间的数据同步。
首次创建目标连接时,系统会自动弹出创建委托授权界面,需要您创建授权委托,详情请查看授权委托。 参考Kafka目标连接参数说明,填写目标连接的配置信息。 表2 Kafka目标连接参数说明 参数 说明 类型 选择“分布式消息服务 Kafka版”。 名称 您自定义的目标连接名称。 目标连接创建成功后,目标连接名称不支持修改。
最大长度:128 type 否 String 目标连接类型。目前支持webhook:http连接;kafka:华为云官方kafka实例 枚举值: WEBHOOK KAFKA kafka_detail 否 KafkaConnectionDetail object 表4 KafkaConnectionDetail
创建专业版事件流作业 Kafka同步Kafka RocketMQ同步RocketMQ 父主题: 专业版事件流作业
object 规格 type String 目标连接类型。目前支持webhook:http连接;kafka:华为云官方kafka实例 枚举值: WEBHOOK KAFKA kafka_detail KafkaConnectionDetail object created_time
object 规格 type String 目标连接类型。目前支持webhook:http连接;kafka:华为云官方kafka实例 枚举值: WEBHOOK KAFKA kafka_detail KafkaConnectionDetail object created_time
当选择“精确匹配”时需选择“Topics”。 副本数 是。 自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。 同步消费进度 是。 说明: 开启时表示将消息消费进度同步到目标Kafka。 启动偏移量 否。 压缩算法 是,可选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。
务。 表1 入门实践 实践 描述 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版 基于事件网格服务的事件订阅功能将OBS应用事件源产生的事件路由至分布式消息服务Kafka版
object 规格 type String 目标连接类型。目前支持webhook:http连接;kafka:华为云官方kafka实例 枚举值: WEBHOOK KAFKA kafka_detail KafkaConnectionDetail object created_time
String kafka消费组 最小长度:1 最大长度:256 instance_name 否 String kafka实例名称 最小长度:4 最大长度:64 security_protocol 否 String 安全协议 instance_id 否 String kafka实例ID 最小长度:1
事件源 分布式消息服务Kafka版 移动云RocketMQ版 社区版RocketMQ 分布式消息服务RocketMQ版 父主题: 事件流
String kafka消费组 最小长度:1 最大长度:256 instance_name String kafka实例名称 最小长度:4 最大长度:64 security_protocol String 安全协议 instance_id String kafka实例ID 最小长度:1
String kafka消费组 最小长度:1 最大长度:256 instance_name String kafka实例名称 最小长度:4 最大长度:64 security_protocol String 安全协议 instance_id String kafka实例ID 最小长度:1
String kafka消费组 最小长度:1 最大长度:256 instance_name 否 String kafka实例名称 最小长度:4 最大长度:64 security_protocol 否 String 安全协议 instance_id 否 String kafka实例ID 最小长度:1
事件目标 路由到函数工作流 路由到分布式消息服务Kafka版 路由到对象存储服务OBS 父主题: 事件流