检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当数据发送到死信队列后,您可以参考以下方法,来处理死信数据。 登录函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。 单击右上方的“创建函数”,进入“创建函数”页面,具体创建步骤请参考创建事件函数。 图2 函数列表 选择创建的函数,单击进入函数详情页。 选择“设置 > 触发器”,单击
在实例“基本信息>连接信息”页面,单击SSL证书旁的“下载”。 SSL证书将会下载到本地电脑,名字为“kafka-certs.zip”的文件。 参考创建桶,创建一个OBS桶,桶的区域与Kafka实例区域保持一致,其“桶策略”需为“公共读”或“公共读写”。 最新版的事件流支持私有桶获取证书。
请输入1000到900000之间的整数。 消息类型 默认为普通消息。 消费线程数 请输入20到64之间的整数。 批量消费最大消息数 请输入1到32之间的整数。 单击“下一步”,进入规则配置页面,规则配置可参考过滤规则参数说明。 图2 规则配置 单击“下一步”完成规则配置,您可以参考路由到函数工作流,继续配置事件流的事件目标。
请输入客户端SDK上传到OBS的地址。 说明: 客户端SDK上传到OBS的地址获取方式可参考常见问题。 消费超时时间(毫秒) 请输入1000到900000之间的整数。 消息类型 请选择普通消息。 消费线程数 请输入20到64之间的整数。 批量消费最大消息数 请输入1到32之间的整数。 批量消费最大等待时长(秒)
允许删除事件源的权限策略,控制他们对事件网格资源的使用范围。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用事件网格的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。请参见IAM产品介绍。
确保创建的RocketMQ实例和配置RocketMQ事件源二者的“ACL访问控制”开关状态保持一致。 tag 请输入tag。 消费超时时间(毫秒) 请输入1000到900000之间的整数。 消费方式 请选择“并发消费”或“顺序消费”。 消费线程数 请输入20到64之间的整数。 批量消费最大消息数
输入并发数,输入值范围1~1000。 建议并发数与选择的Topic的分区数保持一致,如果不一致可能会影响消息消费速率。当您选择Topic时,如果并发数为空会读取您选择的Topic的分区数作为并发数。 消费点位 选择消费点位。 最新点位:将会从消息队列的最新消息开始消费。 最早点位:将会从消息队列的最早消息开始消费。
云服务事件源 本章节介绍事件网格支持的云服务事件源列表,以及查看云服务事件源预定义的事件类型的方法。 约束与限制 目前只支持写事件,不支持读事件。 目前只支持云服务事件模型列表中的六个场景,除此以外的点开暂无示例。 云服务事件源列表 事件网格支持的云服务事件源列表如下: 表1 云服务事件源
消息队列RabbitMQ版中的实例名称。 用户名 RabbitMQ实例的用户名。 密码 RabbitMQ实例的密码。 Vhost RabbitMQ实例的虚拟主机。 Queue RabbitMQ实例的队列。 单击“确定”,完成自定义事件源的创建。 创建成功后,在“自定义事件源”页签,查看创建的事件源。
网络配置。 虚拟私有云:选择已创建的虚拟私有云,如何创建请参见创建虚拟私有云和子网。 子网:选择已创建的子网,如何创建请参见为虚拟私有云创建新的子网。 请确保事件流集群配置的虚拟私有云、子网与Kafka或RocketMQ的源端实例、目标端实例配置的虚拟私有云、子网的网络互通,否则连通性测试不通过。
本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您了解用户组可以添加的EG系统策略,并结合实际需求进行选择,EG支持的系统策略及策略间的对比,请参见:EG系统策略。 若您需要对除EG之外的其他服务授权,IAM支持服务的所有策略,请参见权限策略。 示例流程 图1 给用户授权EG权限流程
预检查是创建事件流作业流程中的一环,用来检查用户填写的配置信息是否符合要求。预检查包含多个检查项,详情请参考表1,且每项检查独立执行,检查结果分成功、失败和告警三种类型。 表1 检查项目介绍 项目 内容 源端和目标端实例版本检查 检查源端实例和目标端实例的版本是否匹配。 源端连通性检查
置Topic的消息类型是其它类型时,则该消息类型的Topic消息将不会被同步。 前提条件 业务有自己的源RocketMQ和目标RocketMQ。 源RocketMQ和目标RocketMQ实例支持的版本:4.x、5.x。 源RocketMQ和目标RocketMQ实例的规格、Broker数量、存储空间需保持一致。
返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。 图4 Kafka事件流同步进展详情 表4 参数说明 参数名称 说明 Topic名称 创建Kafka实例时的Topic。 分区数 创建Topic时设置的分区数,分区数越大消费的并发度越大。
事件路由基于SmartConnect实现能力同步数据的同步。 约束与限制 事件路由公测期间免费。 如果源端kafka和目标端kafka在不同vpc里,但是他们的broker地址存在重叠,这种情况任务也会失败,规避方式是让用户用一个新的vpc打通其中一个kafka的网络,保障源端和目标端的地址不重叠。 事件路由
按需选择。 默认加密 按需选择。 归档数据直读 按需选择。 企业项目 按需选择。 配置完成后,单击“立即创建”,根据提示信息完成桶的创建。 以上述流程构建源桶与目标桶。 父主题: 实施步骤
并给用户组授予策略或角色,才能使用户组中的用户获得相应的权限,这一过程称为授权。授权后,用户就可以基于已有权限对云服务进行操作。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行
基于EventGrid事件订阅和Function实现OBS桶数据同步 方案概述 操作流程 实施步骤
基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版 方案概述 资源和成本规划 操作流程 实施步骤