检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源和成本规划 本实践涉及到的资源和成本规划,如下表所示。 表1 资源和成本规划 资源 资源说明 数量 费用(元) 虚拟私有云VPC 创建一个虚拟私有云VPC。 1 00.00 虚拟私有云子网 创建一个虚拟私有云子网。 1 00.00 安全组 创建一个安全组。 1 00.00 对象存储服务OBS
事件流作为一种更为实时、轻量和高效的端到端的流式数据处理通道,对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标。源端分布式消息Kafka版生产的消息可以通过事件流这个通道被路由到目标端的分布式消息Kafka版,无需定义事件网格。详情请参见事件流概述。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
段、Kafka实例端口和添加安全组规则。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流 > Serverless版事件流”,进入“Serverless版事件流”页面。 单击“创建Serverless版事件流”,然后单击左上角图标,输入事件流名称和描述,完成后单击“确定”。
描述:用户自定义。 源库和目标库配置。 源库类型:“Kafka”和“RocketMQ”。 目标库类型:“Kafka”和“RocketMQ”。 集群节点规格:默认“10 ECU”、节点数“2”。 ECU:专享版事件流集群的规格单位,一个ECU是作业所需的最低硬件资源(CPU、内存)。 网络配置。
检查配置专享版事件流作业的第二步,即“源和目标对象配置”页面中配置的目标端RocketMQ实例的用户名和密码是否正确。 源端和目标端实例规格检查 检查源端和目标端RocketMQ实例的规格是否匹配。 原因:源端和目标端RocketMQ实例的节点数量不一致,请检查源端实例和目标端实例的规格信息。
络畅通。 检查配置专享版事件流作业的第二步,即“源和目标对象配置”页面中配置的目标端Kafka实例的用户名和密码是否正确。 源端和目标端实例规格检查 检查源端和目标端Kafka实例的规格是否匹配。 原因:源端和目标端Kafka实例的规格不一致,请检查源端和目标端实例的规格信息。
网络与安全 支持SSL等加密和认证机制,让数据同步更安全。 多种同步模式 支持对象选择、全量+增量同步和多种压缩模式,满足不同同步诉求。 预检查 预检查支持提前识别同步是否满足成功条件,提供失败原因、失败详情和处理建议信息。用户可以根据失败信息和处理建议的指导,调整环境,以确保同步成功。 同步监控
基于Serverless版事件流实现Kafka实例之间的数据同步 本章节介绍如何通过事件网格服务的事件流功能实现分布式消息服务Kafka版实例间的数据同步。 基于EventGrid事件订阅和Function实现OBS桶数据同步 本章节介绍如何通过事件网格服务的事件订阅和函数工作流服务实现OBS桶的数据同步。
创建分布式消息服务RocketMQ版事件源 登录事件网格控制台。 在左侧导航栏选择“事件流 > Serverless版事件流”,进入“Serverless版事件流”页面。 单击“创建Serverless版事件流”,然后单击左上角图标,输入事件流名称和描述,完成后单击“确定”。 单击“事件源”,弹出“配置事件源”对话框。
算)。 创建社区版RocketMQ事件源 登录事件网格控制台。 在左侧导航栏选择“事件流 > Serverless版事件流”,进入“Serverless版事件流”页面。 单击“创建Serverless版事件流”,然后单击左上角图标,输入事件流名称和描述,完成后单击“确定”。 单击“事件源”,弹出“配置事件源”对话框。
erverless版事件流”页面。 单击“创建Serverless版事件流”,然后单击左上角图标,输入事件流名称和描述,完成后单击“确定”。 请参考配置分布式消息服务 Kafka版,配置事件源。 配置事件目标。 单击“事件目标”,右侧弹出“事件目标”弹窗。 目标服务选择“分布式消息服务
RocketMQ版事件源 登录事件网格控制台。 在左侧导航栏选择“事件流 > Serverless版事件流”,进入“Serverless版事件流”页面。 单击“创建Serverless版事件流”,然后单击左上角图标,输入事件流名称和描述,完成后单击“确定”。 单击“事件源”,弹出“配置事件源”对话框。
配置专享版事件流作业 登录事件网格控制台,本章节以配置Kafka事件流作业为例介绍。 在左侧导航栏选择“事件流>专享版事件流作业”,进入“专享版事件流作业”页面。 图1 专享版事件流作业页面 先停用事件流作业,再单击操作列“修改配置”按钮,进入“基础配置”页面,此处只能修改“作业名称”和“描述”。
选择已创建的集群,如未创建,请参见专享版事件流集群。 作业名称 请输入作业名称。 场景类型 当前默认为同步。 描述 请输入对本作业的描述。 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。 图3 源数据和目标数据配置 表2 源数据和目标数据配置参数说明 参数 说明 配置类型
前提条件 业务有自己的源Kafka和目标Kafka。 源Kafka和目标Kafka实例支持的版本:目前支持2.7及以上,后续支持版本会持续更新。 源Kafka和目标Kafka实例的规格、存储空间需保持一致。 确保vpc、子网、kafka等资源充足。 确保源端和目标端实例与用户创建事件流集群时选择的VPC网络互通。
在左侧导航栏选择“事件流 > Serverless版事件流”,右上角单击“创建Serverless版事件流”。 左上角单击,配置事件流名称和描述,完成后单击“确定”。 配置Kafka事件源。 单击“事件源”,右侧弹出“事件源”弹窗。 事件提供方选择“分布式消息服务 Kafka版”。 设置事件源参数。 图1
事件源选择为“分布式消息服务 Kafka版”。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流 > Serverless版事件流”,进入“Serverless版事件流”页面。 单击“创建Serverless版事件流”,然后单击左上角图标,输入事件流名称和描述,完成后单击“确定”。 请参考配置分布式消息服务
分布式消息服务RocketMQ版 本章节介绍在控制台添加分布式消息服务RocketMQ版自定义事件源的方法。 前提条件 (可选)创建自定义事件源前,需要先创建自定义事件通道。 已购买分布式消息服务RocketMQ版实例,实例中已创建Topic,且实例状态处于“运行中”。具体步骤,请参考购买实例。
已创建函数,函数以Python3.9运行时为例介绍。 创建Serverless版事件流 登录事件网格控制台,左侧导航栏选择“事件流 > Serverless版事件流”,右上角单击“创建 Serverless版事件流”。 左上角单击,配置事件流名称和描述,完成后单击“确定”。 配置RocketMQ事件源。
分布式消息服务RabbitMQ版 本章节介绍在控制台添加分布式消息服务RabbitMQ版自定义事件源的方法。 分布式消息服务RabbitMQ版当前支持局点:上海一、上海二、北京四、华北-乌兰察布一、华南-广州。 前提条件 (可选)创建自定义事件源前,需要先创建自定义事件通道。 已