检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于Serverless版事件流实现Kafka实例之间的数据同步 本文介绍如何应用事件网格EventGrid的Serverless版事件流功能实现分布式消息服务Kafka版实例间的数据同步。
当事件目标选择“分布式消息服务 Kafka版”时: 目标连接:选择目标连接,需要提前创建分布式消息服务Kafka版目标连接。 Topic:选择消息Topic,需要提前创建。 启用消息Key:是否启用消息key。 类型:消息Key的转换类型。
入门指导 开通事件网格服务并授权 华为云服务事件发送流程 自定义事件发送流程 05 实践 弹性云服务器(Elastic Cloud Server)是一种可随时自动获取、计算能力可弹性伸缩的云服务器。
SDK 事件网格 事件网格(EventGrid,简称EG)是华为云提供的一款Serverless事件总线服务,支持华为云服务、自定义应用、SaaS应用以标准化、中心化的方式接入事件网格,通过标准化的CloudEvents协议在这些应用之间以灵活方式路由事件,帮助您轻松构建松耦合、分布式的事件驱动架构
请参考配置分布式消息服务 Kafka版,配置事件源。 配置事件目标。 单击“事件目标”,右侧弹出“事件目标”弹窗。 目标服务选择“FunctionGraph(函数计算)”。 设置事件目标参数。
RabbitMQ版”或“分布式消息服务RocketMQ版”,消息转换为CloudEvents格式事件后,data字段下将包含context字段,在创建事件订阅-配置事件目标,规则类型配置为“变量”时,规则必须包含context字段,示例如下: 转换前的事件 转换类型 转换后的事件
当事件目标选择“分布式消息服务 Kafka版”时: 目标连接:选择目标连接,需要提前创建分布式消息服务Kafka版目标连接。 Topic:选择消息Topic,需要提前创建。 启用消息Key:是否启用消息key。 类型:消息Key的转换类型。
在OBS目标桶查看对象是否已完成同步 该数据同步功能默认同步后路径一致,在目标桶桶目录下查看文件是否同步成功: 图1 目标桶目录 父主题: 实施步骤
创建EG事件订阅 约束与限制 对象名前缀、对象名后缀填写时,对象文件格式必须都符合才能触发事件,当前后缀为空时,任意对象文件都符合。 创建事件订阅时,如果选择的OBS桶有被其他事件订阅调用,请确保当前桶的对象名前缀和后缀与其他事件订阅中配置的对象名前缀和后缀不一致。
参考上传文件,在桶的根目录下上传打包的ZIP文件。 在OBS中单击上传的对象,可以复制链接地址,此地址即为客户端SDK地址。
在“代码”页签,代码选择“上传自ZIP文件”,上传样例代码中的程序包。
请联系管理员 400 EGS.00516016 压缩包中找不到证书文件。 压缩包中找不到证书文件。 请检查压缩包内容,确保证书文件存在 400 EGS.00516017 文件个数超过最大限制。 文件个数超过最大限制。
在事件列表页面,您还可以导出操作记录文件和刷新列表。 单击“导出”按钮,云审计服务会将查询结果以CSV格式的表格文件导出,该CSV文件包含了本次查询结果的所有事件,且最多导出5000条信息。 单击按钮,可以获取到事件操作记录的最新信息。
例如在桶名为test_zzy的OBS源桶中上传“test930.png”文件,目录为“success”。 图2 OBS桶列表 父主题: 实施步骤
Kafka同步Kafka 当前仅支持华南-广州、华东-上海一。 约束与限制 “迁移”场景类型需开通白名单,使用前请提交工单申请。 前提条件 业务有自己的源Kafka和目标Kafka。 源Kafka和目标Kafka实例支持的版本:目前支持2.7及以上,后续支持版本会持续更新。 源Kafka
华为云服务事件发送流程 本章节介绍华为云服务事件发送的整个流程。 华为云对象存储服务(Object Storage Service,简称OBS)作为云服务事件源将产生的云服务事件发送到事件网格,事件规则对云服务事件进行过滤和转换,通过转换后的事件触发事件目标(即函数工作流服务中的函数
DCS同步DCS 约束与限制 当前创建DCS的专业版事件流作业仅支持华南-广州且需开通白名单,使用前请提交工单申请。 “迁移”场景类型仅支持白名单用户。 前提条件 业务有自己的源DCS和目标DCS。 确保vpc、子网、DCS等资源充足。 DCS实例仅支持5.0的版本的单机,主备和Cluster
项目和企业项目 项目 IAM中的项目用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。用户拥有的资源必须挂载在项目下,项目可以是一个部门或者项目组。一个账户中可以创建多个项目。 企业项目 企业管理中的企业项目是对多个资源进行分组和管理,在目标区域中同一类型的资源可以划分到一个企业项目中
专业版事件流概述 事件网格(EventGrid,简称EG)专业版事件流作为易用、稳定、高效的数据同步管道连接不同的系统与服务,支持中间件数据在线实时同步。事件流围绕云中间件,降低了中间件之间数据流通的复杂性,有效地帮助您减少数据传输的成本。适用于上云、跨云、云内跨地域中间件数据搬迁和备份容灾等场景
创建OBS源桶和目标桶 登录OBS控制台。 单击“创建桶”,进入“创建桶”页面。 设置桶参数。关于桶参数的详细介绍,请参考创建桶。 表1 桶参数配置 参数 说明 区域 事件网格与所在区域保持一致。 桶名称 输入示例如“eg-test”。 默认存储类别 按需选择。 桶策略 按需选择。