检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标端topic的“消息体”。 图3 目标端消息 图4 源端消息 如消息一致,则Kafka实例间的数据同步成功。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
参数配置说明 参数 说明 选择提供方 请选择“华为云”。 事件目标 请选择“FunctionGraph(函数计算)”。 函数 选择创建的OBS数据同步的函数。 版本 按需选择。 执行方式 按需选择。 委托 选择委托。如无委托,可单击旁边的“创建委托”进行创建,将会创建名为“EG_TARGET_AGENCY”委托。
络配置是否正确。 解决方案: 进入RocketMQ的控制台页面,检查源端实例状态是否正常。 检查事件流集群创建页面中配置的vpc和子网是否与源端RocketMQ实例网络畅通。 原因二:无法连接源端RocketMQ实例,请检查填写的实例信息是否正确。 解决方案: 进入RocketM
创建FG函数 本章节提供实现图片压缩功能的程序包,使用空白模板创建函数,样例代码请参见使用函数压缩图片。 创建函数(创建函数的时候,必须选择包含OBS访问权限的委托,否则不能使用OBS服务)。 登录函数工作流控制台,在左侧导航栏选择“函数 > 函数列表”,进入函数列表界面。 单击“创建函数”,进入创建函数流程。
云上云下、跨云厂商需用户侧拉专线。 相关监控指标 2023年9月30日上线。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
在OBS目标桶查看对象是否已完成同步 该数据同步功能默认同步后路径一致,在目标桶桶目录下查看文件是否同步成功: 图1 目标桶目录 父主题: 实施步骤
事件网格(EventGrid,简称EG)专业版事件流作为易用、稳定、高效的数据同步管道连接不同的系统与服务,支持中间件数据在线实时同步。事件流围绕云中间件,降低了中间件之间数据流通的复杂性,有效地帮助您减少数据传输的成本。适用于上云、跨云、云内跨地域中间件数据搬迁和备份容灾等场景,为企业上云和容灾业务连续性
事件网格与所在区域保持一致。 桶名称 输入示例如“eg-test”。 默认存储类别 按需选择。 桶策略 按需选择。 默认加密 按需选择。 归档数据直读 按需选择。 企业项目 按需选择。 配置完成后,单击“立即创建”,根据提示信息完成桶的创建。 以上述流程构建源桶与目标桶。 父主题: 实施步骤
单击版本号,可查看版本详情。 图4 版本详情 表1 云服务事件模型列表 标识 事件源 格式 描述 MRS:Cluster:JobAction MapReduce服务 MRS OPENAPI 3.0 MRS作业事件,仅限页面或API提交的作业。 MRS:Cluster:OperationAction
在事件追踪中查看事件投递信息 在EG控制台界面,单击“事件通道”中对应的事件通道的“事件轨迹”可以看到该事件的投递详情和事件详情: 界面入口: 图1 界面入口 事件详情: 图2 事件详情 事件轨迹: 图3 事件轨迹 父主题: 实施步骤
原因一:无法连接到源端Kafka实例,请检查网络配置是否正确。 解决方案: 进入Kafka的控制台页面,检查源端实例状态是否正常。 检查事件流集群创建页面中配置的vpc和子网是否与源端Kafka实例网络畅通。 原因二:无法连接源端Kafka实例,请检查填写的实例信息是否正确。 解决方案: 进入Kafka的控制台页面,检查源端实例状态是否正常。
支持添加分布式消息服务Kafka版作为目标连接。 Webhook就是客户端或者代理客户端提供一个webhook的url,服务器有新数据时就往url推送数据,客户端通过探测随时更新数据。 约束与限制 Webhook的url,需支持tls1.2协议和安全的加密算法。 创建目标连接成功后,不支持修改Kafka实例参数。
基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版 方案概述 资源和成本规划 操作流程 实施步骤
支持千万级事件并发。 服务可用性99.99%,采用分布式集群化部署,具备极强的容灾能力。 安全可靠 对接统一身份认证服务、云日志服务、云监控服务和云审计服务等安全管理服务,全方位保护事件的存储与访问。 持久化数据支持磁盘和用户指定密钥加密,进一步提高数据的安全性。
c,EG将无法区分事件成功与失败,不推荐您配置同一个Topic。 单击“确定”,完成死信配置。 处理死信队列数据 当数据发送到死信队列后,您可以参考以下方法,来处理死信数据。 登录函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。 单击右上方的“创建函数”,进入“创建函
云上操作后,1分钟内可以通过云审计控制台查询管理类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。 CTS新版事件列表不显示数据类审计事件,您需要在旧版事件列表查看数据类审计事件。 云审计控制台对用户的操作事件日志保留7天,过期自动删除,不支持人工删除。 在新版事件列表查看审计事件
区域:与事件网格所在区域保持一致 桶名称:输入示例如“eg-obs” 默认存储类别:选择“标准存储” 桶策略:选择“私有” 默认加密:不勾选 归档数据直读:选择“关闭” 企业项目:选择“default” 图1 创建桶 配置完成后,单击“立即创建”,根据提示信息完成桶的创建。 父主题: 实施步骤
Serverless版事件流概述 事件流对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标,是一种更为实时、轻量和高效的端到端的流式数据处理场景。 图1 事件流示意图 EG事件流目前处于公测阶段,欢迎您试用和体验相关的功能。 父主题: 事件流
相关概念 事件 状态发生改变的数据记录。 事件源 事件的来源,负责生产事件。 事件目标 事件的处理终端,负责消费事件。 事件通道 事件的中转站,负责接收来自事件源的事件。 事件规则 事件发送到事件网格后,会根据事件规则进行过滤,满足规则的事件才会被路由发送到对应的事件目标。
华为云服务事件发送流程 本章节介绍华为云服务事件发送的整个流程。 华为云对象存储服务(Object Storage Service,简称OBS)作为云服务事件源将产生的云服务事件发送到事件网格,事件规则对云服务事件进行过滤和转换,通过转换后的事件触发事件目标(即函数工作流服务中的函数)。