检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rocketMQ类型事件源 source_community_rocketmq SourceCommunityMQParameters object 社区版rocketMQ类型事件源 source_dms_rocketmq SourceDMSMQParameters object 华为云
rocketMQ类型事件源 source_community_rocketmq SourceCommunityMQParameters object 社区版rocketMQ类型事件源 source_dms_rocketmq SourceDMSMQParameters object 华为云
object 事件规则,包括过滤规则和转换规则 option 否 RunOption object 运行时配置信息 表4 EventStreamingSource 参数 是否必选 参数类型 描述 source_kafka 否 SourceKafkaMQParameters object 华为云
应用场景 迁移 支持通过多种网络链路,实现跨云平台数据同步、云下数据同步上云或云上跨Region的数据同步等多种业务场景。适用于业务割接期数据的整体搬迁上云,支持短期单向同步。 特点:通过增量同步技术,业务运行中可以完成数据库同步,同步不影响业务。 同步 实现数据源之间的数据实时同步
方案概述 本文介绍如何通过事件网格服务的事件订阅和函数服务实现OBS桶的数据同步。 方案架构 本实践事件订阅架构图如下所示: 图1 事件订阅架构图 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题
操作流程 前提条件 已开通事件网格服务并授权。 已开通函数服务并授权。 已开通OBS服务并授权。 已在OBS开通白名单(联系OBS服务)。 实践流程 创建事件订阅和事件路由流程如下图所示: 图1 流程图 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
背景信息 事件流作为一种更为实时、轻量和高效的端到端的流式数据处理通道,对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标。源端分布式消息Kafka版生产的消息可以通过事件流这个通道被路由到目标端的分布式消息Kafka版,无需定义事件网格。详情请参见事件流概述。 父主题: 基于
前提条件 已开通事件网格服务并授权。 已购买Kafka实例。 已创建分布式消息Kafka版类型的目标连接,具体方式请参考目标连接。 单条消息不超过256KB。 公测期间无商用SLA承诺。 当前暂不支持跨Region、Kafka-OBS(规划中)。 云上云下、跨云厂商需用户侧拉专线。
目标连接 用户既可以通过default目标连接来连接公网webhook,也可以通过对应虚拟私有云和子网的目标连接来连接私网webhook。 支持添加分布式消息服务Kafka版作为目标连接。 Webhook就是客户端或者代理客户端提供一个webhook的url,服务器有新数据时就往url
在OBS目标桶查看对象是否已完成同步 该数据同步功能默认同步后路径一致,在目标桶桶目录下查看文件是否同步成功: 图1 目标桶目录 父主题: 实施步骤
创建FG函数 本章节提供实现图片压缩功能的程序包,使用空白模板创建函数,样例代码请参见使用函数压缩图片。 创建函数(创建函数的时候,必须选择包含OBS访问权限的委托,否则不能使用OBS服务)。 登录函数工作流控制台,在左侧导航栏选择“函数 > 函数列表”,进入函数列表界面。 单击“
支持地域 支持在分布式消息服务Kafka版之间创建事件流的地域有:华东-上海一、华东-上海二、华北-北京四、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
实施及验证 源端配置操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流 > Serverless版事件流”,右上角单击“创建Serverless版事件流”。 左上角单击,配置事件流名称和描述,完成后单击“确定”。 配置Kafka事件源。 单击“事件源”,右侧弹出“事件源”弹窗
死信队列 概述 启用死信队列后EG会把处理失败的事件发送到配置的队列中,若不启用则处理失败的事件将被丢弃。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件订阅”,进入“事件订阅”页面。 单击“创建事件订阅”。 单击“事件目标”。 在弹窗中选择“事件目标”。 启用“死信队列”
在事件追踪中查看事件投递信息 在EG控制台界面,单击“事件通道”中对应的事件通道的“事件轨迹”可以看到该事件的投递详情和事件详情: 界面入口: 图1 界面入口 事件详情: 图2 事件详情 事件轨迹: 图3 事件轨迹 父主题: 实施步骤
在CTS事件列表查看云审计事件 操作场景 用户进入云审计服务创建管理类追踪器后,系统开始记录云服务资源的操作。在创建数据类追踪器后,系统开始记录用户对OBS桶中数据的操作。云审计服务管理控制台会保存最近7天的操作记录。 云审计控制台对用户的操作事件日志保留7天,过期自动删除,不支持人工删除
创建OBS桶 登录OBS控制台。 单击“创建桶”,进入“创建桶”页面。 参考图1,设置桶参数。关于桶参数的详细介绍,请参考创建桶。 区域:与事件网格所在区域保持一致 桶名称:输入示例如“eg-obs” 默认存储类别:选择“标准存储” 桶策略:选择“私有” 默认加密:不勾选 归档数据直读
Serverless版事件流概述 事件流对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标,是一种更为实时、轻量和高效的端到端的流式数据处理场景。 图1 事件流示意图 EG事件流目前处于公测阶段,欢迎您试用和体验相关的功能。 父主题: 事件流
相关概念 事件 状态发生改变的数据记录。 事件源 事件的来源,负责生产事件。 事件目标 事件的处理终端,负责消费事件。 事件通道 事件的中转站,负责接收来自事件源的事件。 事件规则 事件发送到事件网格后,会根据事件规则进行过滤,满足规则的事件才会被路由发送到对应的事件目标。
创建事件路由 事件路由概述 事件路由基于SmartConnect实现能力同步数据的同步。 前提条件 业务有自己的源kafka和目标kafka。 需要给EG授权,第一次进入EG时,会自动为用户创建名为EG_EVENT_ROUTER_AGENCY的授权。 确保vpc、子网、kafka等资源充足