检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案概述 本文介绍如何通过事件网格服务的事件订阅和函数服务实现OBS桶的数据同步。 方案架构 本实践事件订阅架构图如下所示: 图1 事件订阅架构图 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题:
本章节介绍在事件流里添加社区版RocketMQ事件源的方法。 目前支持RocketMQ的开源版本:4.9.7/5.1.4。 前提条件 已有社区版RocketMQ集群实例。 当源端为社区版RocketMQ时,目标端只支持选择FunctionGraph(函数计算)。 创建社区版RocketMQ事件源
事件网格(EventGrid,简称EG)是华为云提供的一款Serverless事件总线服务,支持华为云服务、自定义应用、SaaS应用以标准化、中心化的方式接入事件网格,通过标准化的CloudEvents协议在这些应用之间以灵活方式路由事件,帮助您轻松构建松耦合、分布式的事件驱动架构。 发布区域:华北-北京四、华东-上海一、华东-上海二
事件订阅将事件源、事件通道和事件目标绑定在一起,通过事件规则将事件源发出的事件路由到事件目标。 事件流 事件流对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标,是一种更为实时、轻量和高效的端到端的流式数据处理场景。 资源管理 事件网格提供以下资源管理能力: 管理自定义事件源
Serverless版事件流概述 事件流对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标,是一种更为实时、轻量和高效的端到端的流式数据处理场景。 图1 事件流示意图 EG事件流目前处于公测阶段,欢迎您试用和体验相关的功能。 父主题: 事件流
左上角单击,配置事件流名称和描述,完成后单击“确定”。 配置RocketMQ事件源。 配置事件规则,本案例使用默认配置,如需其他规则请根据实际情况配置。 配置函数计算事件目标。 其中“规则配置”中的“类型”参数选择“变量”,“参数”及“模板”示例如下: 参数: { "message": "$.data.context"
说明: 当开启ACL访问控制时,需要配置用户名及密钥。 确保创建的RocketMQ实例和配置RocketMQ事件源二者的“ACL访问控制”开关状态保持一致。 tag 请输入tag。 消费超时时间(毫秒) 请输入1000到900000之间的整数。 消费方式 请选择“并发消费”或“顺序消费”。
创建EG事件订阅 发送OBS事件 在事件追踪中查看事件投递信息 在函数服务的监控中查看代码执行详情 在OBS目标桶查看对象是否已完成同步 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
您可以通过发布事件功能,调试事件订阅中事件源、事件通道、事件目标是否已是连通状态,已配置的事件规则是否生效,事件是否成功发送到事件目标。 前提条件 已创建自定义事件通道 已创建自定义应用事件源 已设置事件目标,并基于上述内容创建事件订阅 操作步骤 登录事件网格控制台。 在左侧导
对应虚拟私有云和子网的目标连接来连接私网webhook。 支持添加分布式消息服务Kafka版作为目标连接。 Webhook就是客户端或者代理客户端提供一个webhook的url,服务器有新数据时就往url推送数据,客户端通过探测随时更新数据。 Webhook的url,需支持tls1
已在OBS开通白名单(联系OBS服务)。 实践流程 创建事件订阅和事件路由流程如下图所示: 图1 流程图 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
密码:Kafka实例开启SSL时需要填写。连接Kafka专享版实例的密码。 单击“确定”,完成kafka触发器的创建。 单击“启用”,启用kafka触发器。 图4 启用Kafka触发器 编写死信数据的处理逻辑。 图5 死信数据处理逻辑编写 配置测试事件。 单击“配置测试事件”,下拉框中单击“配置测试事件”。 选择
单击“创建桶”,进入“创建桶”页面。 设置桶参数。关于桶参数的详细介绍,请参考创建桶。 表1 桶参数配置 参数 说明 区域 事件网格与所在区域保持一致。 桶名称 输入示例如“eg-test”。 默认存储类别 按需选择。 桶策略 按需选择。 默认加密 按需选择。 归档数据直读 按需选择。 企业项目 按需选择。
在OBS目标桶查看对象是否已完成同步 该数据同步功能默认同步后路径一致,在目标桶桶目录下查看文件是否同步成功: 图1 目标桶目录 父主题: 实施步骤
py文件中定义的存放输出图片的OBS桶参数值your-bucket-output, 创建OBS桶中创建的存放输出图片OBS桶。 添加依赖包。 示例代码依赖pillow包,需要通过依赖包的形式进行引入,步骤如下: 进入创建的函数的详情页,在“代码”页签,单击页面最底部的“添加依赖包”。
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费EG的计费规则。 适用场景 按需计费适用于事件网格对事件进行过滤、路由和转化。 适用计费项 事件网格实际费用是由事件流入的数量构成,计费项按需计费说明请参见表1。 表1 计费项说明
事件是符合特定规范的数据。事件源发布到事件网格的事件必须符合CloudEvents规范。 事件网格支持的事件如下。 华为云服务事件:华为云服务事件源产生的事件。 自定义事件:您自定义的事件源接入事件网格产生的事件。您需要自行使用SDK接入事件网格。 事件示例 事件源发布到事件网格的事件示例如下:
打开后会将消息消费进度同步到目标Kafka。 当前同步的进度有100以内的误差。 副本数 请配置副本数。 说明: 自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。 启动偏移量 请选择为“最早”或“最新”。 压缩算法 请选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。
开启后OBS会对事件的对象名进行编码。 过滤规则 输入事件过滤规则。 事件源产生的事件与过滤规则进行匹配,匹配成功后事件才会被路由到与过滤规则关联的事件目标。如果需要了解更多过滤规则的信息,请参考过滤规则参数说明和过滤规则示例。 如果“事件源”选择“OBS应用事件源”,需用户的华为云账号添加“Tenant
始记录云服务资源的操作。在创建数据类追踪器后,系统开始记录用户对OBS桶中数据的操作。云审计服务管理控制台会保存最近7天的操作记录。 云审计控制台对用户的操作事件日志保留7天,过期自动删除,不支持人工删除。 本节介绍如何在云审计服务管理控制台查看或导出最近7天的操作记录: 在新版事件列表查看审计事件