检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在OBS目标桶查看对象是否已完成同步 该数据同步功能默认同步后路径一致,在目标桶桶目录下查看文件是否同步成功: 图1 目标桶目录 父主题: 实施步骤
云上云下、跨云厂商需用户侧拉专线。 相关监控指标 2023年9月30日上线。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
事件网格与所在区域保持一致。 桶名称 输入示例如“eg-test”。 默认存储类别 按需选择。 桶策略 按需选择。 默认加密 按需选择。 归档数据直读 按需选择。 企业项目 按需选择。 配置完成后,单击“立即创建”,根据提示信息完成桶的创建。 以上述流程构建源桶与目标桶。 父主题: 实施步骤
支持添加分布式消息服务Kafka版作为目标连接。 Webhook就是客户端或者代理客户端提供一个webhook的url,服务器有新数据时就往url推送数据,客户端通过探测随时更新数据。 Webhook的url,需支持tls1.2协议和安全的加密算法。 创建WEBHOOK目标连接 在创建目标连接前,您需要具备VPC的服务权限。
在事件追踪中查看事件投递信息 在EG控制台界面,单击“事件通道”中对应的事件通道的“事件轨迹”可以看到该事件的投递详情和事件详情: 界面入口: 图1 界面入口 事件详情: 图2 事件详情 事件轨迹: 图3 事件轨迹 父主题: 实施步骤
在函数服务的监控中查看代码执行详情 在“函数列表”中找到进行数据同步的函数: 图1 函数列表 单击监控中对应的请求查看代码日志: 图2 代码日志 父主题: 实施步骤
Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
c,EG将无法区分事件成功与失败,不推荐您配置同一个Topic。 单击“确定”,完成死信配置。 处理死信队列数据 当数据发送到死信队列后,您可以参考以下方法,来处理死信数据。 登录函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。 单击右上方的“创建函数”,进入“创建函
云上操作后,1分钟内可以通过云审计控制台查询管理类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。 CTS新版事件列表不显示数据类审计事件,您需要在旧版事件列表查看数据类审计事件。 在新版事件列表查看审计事件 登录管理控制台。 单击左上角,选择“管理与监管管理与部署
区域:与事件网格所在区域保持一致 桶名称:输入示例如“eg-obs” 默认存储类别:选择“标准存储” 桶策略:选择“私有” 默认加密:不勾选 归档数据直读:选择“关闭” 企业项目:选择“default” 图1 创建桶 配置完成后,单击“立即创建”,根据提示信息完成桶的创建。 父主题: 实施步骤
Serverless版事件流概述 事件流对事件源产生的事件实时拉取、过滤及转换,并路由至事件目标,是一种更为实时、轻量和高效的端到端的流式数据处理场景。 图1 事件流示意图 EG事件流目前处于公测阶段,欢迎您试用和体验相关的功能。 父主题: 事件流
相关概念 事件 状态发生改变的数据记录。 事件源 事件的来源,负责生产事件。 事件目标 事件的处理终端,负责消费事件。 事件通道 事件的中转站,负责接收来自事件源的事件。 事件规则 事件发送到事件网格后,会根据事件规则进行过滤,满足规则的事件才会被路由发送到对应的事件目标。
创建事件路由 事件路由概述 事件路由基于SmartConnect实现能力同步数据的同步。 前提条件 业务有自己的源kafka和目标kafka。 需要给EG授权,第一次进入EG时,会自动为用户创建名为EG_EVENT_ROUTER_AGENCY的授权。 确保vpc、子网、kafka等资源充足。
安全可靠 对接统一身份认证服务、云日志服务、云监控服务和云审计服务等安全管理服务,全方位保护事件的存储与访问。 持久化数据支持磁盘和用户指定密钥加密,进一步提高数据的安全性。
事件 事件是符合特定规范的数据。事件源发布到事件网格的事件必须符合CloudEvents规范。 事件网格支持的事件如下。 华为云服务事件:华为云服务事件源产生的事件。 自定义事件:您自定义的事件源接入事件网格产生的事件。您需要自行使用SDK接入事件网格。 事件示例 事件源发布到事件网格的事件示例如下:
fka实例之间的数据同步 本章节介绍如何通过事件网格服务的事件流功能实现分布式消息服务Kafka版实例间的数据同步。 基于EventGrid事件订阅和Function实现OBS桶数据同步 本章节介绍如何通过事件网格服务的事件订阅和函数工作流服务实现OBS桶的数据同步。 基于Ser
监控指标管理 查询事件通道监控指标数据 查询事件订阅监控指标数据 父主题: API
产品优势 稳定运行保障 高性能、高可靠。 数据一致性 预校验、一致性校验。 立体化监测无忧运维 监控定位、故障恢复。 数据处理 ETL,边同步边处理。 降低成本 规格丰富,按需计费。 降低开发成本 开箱即用,生态丰富,无码对接。 父主题: 专业版事件流
单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。 “源数据”和“目标数据”中选择好Kafka实例后,单击“测试连通性”,检查通过后,进入步骤6。 图1 源数据和目标数据配置 表2 源数据和目标数据配置参数说明 参数 说明 配置类型 默认为“Kafka实例”。 说明:
如果您需要对您所拥有的事件网格服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用事件网格服务的其它功能。 默认情况下,新建的IAM用户没有任何权限,