检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于Serverless版事件流实现Kafka实例之间的数据同步 本文介绍如何应用事件网格EventGrid的Serverless版事件流功能实现分布式消息服务Kafka版实例间的数据同步。 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。
资源和成本规划 本实践涉及到的资源和成本规划,如下表所示。 表1 资源和成本规划 资源 资源说明 数量 费用(元) 虚拟私有云VPC 创建一个虚拟私有云VPC。 1 00.00 虚拟私有云子网 创建一个虚拟私有云子网。 1 00.00 安全组 创建一个安全组。 1 00.00 对象存储服务OBS
同账号下是下拉列表选择通道,且不能选择同一通道和default通道。 跨账号输入ID时不能输入同一通道ID和default通道ID,否则事件不通。 如果当前通道没有关联订阅,发布到该通道的消息将无法消费,所以需要新增订阅,下游事件订阅的事件源和上游订阅的事件源名称保持一致,且下游的事件源必须是自定义事件源。
事件通道负责接收来自事件源的事件。 事件网格支持的事件通道如下: 云服务事件通道:由事件网格自动创建、且不可修改的一条默认的云服务事件通道,用于接收云服务事件源产生的事件。云服务事件源产生的事件只能发布到云服务事件通道。 自定义事件通道:您自行创建的事件通道,用于接收自定义事件源产生的事件。 约束与限制
创建自定义事件源失败的原因? 创建分布式消息服务RabbitMQ版或分布式消息服务RocketMQ版事件源其状态为“创建失败”或“异常”,可能是以下原因导致: 未创建私网访问端点。 检查是否创建所需私网访问端点,其VPC及子网需要与RabbitMQ或RocketMQ实例配置相同,具体步骤,请参考创建私网访问端点。
endpoint_service_id String 访问端点的服务ID endpoint_service_name String 访问端点的服务名称 marker_id String 访问端点的终端节点的报文ID id String 访问端点的终端节点ID ip String 访问端点的终端节点IP created_time
X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 最小长度:1 最大长度:16384 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 agencies Array
查看事件消息 登录分布式消息服务Kafka版控制台,选择Kafka实例所在的区域。 在“Kafka专享版”页面,单击Kafka实例的名称“eg-kafka”,进入实例详情页面。 选择“消息查询”页签,在消息页签页面,设置查询的Topic名称“topic-eg”、分区以及查询方式。 单击“搜索”,查询消息。
endpoint_service_id String 访问端点的服务ID endpoint_service_name String 访问端点的服务名称 marker_id String 访问端点的终端节点的报文ID id String 访问端点的终端节点ID ip String 访问端点的终端节点IP created_time
X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 最小长度:1 最大长度:16384 表3 请求Body参数 参数 是否必选 参数类型 描述 type 是 String 服务委托应用场景类型
密码:填写密码 默认密码:确认密码 单击“立即购买”,完成Kafka实例的创建。 创建Topic 登录分布式消息服务Kafka版控制台,选择Kafka实例所在的区域。 在“Kafka专享版”页面,单击已创建的Kafka实例的名称,进入实例详情页面。 在“Topic管理”页签,单击“创建T
M以上的请求请使用Token认证。 使用AK/SK认证时,签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,
endpoint_service_id String 访问端点的服务ID endpoint_service_name String 访问端点的服务名称 marker_id String 访问端点的终端节点的报文ID id String 访问端点的终端节点ID ip String 访问端点的终端节点IP created_time
8 请下载1.4.0版本的 Java SDK 将jar包打包成zip文件 参考创建桶,创建一个OBS桶,桶的区域与EG服务的区域保持一致,其“桶策略”需为“公共读”或“公共读写”。 参考上传文件,在桶的根目录下上传打包的ZIP文件。 在OBS中单击上传的对象,可以复制链接地址,此地址即为客户端SDK地址。
停止计费 事件网格EG只有在您发送事件时才会产生费用,如您停止事件的发送,则不会产生费用。 通过账单查找云服务资源并停止计费 为了确保所有计费资源都能够被找到并删除,您可以在费用账单中获取计费资源的ID,通过这些ID信息找到具体的资源,然后将其删除。具体操作如下: 登录管理控制台,在顶部菜单栏中选择“费用
实施步骤 创建OBS源桶和目标桶 创建FG函数 创建EG事件订阅 发送OBS事件 在事件追踪中查看事件投递信息 在函数服务的监控中查看代码执行详情 在OBS目标桶查看对象是否已完成同步 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
查询事件目标分类 功能介绍 查询预置的事件目标分类,获取每个事件目标分类的字段定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project
操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流”,进入“事件流”页面。 单击“创建事件流”。 在弹窗中输入事件流名称和描述,单击“确定”,完成事件流名称和描述信息输入。 配置事件源。 单击“事件源”,右侧弹出“事件源”弹窗。 选择事件源提供方。 设置事件源参数。 完成后单击“下一步”。
了数据备份的可用性。支持选项: acks=0:表示producer不需要等待任何确认收到的信息,副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据,同时重试配置不会发生作用(因为客户端不知道是否失败)回馈的offset会总是设置为-1。
py文件中定义的存放输出图片的OBS桶参数值your-bucket-output, 创建OBS桶中创建的存放输出图片OBS桶。 添加依赖包。 示例代码依赖pillow包,需要通过依赖包的形式进行引入,步骤如下: 进入创建的函数的详情页,在“代码”页签,单击页面最底部的“添加依赖包”。