检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持地域 支持在分布式消息服务Kafka版之间创建事件流的地域有:华东-上海一、华东-上海二、华北-北京四、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题: 基于Serverless版事件流实现Kafka实例之间的数据同步
基于Serverless版事件流实现Kafka实例之间的数据同步 本文介绍如何应用事件网格EventGrid的Serverless版事件流功能实现分布式消息服务Kafka版实例间的数据同步。 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。
前提条件 已开通事件网格服务并授权。 已购买Kafka实例。 已创建分布式消息Kafka版类型的目标连接,具体方式请参考目标连接。 单条消息不超过256KB。 公测期间无商用SLA承诺。 当前暂不支持跨Region、Kafka-OBS(规划中)。 云上云下、跨云厂商需用户侧拉专线。
如果源端kafka和目标端kafka在不同vpc里,但是他们的broker地址存在重叠,这种情况任务也会失败,规避方式是让用户用一个新的vpc打通其中一个kafka的网络,保障源端和目标端的地址不重叠。 创建任务成功后,会生成mm2开头的Topic,此为运行任务资源所需,请勿删除,若删除此任务后,则Topic可删除。
创建事件订阅 登录事件网格控制台。 在左侧导航栏选择“事件订阅”,进入“事件订阅”页面。 单击“创建事件订阅”,进入订阅详情页。 单击订阅名称旁的,弹出“修改订阅”弹窗。 输入订阅名称和描述信息,单击“确定”,完成订阅名称和描述信息输入。 配置事件源。 配置如下事件源参数: 选择提供方:华为云
请选择公网或私网。 地址 请输入地址。 客户端SDK 请输入客户端SDK上传到OBS的地址。 说明: 客户端SDK上传到OBS的地址获取方式可参考常见问题。 消费超时时间(毫秒) 请输入1000到900000之间的整数。 消息类型 请选择普通消息。 消费线程数 请输入20到64之间的整数。 批量消费最大消息数
先停用事件流作业,再单击操作列“修改配置”按钮,进入“基础配置”页面,此处只能修改“作业名称”和“描述”。 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。 图2 源数据和目标数据配置 表1 源数据目标数据配置参数是否支持修改说明 参数 是否支持修改 配置类型 否。 实例别名
myhuaweicloud.com”。 SOURCE:即事件源名称,修改为步骤四中配置事件源时记录的“Filter”中“values”值。 TIME:修改事件产生的时间。 DATA:根据实际情况修改,事件内容遵循CloudEvents 1.0规范。 运行发布事件的main函数。 步骤六:查看结果 登录函数工作流控制台。
新增预校验指定事件源发布事件成功接口。 新增查询事件通道监控指标数据接口。 新增查询事件订阅监控指标数据接口。 更新查询事件订阅列表接口名称为查询单个函数的EG触发器接口。 新增查询单个函数流的EG触发器接口。 新增EG.00513002、EG.00513003、EG.00513006、EG.00512002、EG
Array of links objects url地址 version String 若该版本API支持微版本,则为支持的最大微版本号,如果不支持微版本,则为空 min_version String 若该版本API支持微版本,则为支持的最小微版本号,如果不支持微版本,则为空 status
定义事件通道的创建。 事件通道创建成功后,在“自定义事件通道”区域查看创建的自定义事件通道。 如果需要修改自定义事件通道的描述信息,单击待修改事件通道后的“编辑”,在弹出的对话框中编辑描述信息。 如果需要查看自定义事件通道的信息,单击待查看信息的事件通道名称,在弹出的对话框中查看自定义事件通道信息。
py文件中定义的存放输出图片的OBS桶参数值your-bucket-output, 创建OBS桶中创建的存放输出图片OBS桶。 添加依赖包。 示例代码依赖pillow包,需要通过依赖包的形式进行引入,步骤如下: 进入创建的函数的详情页,在“代码”页签,单击页面最底部的“添加依赖包”。
SASL认证机制 枚举值: SCRAM-SHA-512 PLAIN ssl_certificate_url String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd String SASL证书密码 最小长度:1 最大长度:256
SASL认证机制 枚举值: SCRAM-SHA-512 PLAIN ssl_certificate_url String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd String SASL证书密码 最小长度:1 最大长度:256
SASL认证机制 枚举值: SCRAM-SHA-512 PLAIN ssl_certificate_url 否 String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd 否 String SASL证书密码 最小长度:1 最大长度:256
SASL认证机制 枚举值: SCRAM-SHA-512 PLAIN ssl_certificate_url 否 String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd 否 String SASL证书密码 最小长度:1 最大长度:256
根据默认值配置,无需修改。配置过滤规则请参考过滤规则参数说明。 对象名前缀、对象名后缀填写时,对象文件格式必须都符合才能触发事件,当前后缀为空时,任意对象文件都符合。 创建事件订阅时,如果选择的OBS桶有被其他事件订阅调用,请确保当前桶的对象名前缀和后缀与其他事件订阅中配置的对象名前缀和
事件流作业”页面。 图1 专享版事件流作业页面 单击操作列“停用”或选中多个事件流作业后单击“批量修改状态 > 停用”按钮,弹出停用事件流作业成功的弹窗时,即完成专享版事件流作业的停用。 父主题: 专享版事件流作业
一致则提示告警。 原因:源端实例和目标端实例的版本不一致,请检查源端实例和目标端实例的版本。 解决方式:检查配置专享版事件流作业的第二步,即“源和目标对象配置”页面中配置的源端和目标端RocketMQ实例的版本是否一致,若不一致,请修改源端或者目标端实例,使二者保持一致。 源端连通性检查
事件流作业”页面。 图1 专享版事件流作业页面 单击操作列“启用”或选中多个事件流作业后单击“批量修改状态 > 启用”按钮,弹出启用事件流作业成功的弹窗时,即完成专享版事件流作业的启用。 父主题: 专享版事件流作业