正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在OBS目标桶查看对象是否已完成同步 该数据同步功能默认同步后路径一致,在目标桶桶目录下查看文件是否同步成功: 图1 目标桶目录 父主题: 实施步骤
基于事件流实现Kafka实例之间的数据同步 本文介绍如何应用事件网格EventGrid的事件流功能实现分布式消息服务Kafka版实例间的数据同步。 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。 前提条件
支持地域 支持在分布式消息服务Kafka版之间创建事件流的地域有:华东-上海一、华东-上海二、华北-北京四、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题: 基于事件流实现Kafka实例之间的数据同步
基于EventGrid事件订阅和Function实现OBS桶数据同步 方案概述 操作流程 实施步骤
方案概述 本文介绍如何通过事件网格服务的事件订阅和函数服务实现OBS桶的数据同步。 方案架构 本实践事件订阅架构图如下所示: 图1 事件订阅架构图 当前事件网格服务仅支持华北-北京四、华北-乌兰察布一、华东-上海一、华东-上海二、华南-广州、亚太-新加坡、拉美-墨西哥城二。 父主题:
时拉取、过滤及转换,并路由至事件目标。源端分布式消息Kafka版生产的消息可以通过事件流这个通道被路由到目标端的分布式消息Kafka版,无需定义事件网格。详情请参见事件流概述。 父主题: 基于事件流实现Kafka实例之间的数据同步
前提条件 已开通事件网格服务并授权。 已开通函数服务并授权。 已开通OBS服务并授权。 已在OBS开通白名单(联系OBS服务)。 实践流程 创建事件订阅和事件路由流程如下图所示: 图1 流程图 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
单击“事件目标”,右侧弹出“事件目标”弹窗。 目标服务选择“分布式消息服务 Kafka版”。 设置事件目标参数。 图2 分布式消息服务 Kafka版 表2 分布式消息服务 Kafka版参数说明 参数名称 说明 目标连接 选择目标连接。如果还未创建目标连接,请先创建分布式消息服务Kafka版目标连接。 Topic
创建EG事件订阅 发送OBS事件 在事件追踪中查看事件投递信息 在函数服务的监控中查看代码执行详情 在OBS目标桶查看对象是否已完成同步 父主题: 基于EventGrid事件订阅和Function实现OBS桶数据同步
前提条件 已开通事件网格服务并授权。 已购买Kafka实例。 已创建分布式消息Kafka版类型的目标连接,具体方式请参考目标连接。 单条消息不超过256KB。 公测期间无商用SLA承诺。 当前暂不支持跨Region、Kafka-OBS(规划中)。 云上云下、跨云厂商需用户侧拉专线。
参数配置说明 参数 说明 选择提供方 请选择“华为云”。 事件目标 请选择“FunctionGraph(函数计算)”。 函数 选择创建的OBS数据同步的函数。 版本 按需选择。 执行方式 按需选择。 委托 选择委托。如无委托,可单击旁边的“创建委托”进行创建,将会创建名为“EG_TARGET_AGENCY”委托。
发送OBS事件 目前支持的事件类型。 图1 支持类型 事件类型中描述的事件(如上传、覆盖),在OBS中触发后,根据事件订阅中事件类型的选择,可对该事件进行路由传递。例如在桶名为test_zzy的OBS源桶中上传“test.txt”文件,目录为“success”。 图2 OBS桶列表
本章节提供实现图片压缩功能的程序包,使用空白模板创建函数,样例代码请参见使用函数压缩图片。 创建函数(创建函数的时候,必须选择包含OBS访问权限的委托,否则不能使用OBS服务)。 登录函数工作流控制台,在左侧导航栏选择“函数 > 函数列表”,进入函数列表界面。 单击“创建函数”,进入创建函数流程。 填写函数配置
创建OBS源桶和目标桶 登录OBS控制台。 单击“创建桶”,进入“创建桶”页面。 设置桶参数。关于桶参数的详细介绍,请参考创建桶。 表1 桶参数配置 参数 说明 区域 事件网格与所在区域保持一致。 桶名称 输入示例如“eg-test”。 默认存储类别 按需选择。 桶策略 按需选择。
在函数服务的监控中查看代码执行详情 在“函数列表”中找到进行数据同步的函数: 图1 函数列表 单击监控中对应的请求查看代码日志: 图2 代码日志 父主题: 实施步骤
在事件追踪中查看事件投递信息 在EG控制台界面,单击“事件通道”中对应的事件通道的“事件轨迹”可以看到该事件的投递详情和事件详情: 界面入口: 图1 界面入口 事件详情: 图2 事件详情 事件轨迹: 图3 事件轨迹 父主题: 实施步骤
Topics 选择“正则表达式”或“输入/选择”。 说明: 当选择“正则表达式”时需在下方输入表达式。 同步消费进度 请选择是否打开。 说明: 打开后会将消息消费进度同步到目标Kafka。 当前同步的进度有100以内的误差。 副本数 请配置副本数。 说明: 自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。
请输入Tag。 说明: 表示订阅指定Topic下的Tags。 * 表示订阅所有消息。 TagA || TagB || TagC 表示订阅TagA或TagB或TagC的消息。 开启保存消息轨迹 请选择是否开启保存消息轨迹。 启用鉴权认证 请选择是否启用鉴权认证。 Access Key(启用鉴权认证)
设备接入服务 IoTDA 分布式消息服务 DMS 知识图谱 KG IoT边缘 IoTEdge 云日志服务 LTS 编译构建 CloudBuild 对象存储迁移服务 OMS 云备份服务 CBR 消息&短信服务 MSGSMS 弹性公网IP EIP 云审计服务 CTS 云搜索服务 CSS
Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth