检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在实例“基本信息>连接信息”页面,单击SSL证书旁的“下载”。 SSL证书将会下载到本地电脑,名字为“kafka-certs.zip”的文件。 参考创建桶,创建一个OBS桶,桶的区域与Kafka实例区域保持一致,其“桶策略”需为“公共读”或“公共读写”。 最新版的事件流支持私有桶获取证书。
请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 父主题: 如何调用API
事件发布失败的原因? 事件发布失败,可能是以下原因导致: 接口无访问权限。 检查AK/SK是否正确,如果需要重新获取AK/SK,请参考获取AK/SK。 请求鉴权失败。 检查发布事件的请求方法、请求地址和请求体与利用验签算法生成签名时的参数是否一致。 资源不存在。 请检查事件通道、
本章节介绍使用开源的CloudEvents Java SDK发布事件。 前提条件 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 在pom.xml中加入依赖。如何在Java环境中集成API请求签名的SDK请参考AK/SK签名认证操作指导。
输入并发数,输入值范围1~1000。 建议并发数与选择的Topic的分区数保持一致,如果不一致可能会影响消息消费速率。当您选择Topic时,如果并发数为空会读取您选择的Topic的分区数作为并发数。 消费点位 选择消费点位。 最新点位:将会从消息队列的最新消息开始消费。 最早点位:将会从消息队列的最早消息开始消费。
Token接口的响应值,该接口是唯一不需要认证的接口。 API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添加Authorization(签名认证信息)和X-Sdk-Date(请求发送的时间)请求头。 AK/SK认证的详细说明请参见AK/SK认证。
输入并发数,输入值范围1~1000。 建议并发数与选择的Topic的分区数保持一致,如果不一致可能会影响消息消费速率。当您选择Topic时,如果并发数为空会读取您选择的Topic的分区数作为并发数。 消费点位 选择消费点位。 最新点位:将会从消息队列的最新消息开始消费。 最早点位:将会从消息队列的最早消息开始消费。
当选择为密文接入时会显示对应的安全协议。 SASL_SSL 认证机制 Kafka实例开启SASL_SSL认证时可见,选择SASL_SSL 认证机制。 PLAIN:一种简单的用户名密码校验机制。 SCRAM-SHA-512:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。
触发器类型:选择“分布式消息服务(Kafka)”。 实例:选择与死信队列相同的Kafka实例。 主题:选择与死信队列相同的Topic。 批处理大小:每次从Topic消费的消息数量,建议设置为10。 用户名:Kafka实例开启SSL时需要填写。连接Kafka专享版实例的用户名。 密码:Kafka实例开启SSL时需
事件路由基于SmartConnect实现能力同步数据的同步。 约束与限制 事件路由公测期间免费。 如果源端kafka和目标端kafka在不同vpc里,但是他们的broker地址存在重叠,这种情况任务也会失败,规避方式是让用户用一个新的vpc打通其中一个kafka的网络,保障源端和目标端的地址不重叠。 事件路由
配置如下目标连接参数。更多创建Kafka目标连接参数的详细介绍,请参考创建目标连接。 类型:选择“分布式消息服务 Kafka版” 名称:kafka-connect 实例:选择“eg-kafka” SASL_SSL 认证机制:SCRAM-SHA-512 用户名:kafka实例的用户名“kafka-name”,
当消费点位选择自定义时,需要配置日期时间。 消费超时时间(毫秒) 请输入1000到900000之间的整数。 消息类型 默认为普通消息。 消费线程数 请输入20到64之间的整数。 批量消费最大消息数 请输入1到32之间的整数。 单击“下一步”,进入规则配置页面,规则配置可参考过滤规则参数说明。 图2
是否必选 参数类型 描述 instance_name 否 String 实例名称,仅dms的rockectMq需要该字段 最大长度:128 instance_id 否 String 实例ID,仅dms的rockectMq需要该字段 最大长度:128 addr 是 String rockectMq连接地址
00512002 agency permission required 当前账号没有创建委托的权限 请联系您的管理员为您开通创建委托的权限 403 EG.00512003 agency required 所需的委托不存在 请先创建委托 403 EG.00514003 resource quota
返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。 图4 Kafka事件流同步进展详情 表4 参数说明 参数名称 说明 Topic名称 创建Kafka实例时的Topic。 分区数 创建Topic时设置的分区数,分区数越大消费的并发度越大。
当选择“正则匹配”时需在下方输入“Topic正则”。 当选择“精确匹配”时需选择“Topics”。 副本数 是。 自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。 同步消费进度 是。 说明: 开启时表示将消息消费进度同步到目标Kafka。 启动偏移量 否。 压缩算法
置Topic的消息类型是其它类型时,则该消息类型的Topic消息将不会被同步。 前提条件 业务有自己的源RocketMQ和目标RocketMQ。 源RocketMQ和目标RocketMQ实例支持的版本:4.x、5.x。 源RocketMQ和目标RocketMQ实例的规格、Broker数量、存储空间需保持一致。
SCRAM-SHA-512 PLAIN ssl_certificate_url String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd String SASL证书密码 最小长度:1 最大长度:256 user_name String 用户名
PLAIN ssl_certificate_url 否 String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd 否 String SASL证书密码 最小长度:1 最大长度:256 user_name 否 String 用户名
SCRAM-SHA-512 PLAIN ssl_certificate_url String SASL证书地址,配置的obs地址 最小长度:1 最大长度:512 ssl_certificate_pwd String SASL证书密码 最小长度:1 最大长度:256 user_name String 用户名