检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。 开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。 证书 在Kafka实例详情页的“连接信息”
示例代码中的参数说明如下,请参考收集连接信息获取参数值。 brokers:实例连接地址与端口。 topics:Topic名称。 user/password:首次开启密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。
支持多语言的客户端。 采用Scala和Java编写,支持多种语言的客户端。 支持多种语言的客户端。 流量控制 RocketMQ 5.x支持基于实例规格的流量控制。 支持client、user和Topic级别,通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于C
”为“诊断中”的记录。 当“状态”变为“诊断成功”时,表示消息积压诊断已经完成。 在诊断记录所在行,单击“查看详情”,进入“诊断详情”页面。 在页面顶部查看消息组异常项、失败项和正常项的数量。在“诊断维度”区域,单击包含异常项的维度名称,例如:重平衡,查看导致异常的可能原因、受影
完成授权后,进入Topic列表页面,在Topic名称前单击,查看已经授权的用户及其对应的权限。 图4 查看已经授权的用户及其对应的权限 删除Topic权限 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量
配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时,将同时验证客户端和服务端的证书,以确保通信中涉及的双方都是受信任的。 开启SSL双向认证,主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性,需要联系后台管理人员开通后方可使用。 配置SSL双向认证的流程如图1所示。
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka JKS格式的SSL证书 获取和使用Kafka PEM格式的SSL证书 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
String 否 实例名称。 由英文字符开头,只能由英文字母、数字、中划线组成,长度为4~64的字符。 description String 否 实例的描述信息。 长度不超过1024的字符串。 说明: \与"在json报文中属于特殊字符,如果参数值中需要显示\或者"字符,请在字符前增加转义字符\,比如\\或者\"。
源端Kafka实例和目标端Kafka实例不能同时消费,否则会导致同步的消费进度异常。 同步消费进度的频率为每分钟一次,因此会导致目标端的消费进度可能会略小于源端,造成部分消息被重复消费,所以需要消费者客户端业务逻辑兼容重复消费的场景。 从源端同步的offset与目标端的offset并
####################### #设置SASL认证机制、账号和密码。 #sasl.mechanism为SASL认证机制,username和password为SASL的用户名和密码,参考“收集连接信息”章节获取。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。 #SASL认
SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“Topic管理”页面,在需要设置用户权限的Topic所在行,单击“设置用户权限”,为用户设置不同的权限。 具体操作请参考设置Topic权限。 父主题: Topic和分区问题
一种配置连接。很久前创建的Kafka实例在详情页如果未显示“开启的SASL认证机制”,默认使用PLAIN机制。 图3 开启的SASL认证机制 Kafka安全协议在Kafka实例控制台的基本信息页面中获取。很久前创建的Kafka实例在详情页如果未显示“启用的安全协议”,默认使用SASL_SSL协议。
输入的偏移量为5,此时会删除偏移量为2到4的消息。 请注意以下几点: 如果“偏移量”设置为“-1”,表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间,消息将不会被删除。 如果需要删除多个分区的消息,单击“添加分区”,设置需要删除消息的分区和偏移量。每次最多可选择10个分区。
Topic和分区问题 Kafka实例的Topic数量是否有限制? 为什么限制Topic的总分区数? Kafka支持减少分区数吗? Kafka实例创建Topic失败 Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? Kafka实例是否支持查看单个Topic占用磁盘空间?
创建的Kafka实例是集群模式么? Kafka实例分为单机实例和集群实例,单机实例只有一个代理,是单机模式。集群实例由3个及以上代理组成,是集群模式。 父主题: 实例问题
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
Kafka资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DMS for Kafka资源委托给更专业、高效的其他华为账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DMS
方法查看新创建的流控。 未开启密文接入的实例:在搜索框中输入新创建的流控名称,按“Enter”。 已开启密文接入的实例:单击页面左上角的“仅设置了用户名”/“仅设置了客户端ID”/“设置了用户名和客户端ID”,选择新创建的流控所属的分类,然后在搜索框中输入新创建的流控名称,按“Enter”