检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
策略 协议端口 源地址 入方向 允许 全部 sg-53d4 图2 配置Kafka实例安全组 跨VPC访问和通过DNAT访问实例 请按照表4设置安全组规则。 表4 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9011 198.19.128.0/17 通过VPC终端节
Kafka实例的连接地址默认有多少个? Kafka实例的连接地址个数和实例的代理个数有关,连接地址个数即为代理个数。每类实例规格对应的代理个数如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限
若“auto.create.groups.enable”设置为“true”,当消费组的状态为“EMPTY”且从未提交过offset,系统将在十分钟后自动删除该消费组。 若“auto.create.groups.enable”设置为“false”,系统不会自动删除消费组。如果需要删除消费组,需要您手动删除。
时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DMS for Kafka时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。
为什么消息创建时间显示1970? 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 父主题: 消息问题
速解析实例的Broker。 其中,IP地址必须为实例连接地址(从前提条件获取的连接地址),host为每个实例主机的名称(主机的名称由您自行设置,但不能重复)。 例如: 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122
磁盘类型选择“超高I/O”,磁盘大小设置为“100GB”。 图3 设置实例规格和存储空间 设置实例网络环境信息,如图4所示,配置详情请参考表4。 表4 设置实例网络环境信息 参数 说明 虚拟私有云 虚拟私有云在Kafka实例创建完成后,不支持修改。 选择准备工作中设置好的虚拟私有云。 子网
被踢出消费组,此时可能会导致消费异常,需要重点关注。 消费者被服务端认为异常从而被踢出消费组的场景如下: 未能及时发送心跳请求。 消费者以设置的heartbeat.interval.ms为间隔向broker发送心跳请求,如果broker在session.timeout.ms时间内
Kafka分区平衡 修改Topic的分区平衡。 开启日志 开启Kafka重平衡日志。 关闭日志 关闭Kafka重平衡日志。 设置Topic权限 在Topic中为不同的用户设置不同的权限。 查看Kafka实例后台任务 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,Top
Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为100ms,超过最大处理时间可能导致消费者无法消费。 当消费位点重置策略设置为Oldest(earliest)时,当客户端重启时,偏移量重置后可能从最小位点开始重复消费所有消息。 消费者同时订阅多个Topic时,部分分区可能无法消费到消息。
Kafka实例的Topic数量是否有限制? Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格
量为2到4的消息。 请注意以下几点: 如果“偏移量”设置为“-1”,表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间,消息将不会被删除。 如果需要删除多个分区的消息,单击“添加分区”,设置需要删除消息的分区和偏移量。每次最多可选择10个分区。
ms的错误,如下图所示。 问题解决措施 以下三种措施都可以解决此问题,请根据实际情况任意选择一种。 升级Kafka客户端的版本到2.7或以上版本,并设置“socket.connection.setup.timeout.ms”大于1s,且小于“request.timeout.ms/Kafka服务端节点数”。
true #B->A.topics = .* # 设置副本个数,如果需要同步多个Topic且副本数各不相同,建议先创建同名同副本数的Topic再启动MirrorMaker replication.factor=3 # 设置消费进度同步方向,可以单向同步也可互相同步 A->B.sync
List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何创建用户、重置用户密码、修改用户信息和删除用户。创建用户后,对Topic进行用户授权的操作,请参见设置Kafka Topic权限。 在控制
当流控值达到上限后,会导致生产/消费的时延增大。 设置的流控值较小且生产者速率较大时,可能会造成生产超时、消息丢失,导致部分消息生产失败。 初始生产/消费的流量较大,如果设置一个较小的流控值,会导致生产/消费的时延增大、部分消息生产失败。建议逐次减半设置流控值,待生产/消费稳定后继续减半设置,直到设置为目标流控值。
403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405
步骤三:添加DNAT规则 在“公网NAT网关”页面,在新购买的公网NAT网关后,单击“设置规则”,进入公网NAT网关详情页。 在“DNAT规则”页签,单击“添加DNAT规则”,弹出“添加DNAT规则”对话框。 图3 公网NAT网关详情页 设置如下参数。 使用场景:选择“虚拟私有云” 端口类型:选择“具体端口”
L证书”对话框。 图2 连接信息 参考表1,设置替换SSL证书的参数。 图3 替换SSL证书 表1 替换SSL证书参数说明 参数名称 说明 Key密码 输入制作证书中设置的keystore密码 Keystore密码 输入制作证书中设置的keystore密码 Keystore文件 导入“server