检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
partitions 自动创建Topic时的默认分区数。 1 ~ 200 3 group.min.session.timeout.ms consumer允许的最小会话超时时间。超时时间越短,consumer的心跳探测越频繁,可以使故障检测更快,但会导致broker被抢占更多的资源。 6000 ~ 300000
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“消费组管理”,进入消费组列表页面。 通过以下任意一种方法,删除消费组。 勾选消费组名称左侧的方框,可选一个或多个,单击信息栏左上侧的“删除消费组”。 在待删除消费组所在行,单击“删除”。
T格式的证书。 sasl_mechanism:SASL认证机制。在Kafka实例控制台的基本信息页面中获取。如果SCRAM-SHA-512和PLAIN都开启了,根据实际情况选择其中任意一种配置连接。很久前创建的Kafka实例在详情页如果未显示“开启的SASL认证机制”,默认使用PLAIN机制。
在“节点”页签,查看服务端节点的CPU使用率。 图7 broker-0的CPU使用率(客户端服务器和实例在相同的AZ中) CPU消耗=58.10% 图8 broker-0的CPU使用率(客户端服务器和实例在不同的AZ中) CPU消耗=17.20% 图9 broker-1的CPU使用率(客户端服务器和实例在相同的AZ中)
topics String SmartConnect任务配置的Topic。 topics_regex String SmartConnect任务配置的Topic正则表达式。 source_type String SmartConnect任务的源端类型。 source_task SmartCo
解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。 解决方法:检查客户端消息的createTime设置是否正确。
在“代理数量”中,选择扩容后的代理数量。不同实例规格对应的代理数量范围不同,具体请参考产品规格。 如果已开启公网访问,在“弹性IP地址”中,选择新扩容代理的公网IP地址。 “子网”保持默认设置。 在“内网IP地址”中,选择“自动分配”或者“手动选择”。 自动分配:系统自动分配子网中可用的IP地址。 手
includeFailure String 否 是否返回创建失败的实例数。 当参数值为“true”时,返回创建失败的实例数。参数值为“false”或者其他值,不返回创建失败的实例数。 exactMatchName String 否 是否按照实例名称进行精确匹配查询。 默认为“false”,表示模糊匹配实例名
删除Kafka实例 对于按需计费的Kafka实例,控制台支持删除单个实例,也可批量删除实例。对于包年/包月的Kafka实例,如果不再使用,单击“操作”栏下的“更多 > 退订”,退订成功后,Kafka实例会自动被删除。 删除的实例能否恢复取决于是否开启回收站策略,如果未开启回收站策
返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。
data } 示例代码中的参数说明如下,请参考收集连接信息获取参数值。 brokers:实例连接地址与端口。 topics:Topic名称。 user/password:首次开启密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。
但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量
单机实例不支持开启SASL_SSL。 启用的安全协议 开启SASL_SSL后,实例已启用的安全协议。 开启的SASL认证机制 开启SASL_SSL后,实例已开启的SASL认证机制。 SSL证书 单击“下载”,下载连接实例的SSL证书。 内网连接地址 未开启公网访问时,连接实例的地址。 显示的连接地址个数为实例代理个数。
为什么限制Topic的总分区数? Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称
有要求的场景。但是该方案中需要等待消费者业务直至消费完毕,存在一个时间差的问题,部分数据可能存在较大的端到端时延。 将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 重启生产业务,使得生产者将新的消息发送到新Kafka实例中。 观察各消费组在原Kafka的消费进
Kafka实例的分区数量。 used_storage_space Integer 已使用的消息存储空间,单位:GB。 dns_enable Boolean 实例是否开启域名访问功能。 true:开启 false:未开启 connect_address String 实例连接IP地址。 port
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询分区指定时间段的消息成功。 错误码 请参见错误码。 父主题: 消息管理
Kafka实例的超高IO和高IO如何选择? 高IO:平均时延1-3ms,最大带宽150MB/s(读+写)。 超高IO:平均时延1ms,最大带宽350MB/s(读+写)。 建议选择超高IO,云硬盘服务端压力大场景,都不能达到最大带宽,但是超高IO可达到的带宽比高IO高很多。 父主题:
开启回收站策略的实例在被删除后,会被临时存入回收站中,此时实例中的数据尚未被彻底删除,在保留天数内支持从回收站中恢复此实例。超过保留天数的实例会被彻底删除,无法恢复。 回收站策略默认是关闭状态。 约束与限制 回收站中的按需实例不会收取实例的费用,但是会收取存储空间的费用。 包年/
为什么限制Topic的总分区数? Kafka实例的Topic数量是否有限制 Kafka消息堆积了怎么办? Kafka实例的ZK地址是什么?能否直接连接? 为什么Console页面上,消息查询查不到消息? 为什么实例可用区不能选择2个? 更多 实例问题 Kafka实例的ZK地址是什么 Ka