检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为,如写数据库、调用后端API等,在发生Rebalance的场景下消费者下游系统是否正常。 解决方法:建议在消费者客户端将max.poll.records值减小,如果消息处理时间较长可以适当增加max
队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术,使得服务具有高度扩展性。分区数可配置多达200个,存储空间、代理数量和代理规格支持弹性扩展,保证在高并发、高性能和大规模场景下的访问能力,轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例
#B->A.enabled = true #B->A.topics = .* # 设置副本个数,如果需要同步多个Topic且副本数各不相同,建议先创建同名同副本数的Topic再启动MirrorMaker replication.factor=3 # 设置消费进度同步方向,可以单向同步也可互相同步
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 父主题: 监控告警问题
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.getenv("CLOUD_SDK_AK") sk = os.getenv("CLOUD_SDK_SK")
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
客户端连接问题-Java客户端 客户端连接问题-Go客户端 检查网络 在连接Kafka实例前,需要确保客户端与Kafka实例之间可以相互连接,如果无法连接,建议先检查网络连接是否正常。 已开启sasl_ssl访问的Kafka实例为例,执行如下命令: curl -kv {ip}:{port} 网络正常,如下:
Kafka实例的超高IO和高IO如何选择? 高IO:平均时延1-3ms,最大带宽150MB/s(读+写)。 超高IO:平均时延1ms,最大带宽350MB/s(读+写)。 建议选择超高IO,云硬盘服务端压力大场景,都不能达到最大带宽,但是超高IO可达到的带宽比高IO高很多。 父主题: 实例问题
"username", //IAM用户名 "password": $ADMIN_PASS, //IAM用户密码,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 "domain": {
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
a实例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的大小超过此值,建议使用压缩算法或者业务逻辑做切分。 父主题: 消息问题
测试环境 进行TPS测试前,您需要先构建如下的测试环境: 购买如表1所示实例,购买步骤请参考购买Kafka实例。 表1 实例参数 名称 代理数量 规格 是否开启SASL 磁盘类型 kafka-01 3 kafka.2u4g.cluster 是 超高I/O kafka-02 3 kafka
表1 适用计费项 计费项 说明 实例费用 包括代理规格和代理数量。 如果开启Smart Connect,实例需要另外收取用于Smart Connect的代理费用。 存储空间费用 总存储空间(单个代理的存储空间*代理数量)的费用。 假设您计划购买一个Kafka实例,其存储空间为30
表1 适用计费项 计费项 说明 实例费用 包括代理规格和代理数量。 如果开启Smart Connect,实例需要另外收取用于Smart Connect的代理费用。 存储空间费用 总存储空间(单个代理的存储空间*代理数量)的费用。随包年/包月Kafka实例创建的存储空间,其计费模式也为包年/包月。
如何使用MirrorMaker单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因,以及处理措施。 业务过载处理建议 本章节描述了CPU使用率高和磁盘写满的原因,以及处理措施。 业务数据不均衡处理建议 本章节描述了业务数据不均衡的原因,以及处理措施。 配置消息堆积数监控
ka版价格详情。 表1 分布式消息服务Kafka版计费项 计费项 计费项说明 适用的计费模式 计费公式 实例费用 计费因子:代理规格和代理数量 如果开启Smart Connect,实例需要另外收取用于Smart Connect的代理费用。 说明: 实例在账单中显示的产品名称为“分布式消息服务专享版”,如图1所示。
存储带宽,业务可能会出现请求超时或者时延增大,建议在业务低峰期时操作。对Topic进行分区平衡前,根据Kafka实例规格对比当前实例负载情况,评估是否可以进行分区平衡,建议预留足够的带宽进行分区平衡,CPU使用率在90%以上时,不建议进行分区平衡。Topic的数据量和CPU使用率
Connect和多AZ等功能。 Kafka体验版实例只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买按需或包年包月的Kafka实例。 Kafka体验版仅在华南-广州的区域支持,其他区域暂不支持。 如果您想要了解其他规格的Kafka实例,请参见产品规格。
息(即单条消息超过20KB)或时间跨度大的消息时,建议将消息下载到本地,在本地进行关键字查询。 创建时间 设置待查询消息的时间范围。 说明: 当Topic中的数据量比较大时,单副本Topic查询消息可能会报“内部服务错误”,建议根据数据量适当减小查询时间范围。 表2 按偏移量查询消息
要填写。 取值范围: 100MB 300MB 600MB 1200MB node_cnt 否 String Smart Connect节点数量。不能小于2个。 如果不填,默认是2个。 spec_code 否 String 转储节点规格编码。仅老规格实例需要填写。 响应参数 状态码: