检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数字、句点、中划线、下划线组成,长度3~64个字符。 消费组名称开头包含特殊字符,例如#号“#”,会导致监控数据无法展示。 描述 消费组的描述信息,长度0~200个字符。 在消费组列表页面,查看新创建的消费组。 父主题: 管理消费组
为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 为什么Console页面上,消息查询查不到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数? 为什么消息创建时间显示1970? 如何修改message.max
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 明文接入分为内网访问明文接入和公网访问明文接入,开启明文接入方法如表1所示。 表1 开启明文接入方法 接入方式 开启明文接入 内网访问明文接入
要配置正确的安全组规则,否则会连接失败。安全组规则的配置请参考表2。 已获取连接Kafka实例的地址。 在Kafka控制台的“基本信息 > 连接信息”中获取实例连接地址。Kafka实例连接地址在Kafka控制台存在两种不同的显示,一种为“内网连接地址”/“公网连接地址”,另一种为
这样的确认信号,算消息发送成功。acks参数代表了数据备份的可用性。常用选项: acks=0:表示producer不需要等待任何确认收到的信息,副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据,同时重试配置不会发生
单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 重置Manager密码”。 单击Kafka实例名称,进入实例详情页面。在“基本信息”页面,在“连接信息 > Manager用户名”后,单击“重置Manager密码”。 输入“新密码”和“确认密码”,单击“确定”,完成密码重置。 重
Manager无法登录或者无法使用时,例如下图中的报错,可以通过重启Kafka Manager,使Kafka Manager恢复正常。 图1 报错信息 重启Kafka Manager不会影响业务。 2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。 重启Kafka
力低的某些下游系统造成冲击,需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时,可以通过队列服务堆积缓存订单等信息,在下游系统有能力处理消息的时候再处理,避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力,3天的默认保留时长,消息消费系统可以错峰进行消息处理。
请参见配置Kafka间的数据复制。 在Kafka控制台的“消息查询”页面,查看两个Kafka的最新消息是否一致,确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。 是,执行3。 否,在监控页面查看两个Kafka的“Kafka每分钟同步数据量”是否正常,如果正
通过关联账号维度查看成本分配。 通过企业项目进行成本分配 在进行成本分配之前,建议开通企业项目并做好企业项目的规划,可以根据企业的组织架构或者业务项目来划分。在购买云资源时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图2 为Kafka实例选择企业项目
在“风险检查”区域,查看升级前的检查项是否正常。 如果检查项有异常,请先根据提示信息修改,然后单击“重新检查”。如果确认异常的检查项无需修改,请勾选“我已知晓风险。”。 单击“确定”。 立即执行和定时执行查看升级是否完成的方法不同,具体如下: 表1 查看升级结果 执行方式 升级结果
名和账号ID。账号名和账号ID获取步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 查看账号名和账号ID。 图1 查看账号名和账号ID 父主题: 附录
AK/SK签名认证方式仅支持消息体大小12M以内,12M以上的请求请使用Token认证。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。
一键测算功能对Kafka实例性能没有影响。 单击“确定”。 定时任务和非定时任务查看分区平衡是否完成的方法不同,具体如下: 表2 查看分区平衡结果 任务类型 分区平衡结果 非定时任务 在Topic列表页面左上方单击“查看变更任务”,进入“后台任务管理 > 后台任务”页面,当任务的“状态”为“成功”时,表示分区平衡完成。
1KB 是 3 3 是 1KB 否 3 3 否 1KB 否 测试环境 进行性能测试前,您需要先构建如下的测试环境: 购买一个Kafka实例,参数信息如下,购买方法请参考购买Kafka实例。 区域:华北-北京四 项目:华北-北京四 可用区:可用区1 实例名称:kafka-test 企业项目:default
面,在虚拟私有云的详情页面查找VPC ID。 security_group_id 是 String 指定实例所属的安全组。 获取方法如下:登录虚拟私有云服务的控制台界面,在安全组的详情页面查找安全组ID。 subnet_id 是 String 子网信息。 获取方法如下:登录虚拟私
验证数据是否同步 在目标集群中查看Topic列表,确认是否有源集群Topic。 目标集群中的Topic名称和源集群相比,多了前缀(如A.),这属于正常情况,是MirrorMaker为了防止Topic循环备份进行的设置。 在源集群生产并消费消息,在目标集群查看消费进度,确认数据是否已从源集群同步到了目标集群。
producer使用建议 同步复制客户端需要配合使用:acks=all 配置发送失败重试:retries=3 发送优化:对于时延敏感的信息,设置linger.ms=0。对于时延不敏感的信息,设置linger.ms在100~1000之间。 生产端的JVM内存要足够,避免内存不足导致发送阻塞。 时间戳设置
怀疑是业务堆积,处理慢导致时延。 通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到达处理极限。 排查EIP流量情况,发现入流量存在下降的场景。 联系EIP服务技术人员协助排查,未发现问题。 从业务日志中分析消费组行为。 通过查看服务端日志,
勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“恢复”。 在待恢复Kafka实例所在行,单击“恢复”。 在弹出的“恢复实例”对话框中,单击“确定”。 恢复实例大约需要3~10分钟,在“Kafka专享版”页面查看已恢复的实例。 包年/包月的实例从回收站中恢复后,计费模式会变为按需计费。