检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
backoff.ms=1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间(单位为ms),超过这个时间则会抛Timeout异常。 超时时间如果设置大一些,如127000(127秒),高并发的场景中,能减少发送失败的情况。 block.on
consumer_id:消费组名称。根据业务需求,自定义消费组名称,如果设置的消费组不存在,Kafka会自动创建。 context.load_verify_locations:证书文件。如果Kafka安全协议设置为“SASL_SSL”,需要设置此参数。使用Python语言连接实例时,需要用CRT格式的证书。
扩容失败提示资源不足 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
客户端连接Kafka实例前,需要在Kafka实例所属安全组中配置如下安全组规则,否则会连接失败。 创建安全组后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表2的规则。 表2 安全组规则 方向
在“手动平衡”对话框右上角,单击“减少副本”/“添加副本”,为Topic的每个分区减少/增加副本数。 在待修改分区平衡的副本名称下,单击Broker名称或,选择目标Broker的名称,副本即将迁移至目标Broker上。同一分区下的不同副本需要分配在不同的Broker上。 在“带宽限制”中,输入
如果您持有多台到期日不同的Kafka实例,可以将到期日统一设置到一个日期,便于日常管理和续费。 图5展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图5 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题: 续费
如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。例如:Topic01设置的老化时间为60小时,“配置参数”中的log
更多 > 一键平衡 > 手动平衡”。 设置手动平衡参数。 在“手动平衡”对话框右上角,单击“减少副本”/“添加副本”,为Topic的每个分区减少/增加副本数。 在待修改分区平衡的副本名称下,单击Broker名称或,选择目标Broker的名称,副本即将迁移至目标Broker上。同一
NAT网关”,进入“公网NAT网关”页面。 单击“购买公网NAT网关”,进入“购买公网NAT网关”页面。 设置如下参数。 区域:与Kafka实例保持一致。 名称:您自定义的公网NAT网关名称。 虚拟私有云:选择获取Kafka实例的信息中记录的虚拟私有云。 子网:选择获取Kafka实例的信息中记录的子网。
行身份校验的安全认证机制,比PLAIN机制安全性更高。 PLAIN机制:一种简单的用户名密码校验机制。 设置高级配置。 表6 高级配置参数说明 参数名称 说明 实例名称 名称支持自定义,但需要符合命名规则:长度为4~64个字符,由英文字母开头,只能由英文字母、数字、中划线、下划线组成。
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”,进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明 参数 说明 统计方式 设置带宽使用量的统计方式。 前n个:统计带宽使用量排名前
进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“到期转按需项”页签查询已经设置到期转按需的资源。 可对“手动续费项”、“自动续费项”、“到期不续费项”页签的资源设置到期转按需的操作。 设置包年/包月资源到期后转按需。 单个资源到期转按需:选择需要更改计费模式的Kafka实例,单击操作列“更多
为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 为什么Console页面上,消息查询查不到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数? 为什么消息创建时间显示1970? 如何修改message
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致? Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动? 为什么JVM堆内存使用率出现明显波动? 生产消息数不为0,为什么生产速率为0?
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。 在待删除消息的Topic所在行,单击“更多 > 消息删除”,弹出“消息删除”对话框。 设置消息删除参数,如表1所示。 图1 消息删除 表1 消息删除参数说明
instance_id 是 String 实例ID。 group 是 String 消费组名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 topic 否 String topic名称。 partition 是 Integer 分区编号,默认值为-1,若传入值为-1,则重置所有分区。
单击Kafka实例的名称,进入实例的“基本信息”页面。 密文接入分为内网访问密文接入和公网访问密文接入,开启密文接入方法如表2所示。 表2 开启密文接入方法 接入方式 开启密文接入 内网访问密文接入 在“内网访问 > 密文接入”后,单击,弹出“内网访问密文接入”对话框。 设置kafka安全协议、SASL
审计与日志 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS
配置发送失败重试:retries=3 发送优化:对于时延敏感的信息,设置linger.ms=0。对于时延不敏感的信息,设置linger.ms在100~1000之间。 生产端的JVM内存要足够,避免内存不足导致发送阻塞。 时间戳设置为与当地时间一致,避免时间戳为未来时间导致消息无法老化。 尽
单击Kafka实例名称,进入实例详情页面。 在左侧导航栏单击“Topic管理”,进入Topic列表页面。 在待生产消息的Topic所在行,单击“更多 > 生产消息”(实例已开启SASL)/“生产消息”(实例未开启SASL),弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1