检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单位:毫秒 600000 log.retention.hours 日志文件最大保存时间。 如果Topic已经设置了老化时间,则此参数对此Topic不生效。仅在Topic未设置老化时间时,此参数才对此Topic生效。 1 ~ 168 单位:小时 72 max.connections.per
您需要通过公网地址访问Kafka实例时,可开启实例的公网访问功能,并设置公网带宽。当开启成功后,您还可以根据需要修改公网带宽的大小,当前仅支持带宽扩容,不支持缩容。 部分区域不支持“基准带宽”为“100MB/s”的Kafka实例开启公网访问,具体以控制台为准。 支持区域: 全部 设置实例公网访问 消息查询 您可以查
Kafka实例的Topic数量是否有限制? Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格
Kafka分区平衡 修改Topic的分区平衡。 开启日志 开启Kafka重平衡日志。 关闭日志 关闭Kafka重平衡日志。 设置Topic权限 在Topic中为不同的用户设置不同的权限。 查看Kafka实例后台任务 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,规格为4U8G,Linux系统的ECS。 区域、虚拟私有云、子网、安全组与Kafka实例保持一致,“可用区”为“可用区2”,规格为4U8G,Linux系统的ECS。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
消息超过老化时间,消息仍存在的原因 问题现象:消息超过设置的老化时间(如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。
老化时间 如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。 例如:Topic01设置的老化时间为60小时,“配置参数”中的log
单击Kafka实例的名称,进入实例的“基本信息”页面。 在“公网访问”后,单击,开启公网访问。在“弹性IP地址”中,为每个代理设置对应的弹性IP地址。 如果没有足够数量的弹性IP地址,参考如下步骤设置弹性IP地址。 单击“创建弹性IP”,跳转到“购买弹性公网IP”页面,购买弹性IP地址,具体操作请参考申请弹性公网IP。
403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405
生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。 服务端 合理设置Topic的分区数,在不影响业务处理效率的情况下,调大Topic的分区数量。 当服务端出现消息堆积时
Kafka支持减少分区数吗? Kafka不支持减少分区数,您可以通过删除原先的Topic,然后创建新Topic,重新设置分区数。 父主题: Topic和分区问题
List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何创建用户、重置用户密码、修改用户信息和删除用户。创建用户后,对Topic进行用户授权的操作,请参见设置Kafka Topic权限。 在控制
Topic的相关业务。 已开启密文接入的实例,“allow.everyone.if.no.acl.found”设置为“false”时,初始用户(即首次开启密文接入时设置的用户)可以通过客户端删除Topic,其他用户无法通过客户端删除Topic。 前提条件 只有运行中的实例才可以删除Topic。
概述 Kafka实例完全兼容开源Kafka协议,可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。
副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产客户端为Flink客户端时,检查是否配置重启策略,配置重启策略可以参考如下代码。 StreamExecutionEnvironment
时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DMS for Kafka时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。
replica.fetchers建议配置不超过5。 合理设置Topic的分区,分区一般设置为节点个数的倍数。 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。
"storage_spec_code": "dms.physical.storage.high.v2" } name:实例名称,由您自行定义。 engine:消息引擎,设置kafka。 engine_version:消息引擎的版本。 broker_num:代理个数。 storage_space:消息存储空间,
为什么消息创建时间显示1970? 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 父主题: 消息问题