检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
支持变更实例规格。 支持变更实例规格。 回收站中实例是否计费 开启回收站策略的包年/包月实例,退订后会存入回收站中,此时不收取实例费用,但是会按需收取存储空间费用。 从回收站中恢复的包年/包月实例,计费模式会变为按需计费。 开启回收站策略的按需实例,删除后会存入回收站中,此时不收取实例费用,按需收取存储空间费用。
例,或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例 登录管理控制台。
购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。 export JAVA_HOME=/root/jdk1.8
实例名称。 由英文字符开头,只能由英文字母、数字、中划线组成,长度为4~64的字符。 description String 否 实例的描述信息。 长度不超过1024的字符串。 说明: \与"在json报文中属于特殊字符,如果参数值中需要显示\或者"字符,请在字符前增加转义字符\,比如\\或者\"。
单击消费组名称,跳转到对应消费组的详情页面。 如果一个实例中消费组数量超过10000,则不支持查询Topic的订阅关系。 图1 订阅关系 分区信息:包含分区编号、最小偏移量、最早更新时间、最大偏移量、最近更新时间和消息数。 当分区中的消息都已老化,或尚未生产消息时,“最早更新时间”和“
参数说明见表2。 表2 参数说明 参数 类型 是否必选 说明 id String 是 topic名称,长度为4-64,以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition Integer 否 topic分区数,设置消费的并发数。 默认值为3,取值范围为1~100。 replication
在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
暂停Smart Connect任务 启动已暂停的Smart Connect任务 启动未启动的Smart Connect任务/重启已暂停或者运行中的Smart Connect任务 父主题: API V2(推荐)
告警规则的默认状态为“关闭”,单击“前往CES配置一键告警”,跳转到云监控服务控制台的“一键告警”页面。 图2 一键告警 在顶部搜索框中单击鼠标左键,选择“资源类型”,然后在下拉框中勾选“分布式消息服务”,单击“确定”。 在“分布式消息服务”所在行,按,弹出“开启告警规则”对话框。 Kafka实例
求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405 MethodNotAllowed 请求中带有该资源不支持的方法。 建议直接修改该请求,不要重试该请求。 406 Not Acceptable 服务器无法根据客户端请求的内容特性完成请求。
版页面。 选择资源所在的区域,在搜索框中输入2中复制的资源ID,按“Enter”,即可查找到该资源。 如果没有搜索到Kafka实例,可能是因为该实例已被删除,当前存放在回收站中。在回收站页面,单击Kafka实例名称,进入实例详情页,确认2中复制的资源ID是否为磁盘存储ID,如果是
Integer 副本所在的节点ID。 leader Boolean 该副本是否为leader。 in_sync Boolean 该副本是否在ISR副本中。 size Long 该副本当前日志大小。 lag Long 该副本当前落后hw的消息数。 响应示例 { "topic": "test"
客户端用于连接Kafka实例的用户名和密码。 用户名需要符合以下命名规则:由英文字母开头,且只能由英文字母、数字、中划线、下划线组成,长度为4~64个字符。 密码需要符合以下规则: 长度为8~32个字符。 至少包含以下字符中的3种:大写字母、小写字母、数字、特殊字符`~!@#$%^&*()-_=+\|[{}];:'"
重启Kafka Manager 当Kafka Manager无法登录或者无法使用时,例如下图中的报错,可以通过重启Kafka Manager,使Kafka Manager恢复正常。 图1 报错信息 2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。 约束与限制
解决方法:修改容量阈值策略或扩大磁盘容量。“容量阈值策略”设置为“生产受限”,表示一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 父主题: 消息问题
Kafka将日志存储在消息文件中,实现日志的持久化存储。 日志处理应用,如Logstash,订阅并消费Kafka中的日志消息,最终供文件搜索服务检索日志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、Elas
约束与限制 部分老实例不支持修改配置参数,具体以控制台为准,请联系客服解决。 单机实例不支持修改配置参数。 前提条件 Kafka实例的状态为“运行中”时,才能修改配置参数。 修改Kafka实例配置参数 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
current_partitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。 单位:个 0~100000 Kafka实例 1分钟 current_topics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。 单位:个 0~100000 Kafka实例 1分钟
生产的消息被依次存储在分布式消息服务Kafka版的存储介质中。消费时依次获取分布式消息服务Kafka版中存储的消息。消费者获取消息后,进行消费并记录消费成功或失败的状态,并将消费状态提交到分布式消息服务Kafka版。 在消费过程中,如果出现异常,没有提交消费确认,该批消息会在后续的消费请求中再次被获取。 消息生产与消费的幂等传递