检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改Kafka实例配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值,您可以根据实际业务需求,在控制台自行修改参数值。其他在控制台未列出的配置参数,请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数: 动态参数:动
已开启密文接入的Kafka实例,通过以下步骤删除Topic。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此
分区平衡,将原有Topic分区的副本迁移到新代理上。 将高负载代理上的Leader分区切换为Follower。 在修改分区平衡过程中,可以配置增加/减少Topic的副本数。 分布式消息服务Kafka版控制台提供两种分区平衡的方法:自动平衡和手动平衡,建议选择自动平衡,确保分区Leader的均匀分布。
查看Kafka Topic详情 Kafka实例支持在控制台查看Topic的基本信息、分区信息、生产者信息和订阅关系。 查看Topic详情 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消
已开启密文接入的Kafka实例,通过以下步骤修改Topic分区数。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此
修改Kafka Topic副本数 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的副本数。 通过修改分区平衡可以实现修改副本数,Kafka控制台提供两种修改副本数的方法:使用自动平衡修改副本数和使用手动平衡修改副本数。 单机实例不支持修改副本数。 操作影响
在Windows主机中,解压Logstash压缩包,进入“config”文件夹,创建“output.conf”配置文件。 图3 创建“output.conf”配置文件 在“output.conf”配置文件中,增加如下内容,连接Kafka实例。 input { stdin {} } output
配置Kafka实例回收站策略 开启回收站策略的实例在被删除后,会被临时存入回收站中,此时实例中的数据尚未被彻底删除,在保留天数内支持从回收站中恢复此实例。超过保留天数的实例会被彻底删除,无法恢复。 回收站策略默认是关闭状态。 回收站功能仅在“华北-北京一”、“华北-北京四”、“华东-上海一”和“华南-广州”上线。
监控详情”,进入监控页面,查看实例、节点、主题、消费组和Smart Connect的监控数据,数据更新周期为1分钟。 父主题: 查看监控指标与配置告警
Topic是否支持ACL权限配置? Kafka实例已开启Kafka SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“Topic管理”页面,在需要设置用户权限的Topic所在行,单击“设置用户权限”,为用户设置不同的权限。 具体操作请参考设置Topic权限。
导出Kafka Topic列表 本章节指导您在控制台导出Topic列表,支持批量导出。 前提条件 已创建Topic。 导出Topic列表 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消
果关闭,在需要执行此任务时,您可以在Smart Connect任务列表中手动开启任务。 在“源端配置”中,保持默认设置。 在“Topic配置”中,设置以下参数。 表1 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic,并进行转储。 输入/选择
客户端和Kafka实例部署在同一个VPC中,此时网络默认互通。 - 客户端和Kafka实例部署在同一个Region的不同VPC中,利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现跨VPC访问。 使用VPCEP实现跨VPC访问Kafka 客户端和Kafka实例部署在同一个Reg
kafka_groups Kafka实例的消费组 connector_task Kafka实例的Smart Connect任务 父主题: 查看监控指标与配置告警
修改自动创建Topic的配置,会触发重启吗? 开启或者关闭“Kafka自动创建Topic”,会导致Kafka重启。 父主题: Topic和分区问题
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 job_id String 创建流控配置的任务ID 请求示例 创建用户/客户端流控配置。 POST https://{endpoint}/v2/kafka/{project_id}/instances/
internal”的Topic。此Topic用于存储内部数据,如果删除,会导致同步数据失败。 配置类型 支持以下两种配置类型: Kafka地址:输入Kafka实例的连接信息。 实例名称:选择已创建的Kafka实例。 实例名称 “配置类型”为“实例名称”时,需要设置。 在下拉列表中,选择已创建的Kafka实例。
hosts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC,否则会阻塞消息的生产和消费。 父主题: 配置Kafka客户端
查询用户/客户端流控配置 功能介绍 该接口用于向Kafka实例查询流控的配置,若成功则返回流控配置的列表。 调用方法 请参见如何调用API。 URI GET /v2/kafka/{project_id}/instances/{instance_id}/kafka-user-client-quota
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 job_id String 删除流控配置的任务ID 请求示例 删除用户/客户端流控配置。 DELETE https://{endpoint}/v2/kafka/{project_id}/instance