检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--partitions 6 [root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤修改Topic分区数。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。
[root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费者列表。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。
K/SK两种认证,Kerberos认证目前不支持。 如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。 父主题: 连接问题
准备Kafka配置信息 为了方便,下文分生产与消费两个配置文件介绍。其中涉及SASL认证配置,如果Kafka实例没有开启密文接入,使用的是不加密连接,请注释相关代码;如果Kafka实例开启了密文接入,则必须使用加密方式连接,请设置相关参数。 生产消息配置文件(对应生产消息代码中的dms.sdk.producer
Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart Connect任务。 一个实例最多创建18个Smart Connect任务。 Smart
topic-01. [root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤创建Topic。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,具体如下。 SA
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买如下参数的2台ECS服务器,具体步骤请参考购买弹性云服务器。 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,规格为4U8G,Linux系统的ECS。 区域、虚拟私有云、子网、安全组与Kafka实例保
- [root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费进度。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问? Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka包周期实例支持删除吗? Kafka支持哪些加密套件? 购买实例时选择的单AZ,怎样可以扩展为多AZ? Kaf
该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 出现该告警时,需要修改实例存储空间。具体操作,请参考变更实例规格。 broker_cpu_core_load CPU核均负载 节点 告警阈值:原始值>2 连续触发次数:3 告警级别:重要 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。
重启Kafka实例大约需要3到15分钟。Kafka实例重启成功后,实例状态切换为“运行中”。 重启Kafka实例只会重启实例进程,不会重启实例所在虚拟机。 父主题: 管理实例
1 生产消息 在客户端创建一个文件,用于存放生产消息的代码示例。 touch producer.py producer.py表示文件名,您可以自定义文件名。 执行以下命令,编辑文件。 vim producer.py 将以下生产消息的代码示例写入文件中,并保存。 SASL认证方式 from
algorithm= 加载SSL证书文件失败 出现下图的错误信息: 解决方案: 请检查对应地址的client.jks文件是否存在。 检查进程和文件所属权限。 检查consumer.properties和producer.properties文件中的ssl.truststore.password参数是否配置正确。
Kafka数据迁移概述 Kafka迁移指将生产与消费消息的客户端切换成连接新Kafka,部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景: 业务上云且不希望业务有中断。 在上云过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 在云上变更业务部署。
broker_cpu_core_load CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。 单位:% 0~20 Kafka实例节点 1分钟 broker_disk_usage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 单位:% 0~100% Kafka实例节点
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
ebalance动作完成才可以进行消费。 该现象与问题现象描述的偶现长时间时延行为相吻合,问题确定。 详细分析 查看用户消费组行为日志文件,文件中存在以下三种日志: Preparing to rebalance group 1 表示消费组开始进行rebalance,消费组状态变更为REABLANCING。
资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 ecs_flavor_id String 该产品规格对应的虚拟机规格。 arch_type String 实例规格架构类型。当前仅支持X86。 表6 io 参数 参数类型 描述
的segment文件组成,每个segment文件的大小为500MB,当segment文件存储的消息大小到达500MB后,才会新建下一个segment文件。Kafka删除消息是删除segment文件,而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息,如果