检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Interrupted! topicName is " + topicName); logger.error("MessageReceiver Interrupted! topicName is "+topicName);
生产或消费消息时,报Topic {{topic_name}} not present in metadata after 60000 ms错误 问题现象 多可用区的Kafka实例,在某个可用区故障后,Kafka客户端在生产或消费消息时,可能会报Topic {{topic_name}}
分区数上限不同,具体请参见产品规格。 例如:kafka.4u8g.cluster*3的实例,已创建800个分区,您想把此实例的规格缩容为kafka.2u4g.cluster*3,kafka.2u4g.cluster*3规格的实例分区数上限为750,此时无法缩容。 变更代理规格的时
在“消费者列表”页签,查看消费者连接地址。 图1 消费者列表 查看消费者连接地址(Kafka Manager) 登录Kafka Manager。 单击“kafka_cluster”,进入集群详情页。 在顶部导航栏单击“Consumers”,进入消费组列表页面。 图2 导航栏 单击待查看消费者连接地址的消费组名称,进入消费组订阅的Topic列表页面。
ka.2u4g.cluster*3,并在9:30:00升配为kafka.4u8g.cluster*3,那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,实例规格按照kafka.2u4g.cluster*3计费。 第二条对应9:30:00
"product_id" : "00300-30308-0--0", "spec_code" : "dms.instance.kafka.cluster.c3.mini", "io" : [ { "io_type" : "normal",
取值900 参数specification为600MB时,取值1800 参数specification为1200MB时,取值1800 access_user String 否 当ssl_enable为true时,该参数必选, ssl_enable为false时,该参数无效。 认证
该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 出现该告警时,需要修改实例存储空间。具体操作,请参考变更实例规格。 broker_cpu_core_load CPU核均负载 节点 告警阈值:原始值>2 连续触发次数:3 告警级别:重要 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。
Bash,执行以下命令启动Logstash。 ./bin/logstash -f ./config/output.conf 返回“Successfully started Logstash API endpoint”时,表示启动成功。 图4 启动Logstash 在Logstash中,生产消息,如下图所示。
"available_zones": [ "effdcbcxxx6b42f56533" ], "product_id": "c6.2u4g.cluster", "storage_spec_code": "dms.physical.storage.high.v2" } name:实例名称,由您自行定义。
分区数上限不同,具体请参见产品规格。 例如:kafka.4u8g.cluster*3的实例,已创建800个分区,您想把此实例的规格缩容为kafka.2u4g.cluster*3,kafka.2u4g.cluster*3规格的实例分区数上限为750,此时无法缩容。 变更代理规格的时
户充值。 为用户添加Kafka实例的操作权限。 如果您需要对云上的资源进行精细管理,请使用统一身份认证服务(Identity and Access Management,简称IAM)创建IAM用户及用户组,并授权,以使得IAM用户获得Kafka实例的操作权限。具体操作请参考创建用户并授权使用DMS
08在“华北-北京四”区域购买了一个包年/包月Kafka实例(kafka.2u4g.cluster*3),购买时长为1个月,计划在2023/04/18变更规格为kafka.4u8g.cluster*3。旧配置价格为1890 元/月,新配置价格为3780 元/月。计算公式如下: 升
生产请求平均处理时长 统计Broker节点处理生产请求平均时长。 单位:ms 0~10000 Kafka实例节点 1分钟 broker_cpu_core_load CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。 单位:% 0~20 Kafka实例节点 1分钟
约束与限制 开启Smart Connect后,实例需要另外收取用于Smart Connect的代理费用。 例如:规格为kafka.4u8g.cluster的实例,会另外创建至少两个规格为kafka.4u8g的代理,用于Smart Connect,所以需要收取相应代理费用。 单机实例不支持开启Smart
以包年/包月计费模式为例,假设您于2023/03/08 15:50:04在“华北-北京四”区域购买了一个包年/包月Kafka实例(规格:kafka.2u4g.cluster*3,总存储空间:超高I/O 300GB),计费资源包括实例费用(代理规格和代理数量),以及存储空间费用(超高I/O 300GB)。购
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。
为什么可用区不能选择2个? 如果您需要提高Kafka实例的可靠性,在创建实例时,建议选择3个或以上的可用区,不支持选择2个可用区。原因如下: 每个Kafka实例包含3个Zookeeper节点,Zookeeper集群用来管理Kafka实例的配置,如果Zookeeper集群出现问题,
Kafka客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 表1 Producer参数 参数
创建实例时为什么无法查看子网和安全组等信息? 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户的用户组无Server Administrator和VPC Administrator权限。增加用户组权限的详细步骤,请参考修改用户组权限。 父主题: 实例问题