检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同实例中,使用的SSL证书是否一样? Kafka实例中的SSL证书是通用的,不区分用户或者实例,即不同的用户或者实例,使用的SSL证书是同一个。 获取SSL证书的方法如下: 在Kafka控制台,单击实例名称,进入实例详情页。 在“连接信息 > SSL证书”所在行,单击“下载”。
security_group_id 是 String 指定实例所属的安全组。 获取方法如下:登录虚拟私有云服务的控制台界面,在安全组的详情页面查找安全组ID。 subnet_id 是 String 子网信息。 获取方法如下:登录虚拟私有云服务的控制台界面,单击VPC下的子网,进入子网详情页面,查找网络ID。
数量)计算的费用。 存储空间费用:磁盘类型和总磁盘存储空间(单个代理的存储空间*代理数量)的费用。 计费周期 包年/包月Kafka实例的计费周期是根据您购买的时长来确定的(以UTC+8时间为准)。一个计费周期的起点是您开通或续费资源的时间(精确到秒),终点则是到期日的23:59:59。
/消费消息的上限速率。 用户/客户端的流控作用范围是整个Broker,Topic的流控作用范围是指定Topic。 约束与限制 2022年11月10日及以后创建的实例支持此功能。 单机实例不支持配置流控。 操作影响 当流控值达到上限后,会导致生产/消费的时延增大。 设置的流控值较小
解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。 解决方法:检查客户端消息的createTime设置是否正确。
磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值,仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和CPU导致的,这种波动不会对业务产生影响。 父主题: 监控告警问题
Kafka支持服务端认证客户端吗? 连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 下载的证书JKS和CRT有什么区别? Kafka支持哪个版本的TLS? Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少? Kafka实例的内网连接地址可以修改吗? 不同实例中,使用的SSL证书是否一样?
access_key 是 String 访问密钥AK。 secret_key 是 String 访问密钥SK。 obs_bucket_name 是 String 存储该通道数据的OBS桶名称。 obs_path 否 String 存储在obs的路径,默认可以不填。 取值范围:英文字母、数字、
Manager。 在待重启Manager的Kafka实例所在行,单击“更多 > 重启Manager”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 重启Manager”。 单击“是”。 您可以在实例的“后台任务管理”页面,查看当前任务的操作进度。任务状态为“成功”,表示重启成功。
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的设计,对于数据量特别大的Topic,可对业务数据做进一步的细分,并分配到不同的Topic上。 生产者生产消息时,尽量把消息均衡发送到不同的分区上,确保分区间的数据均衡。 创建Topic时,使分区的Leader副本分散到各个Broker节点中,以保障整体的数据均衡。
project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 name 否 String 实例名称。 由英文字符开头,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。
分布式消息服务Kafka版的计费项由实例费用和存储空间费用组成。了解每种计费项的计费因子、计费公式等信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。 续费 包年/包月Kafka实例在到期后会影响Kafka实例的正常运行。如果您想
为什么消息创建时间显示1970? 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 父主题: 消息问题
实例消费正常,为什么看不到消费者? 检查是否使用Flink进行消费。Flink使用的是assign模式,消费者定义在客户端,因此在Kafka实例控制台看不到消费者。 父主题: 消费组问题
60000 ms错误 问题现象 多可用区的Kafka实例,在某个可用区故障后,Kafka客户端在生产或消费消息时,可能会报Topic {{topic_name}} not present in metadata after 60000 ms的错误,如下图所示。 问题解决措施 以下三种措施
nsumer_offsets的Topic? 问题现象:Kafka Manager中存在默认名为__trace和__consumer_offsets的Topic。 处理方法:__trace和__consumer_offsets是Kafka实例内部预留的Topic,不建议删除这两个Topic,删除后可能导致实例无法使用。
在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,Top
分布式消息服务Kafka版的版本号格式为:消息引擎类型 x.y.z,其中消息引擎类型为Kafka,版本号具体含义如图1所示。 图1 版本号示例 版本支持情况 分布式消息服务Kafka版支持的版本:1.1.0、2.7、3.x(推荐) 版本生命周期 分布式消息服务Kafka版的版本生命周期如表1所示。
Partitions:进行分区副本的重分配(不建议用户操作)。 Consumers:统计集群中的消费组状态。 图中②区域表示集群信息统计,包含集群的Topic数和集群的代理数。 图3 集群信息页 集群所有代理统计页 单击功能导航栏中的Brokers,即可进入代理统计页。如图4所示。 图中①区域代理列表,包含总的字节流入和字节流出。