检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
group_id String 消费组ID。 id Integer 对应协调器的broker id。 host String 对应协调器的地址。 port Integer 端口号。 请求示例 GET https://{endpoint}/v2/{project_id}/insta
获取SK的方法,具体请参见新增访问密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择:在下拉列表中选择已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。 输入:输入已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。
ObsDestinationDescriptor obsDestinationDescriptorbody = new ObsDestinationDescriptor(); obsDestinationDescriptorbody.withTopics("topic-test")
产消费消息。 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。本章节介绍两个Kafka实例如何使用MirrorMaker单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因,以及处理措施。 业务过载处理建议
当分区中的消息都已老化,或尚未生产消息时,“最早更新时间”和“最近更新时间”显示“--”,如下图所示。 图2 分区信息 生产者信息:包含Broker地址、生产者地址和加入时间。 2023年7月10日以及之前创建的Topic,在Topic详情页面不显示“生产者”页签。 父主题: Topic管理
单击“下载”,下载连接实例的SSL证书。 内网连接地址 未开启公网访问时,连接实例的地址。 显示的连接地址个数为实例代理个数。 Manager内网访问地址 未开启公网访问时,连接Kafka Manager的地址。 2023年5月17日及以后创建的实例不提供此地址。 Manager用户名 连接Kafka
SmartConnectTaskReqSourceConfig 参数 是否必选 参数类型 描述 redis_address 否 String Redis实例地址。(仅源端类型为Redis时需要填写) redis_type 否 String Redis实例类型。(仅源端类型为Redis时需要填写) dcs_instance_id
Kafka监控显示消息堆积数跟实例里的消息数不一致? 问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。 问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。
descriptionUpdateInstanceReq:= "kafka description" nameUpdateInstanceReq:= "kafka001" request.Body = &model.UpdateInstanceReq{ Description:
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
assignment_strategy String 分区分配策略。 表4 members 参数 参数类型 描述 host String 消费组consumer地址。 assignment Array of assignment objects consumer分配到的分区信息。 member_id String
开源Kafka 简单易用 立等可用 即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉
生产者列表 表4 producers 参数 参数类型 描述 producer_address String 生产者地址 broker_address String broker地址 join_time Long 加入时间 请求示例 查询Topic的当前生产者列表 GET https://
Topic未设置老化时间时,此参数才对此Topic生效。 1 ~ 168 单位:小时 72 max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 group.max.session.timeout
SmartConnectTaskRespSourceConfig 参数 参数类型 描述 redis_address String Redis实例地址。(仅源端类型为Redis时会显示) redis_type String Redis实例类型。(仅源端类型为Redis时会显示) dcs_instance_id
取。 消息生产与消费的幂等传递 分布式消息服务Kafka版设计了一系列可靠性保障措施,确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电,使用消息确认(ACK)机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况,用户除了做好消息生产与消费的确
消费者都会停止消费,等待Rebalance完成。 可能会触发Rebalance的原因: 消费组成员个数发生变化,例如有新的消费者加入,或者有消费者退出。 消费组订阅的Topic个数发生变化。 消费组订阅的Topic分区数发生变化。 重平衡日志记录Rebalance的详情,包括Re
ListEngineProductsEntity 参数 参数类型 描述 type String 产品类型。当前产品类型有单机和集群。 product_id String 产品ID。 ecs_flavor_id String 底层资源类型。 billing_code String 账单计费类型。
cd180d14e684b", "name": "xxx-xxx-xxx", "description": "", "links": { "next": null,
客户端发送消息的重试次数。值大于0时,这些数据发送失败后,客户端会重新发送。 注意,这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序,如果这两个消息记录都是发送到同一个partition,则第一个消息失败第二个发送成功,则第二条消息会比第一条消息出现要早。 针对网络闪断场景,生产者