-
开启或关闭实例自动创建topic功能 - 分布式消息服务Kafka版
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak := os.Getenv("CLOUD_SDK_AK") sk := os.Getenv("CLOUD_SDK_SK")
-
修改Kafka实例Topic分区的副本 - 分布式消息服务Kafka版
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 调整副本操作成功。 错误码 请参见错误码。 父主题: 实例管理
-
修改自动创建Topic的配置,会触发重启吗? - 分布式消息服务Kafka版
修改自动创建Topic的配置,会触发重启吗? 开启或者关闭“Kafka自动创建Topic”,会导致Kafka重启。 父主题: Topic和分区问题
-
成本管理 - 分布式消息服务Kafka版
适合业务负载存在峰谷波动的场景。 资源编排:一键部署并维护包含多种云资源和依赖关系的资源栈。适合交付整体系统、克隆环境等场景。 自动化运维:以服务化的方式定义一组运维操作,高效执行运维任务。适合定时运维、批量运维、跨地域运维等场景。
-
为什么Console页面上,消息查询查不到消息? - 分布式消息服务Kafka版
解决方法:检查客户端消息的createTime设置是否正确。 可能原因3:磁盘容量超过95%,且“容量阈值策略”设置为“自动删除”。 “容量阈值策略”设置为“自动删除”,表示磁盘容量达到95%时,系统会删除最早的10%的消息,以保证磁盘容量充足。当磁盘容量超过95%时,未到达老化时
-
与开源Kafka的差异 - 分布式消息服务Kafka版
分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项 分布式消息服务Kafka版 开源Kafka 简单易用 立等可用 即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。
-
测试Kafka生产速率和CPU消耗 - 分布式消息服务Kafka版
Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400 执行结果如下: 8000000 records sent, 34128.673632 records/sec (33.33 MB/sec),
-
自动续费 - 分布式消息服务Kafka版
”页签的资源开通自动续费。 为包年/包月资源开通自动续费。 单个资源开通自动续费:选择需要开通自动续费的Kafka实例,单击操作列“开通自动续费”。 图2 单个资源开通自动续费 批量资源开通自动续费:选择需要开通自动续费的Kafka实例,单击列表左上角的“开通自动续费”。 图3 多个资源开通自动续费
-
修改Kafka实例配置参数 - 分布式消息服务Kafka版
参数说明 参数范围 默认值 auto.create.groups.enable 是否开启自动创建消费组功能。 2023年4月25日及以后创建的实例支持在控制台修改此参数,在此之前创建的实例默认开启自动创建消费组功能,无法在控制台关闭此功能。 true/false true offsets
-
约束与限制 - 分布式消息服务Kafka版
Topic数量和Topic总分区数、每个Topic的分区数有关,具体请参考产品规格。 是否支持自动创建Topic 支持。开启自动创建Topic表示生产或消费一个未创建的Topic时,系统会自动创建此Topic,此Topic的默认参数值如下: 分区数为3。 副本数为3。 老化时间为72小时。
-
配置Kafka自动创建Topic - 分布式消息服务Kafka版
配置Kafka自动创建Topic “Kafka自动创建Topic”表示在生产或消费一个未创建的Topic时,会自动创建此Topic,此Topic的默认参数值如下: 分区数为3。 副本数为3。 老化时间为72小时。 不开启同步复制和同步落盘。 消息时间戳类型为CreateTime。
-
修改Kafka分区平衡 - 分布式消息服务Kafka版
通过以下任意一种方法,修改分区平衡。 勾选Topic名称左侧的方框,可选一个或多个,单击信息栏左上侧的“一键平衡 > 自动平衡”。 在待修改分区平衡的Topic所在行,单击“更多 > 一键平衡 > 自动平衡”。 设置自动平衡参数。 在“Brokers列表”区域,勾选目标Broker的名称,Topic分区的副本即将迁移至目标Broker上。
-
产品优势 - 分布式消息服务Kafka版
加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化,多副本存储机制。副本间消息同步、异步复制,数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署,服务高可用 Kafka后台为多集群部署,支持故障自动迁移和容错,保证业务的可靠运行。 Kafka实例支持跨AZ部
-
典型应用场景 - 分布式消息服务Kafka版
常小。 Kafka将日志存储在消息文件中,实现日志的持久化存储。 日志处理应用,如Logstash,订阅并消费Kafka中的日志消息,最终供文件搜索服务检索日志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstas
-
如何选择Kafka实例的存储空间? - 分布式消息服务Kafka版
r数据的存储,因而实际可用存储会小于购买存储。 其中,副本数在创建Topic时可以选择,默认为3副本存储。如果开启了Kafka自动创建Topic功能,自动创建的Topic默认为3副本,副本数可以通过“配置参数”页签中的“default.replication.factor”修改。
-
优化消费者轮询(Polling) - 分布式消息服务Kafka版
ConsumerRecords<String, String> records = receiver.receiveMessage(); Iterator<ConsumerRecord<String, String>> iter = records.iterator();
-
数据保护技术 - 分布式消息服务Kafka版
副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自动故障切换,并且故障恢复后会从leader副本进行数据同步,保持数据一致性。 创建多副本的Topic 数据持久化 业务系统日常运行中可能出现一些小概率的异常事件。部分可靠性要求非常高的业务系统,除
-
API概览 - 分布式消息服务Kafka版
信息、批量重启或删除实例、获取实例配置、修改实例配置。 实例管理 包括重置密码、重置Manager密码、重启Manager、开启或关闭实例自动创建Topic功能、修改实例跨VPC访问的内网IP、查询Kafka集群元数据信息、查询消费组信息、查询Kafka实例的协调器信息、修改Ka
-
Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? - 分布式消息服务Kafka版
Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? 支持自动生成Topic功能,但不支持Topic批量导入功能,仅支持批量导出Topic功能。 通过以下任意一种方法,开启自动生成Topic功能: 创建实例时,开启Kafka自动创建Topic。 创建实例后,在实例详情页开启Kafka自动创建Topic。
-
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? - 分布式消息服务Kafka版
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto