检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云监控无法展示Kafka监控数据 Topic监控数据无法展示,可能原因如下: Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。
扩容过程中涉及数据迁移吗? 扩容过程中不会迁移数据。 父主题: 实例规格变更问题
查询Kafka集群元数据信息 功能介绍 查询Kafka集群元数据信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/cluster 表1 路径参数 参数 是否必选 参数类型
如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时,首先开启Smart Connect,然后创建Kafka数据复制类型的Smart Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考创建Smart
查询Kafka集群元数据信息 当前页面API为历史版本API,未来可能停止维护。请使用查询Kafka集群元数据信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/cluster 参数说明如下表所示。 表1 参数说明
deleteDMSInstanceTaskFailure 批量删除DMS实例任务 kafka batchDeleteDMSInstanceTask 提交批量删除DMS实例请求成功 kafka batchDeleteDMSInstanceSuccess 批量删除DMS实例任务执行成功 kafka b
对于按需计费的Kafka实例,控制台支持删除单个实例,也可批量删除实例。对于包年/包月的Kafka实例,如果不再使用,单击“操作”栏下的“更多 > 退订”,退订成功后,Kafka实例会自动被删除。 删除的实例能否恢复取决于是否开启回收站策略,如果未开启回收站策略,实例删除后,实例中原有的数据将被删除,且没有备份。回
单击,将Smart Connect设置为关闭,单击“下一步”。 确认“Smart Connect”为关闭状态,单击“提交”。 父主题: 使用Smart Connect迁移数据
当重复收到已处理过的消息,消费者需要告诉分布式消息服务Kafka版消费成功且保证不重复处理。 消息可以批量生产和消费 为提高消息发送和消息消费效率,推荐使用批量消息发送和消费。 图1 消息批量生产与消费 图2 消息逐条生产与消费 此外,批量消费消息时,消费者应按照接收的顺序对消息进行处理、确认,当对某一条消息处
Connect”为开启状态,单击“提交”。 后续操作 开启Smart Connect后,您可以配置Kafka间的数据复制、配置Kafka数据转储至OBS,实现分布式消息服务Kafka版和其他云服务之间的数据同步。 父主题: 使用Smart Connect迁移数据
导出Kafka Topic列表 本章节指导您在控制台导出Topic列表,支持批量导出。 前提条件 已创建Topic。 导出Topic列表 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消
较小的批量处理数值比较少用,并且可能降低吞吐量(0则会仅用批量处理)。较大的批量处理数值将会浪费更多内存空间,这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度
日志同步主要有三个关键部分:日志采集客户端,Kafka消息队列以及后端的日志处理应用。 日志采集客户端,负责用户各类应用服务的日志数据采集,以消息方式将日志“批量”、“异步”发送到Kafka客户端。 Kafka客户端批量提交和压缩消息,对应用服务的性能影响非常小。 Kafka将日志存储在消息文件中,实现日志的持久化存储。
的手段,即使这样做可能导致数据丢失。 true/false false offsets.retention.minutes 消费位点保留时间是消费位点最大保留时间,从提交消费位点的时间开始计算,超过该时间的消费位点将被删除。消费者每次向Topic分区提交一次消费位点时,该消费位点的保留时间将会被重置为0。
data 待同步Kafka数据量 Kafka任务的待同步数据量。 单位:Count ≥ 0 Kafka实例的Smart Connect任务 1分钟 kafka_synchronize_rate Kafka每分钟同步数据量 Kafka任务每分钟同步的数据量。 单位:Count ≥ 0
对话框。 单击“确定”,完成Smart Connect任务的删除。 启动/暂停Smart Connect任务 暂停任务后,Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900 单位:秒。 说明: 使用OBS通道转储流式数据时该参数为必选配置。 响应参数 状态码: 200 表4 响应Body参数
Kafka实例开始分区重平衡任务 功能介绍 该接口用于向Kafka实例提交分区重平衡任务或计算重平衡预估时间。 调用方法 请参见如何调用API。 URI POST /v2/kafka/{project_id}/instances/{instance_id}/reassign 表1
删除指定的实例 修改实例信息 批量重启或删除实例 获取实例配置 修改实例配置 实例升级 实例管理 包括: 重置密码 重置Manager密码 重启Manager 开启或关闭实例自动创建Topic功能 修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询Kafka实例的协调器信息
如何选择Kafka实例的存储空间? 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大