-
如何将Kafka实例中的数据同步到另一个Kafka实例中? - 分布式消息服务Kafka版
如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例之间没有好的实时同步方案,如果需要做实例迁移,可以同时向两个实例生产消息,源实例中的消息可继续消费,待源实例的消息数据全部被消费完或老化后,业务可迁移到新的Kafka实例。具体请参考Kafka业务迁移。 父主题:
-
Logstash对接Kafka生产消费消息 - 分布式消息服务Kafka版
conf”配置文件。 图7 创建“input.conf”配置文件 在“input.conf”配置文件中,增加如下内容,连接Kafka实例。 input { kafka { bootstrap_servers => "ip1:port1,ip2:port2,ip3:port3"
-
查看Kafka监控数据 - 分布式消息服务Kafka版
在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 通过以下任意一种方法,查看监控数据。 在Kafka实例名称后,单击“查看监控数据”。跳转到云监控页
-
修改Kafka分区平衡 - 分布式消息服务Kafka版
在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“Topic管理”,进入Topic列表页面。
-
查看Kafka Topic详情 - 分布式消息服务Kafka版
在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。
-
Kafka客户端使用建议 - 分布式消息服务Kafka版
hosts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC,否则会阻塞消息的生产和消费。 父主题: 配置Kafka客户端
-
导出Kafka Topic列表 - 分布式消息服务Kafka版
在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。
-
查询可用区信息 - 分布式消息服务Kafka版
查询可用区信息 功能介绍 在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v2/available-zones 请求参数 无 响应参数 状态码: 200 表1 响应Body参数 参数 参数类型 描述 region_id
-
管理Smart Connect任务 - 分布式消息服务Kafka版
暂停任务后,Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。
-
修改自动创建Topic的配置,会触发重启吗? - 分布式消息服务Kafka版
修改自动创建Topic的配置,会触发重启吗? 开启或者关闭“Kafka自动创建Topic”,会导致Kafka重启。 父主题: Topic和分区问题
-
使用客户端连接Kafka(密文接入) - 分布式消息服务Kafka版
0版本,确保Kafka实例版本与命令行工具版本相同。 已创建弹性云服务器,如果使用内网通过同一个VPC访问实例,请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。在弹性云服务器中安装Java Development Kit 1.8.111或以上版本,并配置JAVA_HOME与PATH环境变量,具体方法如下:
-
使用客户端连接Kafka(明文接入) - 分布式消息服务Kafka版
实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改Kafka实例配置参数来修改单IP的连接数。 前提条件 已配置正确的安全组。 访问未开启密
-
重置消费组消费进度到指定位置 - 分布式消息服务Kafka版
待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。 调用方法 请参见如何调用API。 URI PUT /v2/kafka/{project_id}/instances
-
创建Kafka消费组 - 分布式消息服务Kafka版
在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“消费组管理”,进入消费组列表页面。
-
Kafka连接问题排查和解决 - 分布式消息服务Kafka版
curl -kv {ip}:{port} 网络正常,如下: 网络异常/不通,如下: 解决方案: 检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Cons
-
Kafka实例的内网连接地址可以修改吗? - 分布式消息服务Kafka版
Kafka实例的内网连接地址可以修改吗? 不支持修改,且不支持指定IP地址。 父主题: 连接问题
-
使用MirrorMaker跨集群同步数据 - 分布式消息服务Kafka版
checkpoints.enabled true 连接器应定期发出消费端偏移量信息 emit.checkpoints.interval.seconds 5秒 检查点的频率 refresh.topics.enabled true 连接器应定期检查新主题 refresh.topics.interval
-
关闭Smart Connect(按需实例) - 分布式消息服务Kafka版
关闭Smart Connect(按需实例) 功能介绍 介绍按需实例如何关闭Smart Connect。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instances/{instance_id}/delete-connector
-
与其他云服务的关系 - 分布式消息服务Kafka版
、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP(Elastic IP) 弹性公网IP提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。Kafka实例绑定弹性公网IP后,可以通过公网访问Kafka实例。 标签管理服务(Tag
-
连接问题 - 分布式消息服务Kafka版
开启公网访问后,在哪查看公网IP地址? Kafka支持服务端认证客户端吗? 连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 下载的证书JKS和CRT有什么区别? Kafka支持哪个版本的TLS? Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少?