-
Kafka相关概念 - 分布式消息服务Kafka版
属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流 老化时间 消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。删除的消息,无法被消费。
-
Kafka数据迁移概述 - 分布式消息服务Kafka版
Kafka的最新消息是否一致,确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。 是,执行3。 否,在监控页面查看两个Kafka的“Kafka每分钟同步数据量”是否正常,如果正常,先等待两个Kafka的同步进度一致,然后执行3。 将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。
-
产品优势 - 分布式消息服务Kafka版
Kafka实例支持消息持久化,多副本存储机制。副本间消息同步、异步复制,数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署,服务高可用 Kafka后台为多集群部署,支持故障自动迁移和容错,保证业务的可靠运行。 Kafka实例支持跨AZ部署,代理部署在不同的AZ,进一步保障服务高可用。不同AZ之间基于Kafka
-
Kafka实例查询Topic - 分布式消息服务Kafka版
Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 sync_message_flush Boolean 是否使用同步落盘。同步落盘会导致性能降低。 external_configs
-
购买Kafka实例 - 分布式消息服务Kafka版
Connect用于异构系统间的数据同步,开启Smart Connect后,设置Smart Connect任务可以实现Kafka实例和其他云服务之间的数据同步,或者两个Kafka实例之间的数据同步。 单机版实例不显示此参数。 设置“Kafka自动创建Topic”。 “Kafka自动创建Topic”默认为关闭状态,您可以选择是否开启。
-
为什么Console页面上,消息查询查不到消息? - 分布式消息服务Kafka版
为什么Console页面上,消息查询查不到消息? 可能原因1:消息已被老化。 解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。
-
修改Kafka实例配置参数 - 分布式消息服务Kafka版
在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在“配置参数”页面,在待修改参数所在行,单击“编辑”,修改配置参数。
-
分布式消息服务Kafka版 - 分布式消息服务Kafka版
Connect管理 分布式消息服务Kafka版通过开启Smart Connect,实现Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步。 支持区域: 全部 如何开启Smart Connect? 用户管理 分布式消息服务Kafka版支持对Topi
-
修改Kafka分区平衡 - 分布式消息服务Kafka版
储空间,应先进行磁盘扩容,再进行分区平衡。 自动平衡 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。
-
制作和替换Kafka的SSL证书 - 分布式消息服务Kafka版
步骤二:替换证书 登录管理控制台。 在管理控制台左上角单击,选择区域。 此处请选择与您的应用服务相同的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击待替换证书的实例名称,进入实例详情页面。 在“连接信息 >
-
状态码 - 分布式消息服务Kafka版
Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因
-
数据保护技术 - 分布式消息服务Kafka版
容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通
-
消息从生产到消费时延高达6分钟 - 分布式消息服务Kafka版
组内的所有消费者都同步完成新的消费组元数据,包括之前已经同步过的消费者,也需要重新同步。 消费组简单流程如下: 有新的消费者加入或退出,服务端记录的消费组元数据更新,服务端更新消费组进入REBALANCING状态。 服务端等待所有消费者(包含已有的消费者)同步最新的元数据。 所有
-
构造请求 - 分布式消息服务Kafka版
如“cn-north-4”,您可以从地区和终端节点获取。 scope参数定义了Token的作用域,上面示例中获取的Token仅能访问project下的资源。您还可以设置Token作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见获取用户Token。 POST
-
查看Kafka实例后台任务 - 分布式消息服务Kafka版
开启Kafka重平衡日志。 关闭日志 关闭Kafka重平衡日志。 查看Kafka实例后台任务 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
-
Kafka Manager概述 - 分布式消息服务Kafka版
Manager公网访问地址 在浏览器中输入Kafka Manager的地址,进入Kafka Manager登录页面。 如果是开启了公网访问,在本地浏览器输入Kafka Manager地址访问;如果没有开启公网访问,需要登录1的弹性云服务器,然后在浏览器输入Kafka Manager地址访问。
-
Logstash对接Kafka生产消费消息 - 分布式消息服务Kafka版
ssl_truststore_password:服务器证书密码,不可更改,需要保持为dms@kafka。 ssl_endpoint_identification_algorithm:证书域名校验开关,为空则表示关闭。这里需要保持关闭状态,必须设置为空。 如果需要了解Kafka output
-
选择和配置安全组 - 分布式消息服务Kafka版
“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例(关闭SSL加密)。 入方向
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不
-
Kafka连接问题排查和解决 - 分布式消息服务Kafka版
Java客户端常见报错 未关闭域名校验 出现下图的错误信息: 解决方案:检查consumer.properties和producer.properties文件,ssl.endpoint.identification.algorithm参数必须设置为空,关闭域名校验开关。 ssl.endpoint