-
Kafka客户端使用建议 - 分布式消息服务Kafka版
等于Topic副本数,否则宕机1个副本会导致无法生产消息。 创建方式:支持选择是否开启Kafka自动创建Topic的开关。选择开启后,表示生产或消费一个未创建的Topic时,系统会自动创建此Topic,此Topic的默认参数值如下:分区数为3,副本数为3,老化时间为72小时,不开
-
如何选择Kafka实例存储容量阈值策略? - 分布式消息服务Kafka版
盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。
-
修订记录 - 分布式消息服务Kafka版
修改Kafka实例创建Topic和新增Kafka实例指定Topic分区的分区数最大值。 2021-05-11 本次变更如下: 修改开启或关闭实例自动创建topic功能的返回状态码和返回描述。 2021-04-16 新增以下接口: 查询用户列表 创建用户 批量删除用户 重置用户密码 查询用户权限
-
权限管理 - 分布式消息服务Kafka版
足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DMS for Kafka服
-
删除Kafka消费组 - 分布式消息服务Kafka版
enable”设置为“true”,当消费组的状态为“EMPTY”且从未提交过offset,系统将在十分钟后自动删除该消费组。 若“auto.create.groups.enable”设置为“false”,系统不会自动删除消费组。如果需要删除消费组,需要您手动删除。 若消费组从未提交过offset,当Kafka实例重启后,该消费组会被删除。
-
查看和修改Kafka实例基本信息 - 分布式消息服务Kafka版
修改容量阈值策略,不会重启实例。 系统跳转到“后台任务管理”页面,并显示当前任务的操作进度和结果。 Kafka自动创建Topic 开启/关闭Kafka自动创建Topic,弹出“确认”对话框,单击“确定”。 开启/关闭“Kafka自动创建Topic”可能会导致实例重启,具体以控制台显示为准。 系统跳转到“后台任务
-
包年/包月转按需 - 分布式消息服务Kafka版
在费用中心转按需 进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“到期转按需项”页签查询已经设置到期转按需的资源。 可对“手动续费项”、“自动续费项”、“到期不续费项”页签的资源设置到期转按需的操作。 设置包年/包月资源到期后转按需。 单个资源到期转按需:选择需要更改计费模式的Kafka实例,单击操作列“更多
-
配置Kafka的SSL双向认证 - 分布式消息服务Kafka版
@#$%^&*()-_=+\|[{}]:'",<.>/?和空格,并且不能以-开头。 非弱密码(如果不能确定哪些是弱密码,请在开启SSL双向认证对话框中输入密码,系统会自动判定是否为弱密码)。 按照提示信息输入证书拥有者的信息,如姓名、单位、所在城市等。 执行以下命令,创建CA的认证证书。 openssl req
-
消息从生产到消费时延高达6分钟 - 分布式消息服务Kafka版
消费组rebalance图 从以上图中可以看出,消费组rebalance的性能在7月1号06:49(即北京时间7月1号14:49)以后存在明显劣化的情况,导致客户端异常。 根因描述 用户业务中偶尔会存在某一个消费者无法及时响应rebalance的动作,导致整个消费组消费阻塞,一直到该消费者响应rebalance动作为止。
-
查看Kafka Topic详情 - 分布式消息服务Kafka版
基本信息:包含Topic名称、关联代理、分区数和创建时间。 2023年7月10日以及之前创建的Topic,在Topic详情页面不显示创建时间。 自动创建的Topic、在客户端使用命令行创建的Topic、在客户端通过代码创建的Topic、以及使用Kafka Manager创建的Topic,在Topic详情页面不显示创建时间。
-
制作和替换Kafka的SSL证书 - 分布式消息服务Kafka版
@#$%^&*()-_=+\|[{}]:'",<.>/?和空格,并且不能以-开头。 非弱密码(如果不能确定哪些是弱密码,请在替换证书对话框中输入密码,系统会自动判定是否为弱密码)。 按照提示信息输入证书拥有者的信息,如姓名、单位、所在城市等。 执行以下命令,创建CA的认证证书。 openssl req
-
创建实例 - 分布式消息服务Kafka版
BssParam 参数 是否必选 参数类型 描述 is_auto_renew 否 Boolean 是否自动续订。 取值范围: true: 自动续订。 false: 不自动续订。 默认不自动续订。 charging_mode 否 String 计费模式。 功能说明:付费方式。 取值范围:
-
按需转包年/包月 - 分布式消息服务Kafka版
单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 转包周期”,跳转到“按需转包年/包月”页面。 选择Kafka实例的购买时长,判断是否勾选“自动续费”,确认预计到期时间和配置费用后单击“去支付”。 图1 按需转包年/包月 进入支付页面,选择支付方式,确认付款,支付订单后即可完成按需转包年/包月。
-
查看Kafka实例后台任务 - 分布式消息服务Kafka版
任务名 说明 创建实例 创建一个Kafka实例。 重启实例 重启Kafka实例。 Kafka配置参数修改 修改Kafka的配置参数。 开启/关闭自动创建Topic。 容量阈值策略变更 修改Kafka实例的容量阈值策略。 Kafka动态配置SSL 修改明文接入/密文接入。 配置公网访问 开启/关闭公网访问。
-
快速连接Kafka并生产消费消息 - 分布式消息服务Kafka版
内网IP地址 选择“自动分配”,即系统自动分配子网中可用的IP地址。 公网访问 - 选择“不开启”。 图4 实例的访问方式 单击“更多配置”,设置更多相关信息,配置详情请参考表5。 表5 更多配置 参数 说明 Smart Connect 选择“不开启”。 Kafka自动创建Topic 选择“不开启”。
-
Kafka连接问题排查和解决 - 分布式消息服务Kafka版
truststore.password=dms@kafka Topic名称错误 出现下图的错误信息: 解决方案:用户重新创建Topic或者打开自动创建Topic开关。 Go客户端常见报错 使用GO客户端无法连接Kafka SSL,报“first record does not look
-
Python - 分布式消息服务Kafka版
SSL用户时设置的用户名和密码。 consumer_id:消费组名称。根据业务需求,自定义消费组名称,如果设置的消费组不存在,Kafka会自动创建。 context.load_verify_locations:证书文件。使用Python语言连接实例时,需要用CRT格式的证书。 s
-
使用客户端连接Kafka(明文接入) - 分布式消息服务Kafka版
图3 公网访问Kafka实例的连接地址(实例未开启SASL) 图4 公网访问Kafka实例的连接地址(明文接入) 如果Kafka实例未开启自动创建Topic功能,在连接实例前,请先创建Topic。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2
-
错误码 - 分布式消息服务Kafka版
records on each page for pagination query exceeds the upper limit. 分页查找的分页大小超出范围。 请检查分页大小 400 DMS.10240043 The number of skipped records for
-
创建Kafka实例 - 分布式消息服务Kafka版
略。取值如下: time_base:自动删除 produce_reject:生产受限 connector_enable Boolean 否 表示是否开启转储开关。 enable_auto_topic Boolean 否 是否打开Kafka自动创建Topic功能。 true:开启 false:关闭