检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若“auto.create.groups.enable”设置为“true”,当消费组的状态为“EMPTY”且从未提交过offset,系统将在十分钟后自动删除该消费组。 若“auto.create.groups.enable”设置为“false”,系统不会自动删除消费组。如果需要删除消费组,需要您手动删除。
"storage_spec_code": "dms.physical.storage.high.v2" } name:实例名称,由您自行定义。 engine:消息引擎,设置kafka。 engine_version:消息引擎的版本。 broker_num:代理个数。 storage_space:消息存储空间,
时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DMS for Kafka时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。
L证书”对话框。 图2 连接信息 参考表1,设置替换SSL证书的参数。 图3 替换SSL证书 表1 替换SSL证书参数说明 参数名称 说明 Key密码 输入制作证书中设置的keystore密码 Keystore密码 输入制作证书中设置的keystore密码 Keystore文件 导入“server
被踢出消费组,此时可能会导致消费异常,需要重点关注。 消费者被服务端认为异常从而被踢出消费组的场景如下: 未能及时发送心跳请求。 消费者以设置的heartbeat.interval.ms为间隔向broker发送心跳请求,如果broker在session.timeout.ms时间内
概述 Kafka实例完全兼容开源Kafka协议,可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。
backoff.ms=1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间(单位为ms),超过这个时间则会抛Timeout异常。 超时时间如果设置大一些,如127000(127秒),高并发的场景中,能减少发送失败的情况。 block.on
未开启IPv6的实例,安全协议支持在控制台修改。先在Kafka实例的详情页的“连接信息”区域,关闭密文接入,然后再开启密文接入,此时可以重新设置安全协议。 已开启IPv6的实例,实例创建后,不支持修改安全协议。 父主题: 实例问题
List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何创建用户、重置用户密码、修改用户信息和删除用户。创建用户后,对Topic进行用户授权的操作,请参见设置Kafka Topic权限。 一个K
在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,Top
费组。 解决办法:关闭自动创建消费组功能,即在Kafka控制台的“配置参数”页面,把“auto.create.groups.enable”设置为“false”,然后再删除消费组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数,具体以控制台为
会删除偏移量为2到4的消息。 说明: 如果“偏移量”设置为“-1”,表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间,消息将不会被删除。 如果需要删除多个分区的消息,单击“添加分区”,设置需要删除消息的分区和偏移量。每次最多可选择10个分区。
默认值会是0或者-1,则查询不到消息。 解决方法:检查客户端消息的createTime设置是否正确。 可能原因3:磁盘容量超过95%,且“容量阈值策略”设置为“自动删除”。 “容量阈值策略”设置为“自动删除”,表示磁盘容量达到95%时,系统会删除最早的10%的消息,以保证磁盘容量
enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。 如果在配置参数中设置“auto.create.groups.enable”为“false”,在消费消息前,需要先创建消费组,否则会导致消费失败。 如果在配置参数中设置“auto.create.groups.enable”为“true
单击待开启SSL双向认证的实例名称,进入实例详情页面。 在“连接信息 > SSL双向认证”后,单击,开启SSL双向认证。 在弹出的“SSL双向认证”对话框中,参考表1,设置开启SSL双向认证的参数。 图2 开启SSL双向认证 表1 开启SSL双向认证参数说明 参数名称 说明 Key密码 输入server.keystore
磁盘类型选择“超高I/O”,磁盘大小设置为“100GB”。 图3 设置实例规格和存储空间 设置实例网络环境信息,如图4所示,配置详情请参考表4。 表4 设置实例网络环境信息 参数 说明 虚拟私有云 虚拟私有云在Kafka实例创建完成后,不支持修改。 选择准备工作中设置好的虚拟私有云。 子网
首次开启密文接入时设置的用户名,或者创建用户时设置的用户名。 密码 “认证方式”为“SASL_SSL”/“SASL_PLAINTEXT”时,需要设置。 首次开启密文接入时设置的密码,或者创建用户时设置的密码。 Smart Connect任务创建成功后,如果您修改了对端实例的认证方式、认
(可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
user/password:首次开启密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。 caFile:证书文件。如果Kafka安全协议设置为“SASL_SSL”,需要设置此参数。 security.pro
密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。 context.load_verify_locations:证书文件。如果Kafka安全协议设置为“SASL_SSL”,需要设置此参数。使用