检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
（可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和密码，请跳过此步骤，执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL，时延增加等）导致消费时间增加，在max
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak := os.Getenv("CLOUD_SDK_AK") sk := os.Getenv("CLOUD_SDK_SK")
您需要通过公网地址访问Kafka实例时，可开启实例的公网访问功能，并设置公网带宽。当开启成功后，您还可以根据需要修改公网带宽的大小，当前仅支持带宽扩容，不支持缩容。 部分区域不支持“基准带宽”为“100MB/s”的Kafka实例开启公网访问，具体以控制台为准。 支持区域： 全部 设置实例公网访问 消息查询 您可以查
insync.replicas 当producer将acks设置为“all”(或“-1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度。 0 ~ 10485760 单位：字节 10485760 unclean
true #B->A.topics = .* # 设置副本个数，如果是要同步多个Topic且副本数各不相同，建议先创建同名同副本数的Topic再启动MirrorMaker replication.factor=3 # 设置消费进度同步方向，可以单向同步也可互相同步 A->B.sync
（可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和密码，请跳过此步骤，执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ConsumerRecords<String, String> records = receiver.receiveMessage(); Iterator<ConsumerRecord<String, String>> iter = records.iterator();
Kafka生产消息的最大长度是多少？ 生产消息的最大长度为10M。 父主题： 消息问题
enable”表示在消费者进入未创建的消费组时，会自动创建此消费组。 如果在配置参数中设置“auto.create.groups.enable”为“false”，在消费消息前，需要先创建消费组，否则会导致消费失败。 如果在配置参数中设置“auto.create.groups.enable”为“true
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ACL用户，设置用户信息。 表1 创建用户参数说明 参数 说明 用户名 连接Kafka实例的用户名，用户名支持自定义，但需要符合命名规则：长度为4~64个字符，由英文字母开头，只能由英文字母、数字、中划线、下划线组成。 密码 连接Kafka实例的密码，密码需要符合以下规则： 长度为8~32个字符。
首次开启密文接入时设置的用户名，或者创建用户时设置的用户名。 密码 “认证方式”为“SASL_SSL”/“SASL_PLAINTEXT”时，需要设置。 首次开启密文接入时设置的密码，或者创建用户时设置的密码。 Smart Connect任务创建成功后，如果您修改了对端实例的认证方式、认
Kafka实例的Topic数量是否有限制？ Topic数量和Topic总分区数、每个Topic的分区数有关，Kafka实例对Topic总分区数设置了上限，当达到上限后，会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同，如下表所示。 表1 Kafka集群实例规格
磁盘类型选择“超高I/O”，磁盘大小设置为“100GB”。 图3 设置实例规格和存储空间 设置实例网络环境信息，如图4所示，配置详情请参考表4。 表4 设置实例网络环境信息 参数 说明 虚拟私有云 虚拟私有云在Kafka实例创建完成后，不支持修改。 选择准备工作中设置好的虚拟私有云。 子网
义的标签，或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签，标签的命名规格，请参考配置Kafka实例标签章节。 描述 设置实例的描述信息，长度为0~1024个字符。 表7 Topic参数值 参数名称 单机实例默认参数值
参数说明 参数 类型 是否必选 说明 id String 是 topic名称，长度为4-64，以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition Integer 否 topic分区数，设置消费的并发数。 默认值为3，取值范围为1~100。 replication
ms的错误，如下图所示。 问题解决措施 以下三种措施都可以解决此问题，请根据实际情况任意选择一种。 升级Kafka客户端的版本到2.7或以上版本，并设置“socket.connection.setup.timeout.ms”大于1s，且小于“request.timeout.ms/Kafka服务端节点数”。
执行。如果关闭，在需要执行此任务时，您可以在Smart Connect任务列表中手动开启任务。 在“源端配置”中，保持默认设置。 在“Topic配置”中，设置以下参数。 表1 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic，并进行转储。 输入/选择
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
