检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器，确保弹性云服务器与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云服务器。 登录弹性云服务器，安装Java JDK，并配置JAVA_HOME与PATH环境变量，使用执行用户在用户家目录下修改“.
Connect任务。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络，方法可以参考使用VPCEP实现跨VPC访问Kafka或者对等连接。 Smart Connect任务创建成功后，不支持修改任务参数。 2022年7月1日前已开启Smart
生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env = StreamExecutionEnvironment.get
IPv6 9193 Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例（开启SSL加密）。 否，执行2。 参考如下配置安全组规则。 假设客户端和Kafka实例的安全组分别为：sg-53d4、Default_All。以下规则，远端可使用安全组，也可以
afka实例不能直接通信，需要打通VPC之间的网络。 客户端连接Kafka实例的方式如表1所示。 表1 连接方式说明 连接方式 实现方式 参考文档 公网连接 客户端通过IPv4地址访问Kafka实例：在Kafka控制台开启公网访问，配置弹性公网IP，客户端通过弹性公网IP访问Kafka实例。
/bin/logstash -f ./config/output.conf 返回“Successfully started Logstash API endpoint”时，表示启动成功。 图4 启动Logstash 在Logstash中，生产消息，如下图所示。 图5 生产消息 切换到K
opic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时，系统会自动创建此Topic，此Topic的默认参数值如表1所示。 集群实例支持在“配置参数”中修改“log
生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env = StreamExecutionEnvironment.get
前提条件 已打通客户端和Kafka实例之间的网络，具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问开启密文接入的Kafka实例时，实例需要配置正确的安全组规则，否则会连接失败。安全组规则的配置请参考表2。 已获取连接Kafka实例的地址。 在Kafka控制台的“基本信息
Kafka自定义策略样例 如果系统预置的DMS for Kafka权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项（Action）请参考细粒度策略支持的授权项。 目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云
在左侧导航栏单击“重平衡日志”，进入“重平衡日志”页面。 在“仪表盘”页签，查看消费组重平衡次数和原因。在“日志查询”页签，查看重平衡日志。 如果您需要搜索日志，请参考进入搜索LTS日志页面进行操作。 重平衡日志示例如下： { "level":"INFO", "timestamp":"2023-03-23
存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。图中价格仅供参考，实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 按需计费Kafka实例费用计算示例（华北-北京四区域） 变更配置后对计费的影响
Kafka单机/集群实例对Topic的总分区数设置了上限，当Topic的总分区数达到上限后，用户就无法继续创建Topic。不同规格配置的Topic总分区数不同，具体请参考Kafka集群实例和Kafka单机实例。 已开启密文接入的实例，“allow.everyone.if.no.acl.found”为“fal
存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。图中价格仅供参考，实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 包年/包月Kafka实例费用计算示例（华北-北京四区域） 变更配置后对计费的影响
pic分区后，单击“重置消费进度”。 重置所有Topic所有分区的消费进度：单击“重置所有消费进度”。 在弹出的“重置消费进度”对话框中，参考表1，设置重置消费进度参数。 表1 重置消费进度参数说明 参数 说明 重置类型 选择重置类型： 时间：重置消费进度到指定的时间。 偏移量：重置消费进度到指定的偏移量。
费并发度），确保分区数/消费者数=整数，建议消费者数和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
