检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MirrorMaker配置参数 参数名 默认值 说明 sync.topic.configs.enabled true 是否监控源集群的配置更改 sync.topic.acls.enabled true 是否监控源集群ACL的更改 emit.heartbeats.enabled true 连接器应定期发出心跳
使用内网通过同一个VPC访问Kafka实例（密文接入）。 安全组创建后，系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则。此时使用内网通过同一个VPC访问Kafka实例，无需添加表1的规则。 构建生产消费客户端。 本文以Linux系统的弹性云服务器（Elastic Cloud
查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询Kafka实例所有消费组对应的协调器信息 新增Kafka实例指定Topic分区 调整Kafka实例Topic分区的副本 2019-06-04
Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构 Kafka实例作为Logstash输出源的示意图如下。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
enable”设置为“true”，当消费组的状态为“EMPTY”且从未提交过offset，系统将在十分钟后自动删除该消费组。 若“auto.create.groups.enable”设置为“false”，系统不会自动删除消费组。如果需要删除消费组，需要您手动删除。 若消费组从未提交过off
前提条件 已准备一台Linux系统的服务器，并安装Java Development Kit 1.8.111或以上版本，配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一：制作客户端验证服务端的证书 登录Linux系统的服务器，执行以下命令，生成server
4等。选择压缩算法时，需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法，压缩耗时也越高。对于性能要求高的系统，可以选择压缩速度快的算法，比如LZ4；对于需要更高压缩比的系统，可以选择压缩率高的算法，比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。
包月的Kafka实例，用户在购买时会一次性付费，服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源，您可以执行退订操作，系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。需要注意，如
公网访问，访问实例前，需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，则无需添加其他规则。否则，请添加表1所示规则。 表1
实例创建成功后，跨VPC访问安全协议无法修改。 内网IP地址 根据实际需求选择“自动分配”或“手动选择”。 自动分配：系统自动分配子网中可用的IP地址。 手动选择：在下拉框中勾选指定的IP地址。如果指定的IP地址数量少于代理数量时，系统会自动为剩余代理分配IP地址。 公网访问 接入方式 接入方式分为以下两种： 明文接
protocol=SASL_SSL ## spring.kafka.ssl.trust-store-location为SSL证书的存放路径，如下代码以Windows系统路径格式举例，您在使用时请根据实际运行环境修改路径格式。 spring.kafka.ssl.trust-store-location=file:D:\\temp\\client
在Kafka控制台的“消息查询”页面，查看两个Kafka的最新消息是否一致，确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。 是，执行3。 否，在监控页面查看两个Kafka的“Kafka每分钟同步数据量”是否正常，如果正常，先等待两个Kafka的同步进度一致，然后执行3。 将消费客户端的
kafka_private_connect_address String Kafka实例私有连接地址。 ces_version String 云监控版本。 tags Array<Object> 标签列表。 表3 tags 参数 参数类型 描述 key String 标签的键。 value
and CLOUD_SDK_SK in the local environment ak = os.getenv("CLOUD_SDK_AK") sk = os.getenv("CLOUD_SDK_SK") credentials = BasicCredentials(ak
故障恢复后会从leader副本进行数据同步，保持数据一致性。 创建多副本的Topic 数据持久化 业务系统日常运行中可能出现一些小概率的异常事件。部分可靠性要求非常高的业务系统，除了要求实例高可用，还要求数据安全、可恢复，以便在实例发生异常后能够使用备份数据进行恢复，保障业务正常运行。
前提条件 给用户组授权之前，请您了解用户组可以添加的DMS for Kafka系统策略，并结合实际需求进行选择，DMS for Kafka支持的系统策略及策略间的对比，请参见：DMS for Kafka系统策略。若您需要对除DMS for Kafka之外的其它服务授权，IAM支持服务的所有策略请参见权限策略。
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
开始时间必须为22:00:00、02:00:00、06:00:00、10:00:00、14:00:00和18:00:00。 该参数不能单独为空，若该值为空，则结束时间也为空。系统分配一个默认开始时间02:00:00。 maintain_end String 否 维护时间窗结束时间，格式为HH:mm:ss。 维护时间
替换证书将重启实例，请谨慎操作。 前提条件 已准备一台Linux系统的服务器，并安装Java Development Kit 1.8.111或以上版本，配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一：制作证书 登录Linux系统的服务器，执行以下命令，生成server
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
