检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例的状态。详细状态说明见实例状态说明。 instance_id String 实例ID。 resource_spec_code String 资源规格标识。 dms.instance.kafka.cluster.c3.mini:Kafka实例的基准带宽为100MByte/秒。 dms
表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
Topic详情 修改Kafka Topic配置 修改Kafka Topic分区数 修改Kafka Topic副本数 导出Kafka Topic列表 修改Kafka分区平衡 配置Kafka自动创建Topic 删除Kafka Topic 父主题: 配置Topic
多个消费者同时进行消费,每个线程均为长连接。当Topic中消息较少或者没有消息时,连接不断开,所有消费者不间断地拉取消息,这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 解决方案 在开了多个线程同时访问的情况下,如果Topic里已经没有消息了,其实不需要所有的线
如当前偏移量已被删除)时,消费者的消费策略。取值如下: latest:偏移量自动被重置到最晚偏移量。 earliest:偏移量自动被重置到最早偏移量。 none:向消费者抛出异常。 如果将此配置设置为latest,新增分区时,生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息,从而导致部分消息丢失。
objects kafka配置列表。 表3 InstanceConfig 参数 参数类型 描述 name String 配置名称。 valid_values String 有效值。 default_value String 默认值。 config_type String 配置类型:static/dynamic。
实例的状态。详细状态说明见实例状态说明。 instance_id String 实例ID。 resource_spec_code String 资源规格标识。 dms.instance.kafka.cluster.c3.mini:Kafka实例的基准带宽为100MB。 dms.instance
found”在配置参数中修改。 如果“allow.everyone.if.no.acl.found”设置为“false”,此时只有授权的用户可以订阅/发布此Topic,其他未授权的用户不能订阅/发布此Topic。“allow.everyone.if.no.acl.found”在配置参数中修改。
值如表1所示。 集群实例支持在“配置参数”中修改“log.retention.hours”(老化时间)、“default.replication.factor”(副本数)或“num.partitions”(分区数)的参数值,单机实例不支持修改配置参数。修改参数值后自动创建的Topic,Topic参数值为修改后的值。
启单个Kafka实例,或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例
配置消息堆积数监控 方案概述 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 如果您想要在消费组的消息堆积数超过阈值时,通过短信/邮件及时收到通知信息,
查看监控指标与配置告警 查看Kafka监控数据 Kafka支持的监控指标 配置Kafka监控告警
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka的SSL证书 JKS格式SSL证书转换PEM格式 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
在Windows主机中,解压Logstash压缩包,进入“config”文件夹,创建“output.conf”配置文件。 图3 创建“output.conf”配置文件 在“output.conf”配置文件中,增加如下内容,连接Kafka实例。 input { stdin {} } output
查看Kafka流控统计 如果Kafka配置了流量控制,可在控制台查看当前流控策略下,每个代理上用户/客户端/Topic的带宽使用量。 约束与限制 单机实例不支持查看流控监控。 查看带宽使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行权限拆分,授权更加精细,可以精确到某个操作、资源和条件,能够满足企业对权限最小化的安全管控要求。 DMS for Kafka系统策略说明请参考权限管理。 如果您要允许或是禁止某个接口的操作权限,请使用策略。
配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题: 连接实例
选择和配置安全组 Kafka实例支持使用内网通过同一个VPC访问、跨VPC访问、通过DNAT访问和公网访问,访问实例前,需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服
已开启密文接入的Kafka实例,通过以下步骤查询消费进度。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此