检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化（Kafka原有的老化机制，数据默认保留3天）。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
sPollingMap.put(topicName, true); return true; } return false; } } //唤醒全部线程 public
生产失败。 数据量大的Topic进行分区平衡的时间会比较长，建议根据Topic的消费情况，适当调小Topic老化时间，使得Topic的部分历史数据被及时清理，加快迁移速度。Topic的数据量可以通过监控页面的“队列数据容量”查看，具体步骤请参考查看Kafka监控数据。 分区平衡前的准备工作
间大小。 在Kafka实例名称所在行，单击“查看监控数据”，跳转到云监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。 单击Kafka实例名称，进入实例详情页。在左侧导航栏选择“监控与告警
Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 监控数据是每分钟进行采集上报，上报的数据经过整理后才会显示在监控页面上，此过程大约需要几分钟到十几分钟，建议您在删除消费组后，过一段时间再去监控页面查看。 父主题： 监控告警问题
制作和替换Kafka的SSL证书 SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输，提高了数据的安全性。 Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时，您可以使用分布式消息服务Kafka版提供的证书，也可以使用
在左侧导航栏选择“消费组管理”，进入消费组列表页面。 通过以下任意一种方法，导出消费组列表。 勾选待导出的消费组，单击“导出 > 导出已选中数据到XLSX”，导出指定消费组列表。 单击“导出 > 导出全部数据到XLSX”，导出全部消费组列表。 父主题： 管理消费组
Kafka专享版页面。 通过以下任意一种方法，导出实例列表。 勾选待导出的实例，单击“导出 > 导出已选中数据到XLSX”，导出指定实例列表。 单击“导出 > 导出全部数据到XLSX”，导出全部实例列表。 父主题： 管理实例
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
息超过20KB）或时间跨度大的消息时，建议将消息下载到本地，在本地进行关键字查询。 当Topic中的数据量比较大时，单副本Topic查询消息可能会报“内部服务错误”，建议根据数据量适当减小查询时间范围。 单击“搜索”，查询消息。 查询结果如下： 图1 查询Topic消息 消息的参数说明如下：
如何选择Kafka实例的存储空间？ 存储空间主要是指用于存储消息（包括副本中的消息）、日志和元数据所需要的空间。选择存储空间时，需要选择磁盘类型和磁盘大小。更多磁盘信息，请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB*副本数 + 预留磁盘大
删除、扩容、转储）。 系统策略 无 DMS ReadOnlyAccess 分布式消息服务的只读权限，拥有该权限的用户仅能查看分布式消息服务数据。 系统策略 无 DMS VPCAccess 分布式消息服务租户委托时需要授权的VPC操作权限。 系统策略 无 DMS KMSAccess
费组元数据，包括之前已经同步过的消费者，也需要重新同步。 消费组简单流程如下： 有新的消费者加入或退出，服务端记录的消费组元数据更新，服务端更新消费组进入REBALANCING状态。 服务端等待所有消费者（包含已有的消费者）同步最新的元数据。 所有消费者同步完最新的元数据后，服务
积消息数之和。查看监控数据的具体步骤，请参考查看Kafka监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“主题”选择“全部Topic”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看Kafka监控数据。
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
SSL链路传输加密方式访问DMS for Kafka 不存储敏感数据 构建数据的恢复和容灾能力 审计是否存在异常数据访问 使用最新版本SDK获得更好的操作体验和更强的安全能力 通过访问控制，保护数据安全性 建议对不同角色的IAM用户仅设置最小权限，避免权限过大导致数据泄露或被误操作。 为了更好的进行权限隔离和
data 待同步Kafka数据量 Kafka任务的待同步数据量。 单位：Count ≥ 0 Kafka实例的Smart Connect任务 1分钟 kafka_synchronize_rate Kafka每分钟同步数据量 Kafka任务每分钟同步的数据量。 单位：Count ≥ 0
同一个AZ内，Kafka实例通过副本冗余方式实现实例容灾，当检测到leader副本故障后，快速完成副本选主，保障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构 DMS for Kafka部署在3个及以上可用区时，可实现跨AZ容灾。 图1 跨AZ部署架构图
classloader found in thread * context return the classloader which has loaded this class * * @return classloader */ public static
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
