检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如#号“#”。
IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。 关于IAM的详细介绍，请参见IAM产品介绍。 DMS for Kafka的权限与策略基于分布式消息服务DMS，因此在IAM服务中为Kafka分配用户与权限时，请选择并使用“DMS”的权限与策略。
实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现，请查看Java开发环境搭建。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。 Maven中引入Kafka客户端 //Kafka实例基于社区版本1.1
Pv6地址加入到共享带宽中，实现客户端通过公网访问Kafka实例。 配置Kafka实例的公网访问 使用DNAT通过端口映射方式，实现客户端通过公网连接Kafka实例。 使用DNAT实现公网访问Kafka 内网连接 客户端和Kafka实例部署在同一个VPC中，此时网络默认互通。 -
配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，
Kafka将日志存储在消息文件中，实现日志的持久化存储。 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、Elas
优化消费者轮询（Polling） 方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力
在创建实例的“specification”参数中，增加新规格描述。 在创建实例中，新增“broker_num”参数。 2022-01-26 本次变更如下： 查询产品规格列表V2接口变更为新版本，旧版本接口移入历史API中。 2021-12-14 本次变更如下： 在权限和授权项中，将授权项明细接口从V1改为V2。
生产的消息被依次存储在分布式消息服务Kafka版的存储介质中。消费时依次获取分布式消息服务Kafka版中存储的消息。消费者获取消息后，进行消费并记录消费成功或失败的状态，并将消费状态提交到分布式消息服务Kafka版。 在消费过程中，如果出现异常，没有提交消费确认，该批消息会在后续的消费请求中再次被获取。 消息生产与消费的幂等传递
务端通信导致，比如处理消息耗时太久阻塞等。 对文件中每次Preparing到Stabilized完成的时间进行计算得到以下结果图。图中时间为UTC+0时间，对应北京时间需要加8小时。 图1 消费组rebalance图 从以上图中可以看出，消费组rebalance的性能在7月1号0
后台任务管理 查询实例的后台任务列表 查询后台任务管理中的指定记录 删除后台任务管理中的指定记录 父主题： API V2（推荐）
sh如何对接Kafka实例生产消费消息。 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。本章节介绍两个Kafka实例如何使用MirrorMaker单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因，以及处理措施。
用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时，消息通知服务及时发送告警短信/邮件通知用户。
最终目的在于处理消息内容，如日志集成场景中，监控告警平台（消费者）从主题订阅日志消息，识别出告警日志并发送告警消息/邮件。 代理（Broker） 即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册中描述的代理，还包括对应的存储、带宽等服务器资源。
险。 查看SSL证书有效期的方法如下： 解压从Kafka实例控制台下载的压缩包，获取压缩包中的“phy_ca.crt”。 双击“phy_ca.crt”，弹出“证书”对话框。 在“常规”页签中，获取证书有效期。 图1 证书有效期 父主题： 实例问题
此授权项对应的自定义策略，可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目，不支持企业项目，表示仅能在IAM中给用户组授权并生效，如果在企业管理中授权，则该自定义策略不生效。管理员可以在授权项列表中查看授权项是否支持IAM项目或企业项目，“√”表示支持，“
支持变更实例规格。 支持变更实例规格。 回收站中实例是否计费 开启回收站策略的包年/包月实例，退订后会存入回收站中，此时不收取实例费用，但是会按需收取存储空间费用。 从回收站中恢复的包年/包月实例，计费模式会变为按需计费。 开启回收站策略的按需实例，删除后会存入回收站中，此时不收取实例费用，按需收取存储空间费用。
--from-beginning 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败。消费组名称开头包
购买时长 实例规格单价请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 计费因子：云硬盘类型、容量 包年/包月、按需计费 云硬盘单价 * 购买时长 云硬盘单价请参见分布式消息服务Kafka版价格详情中的“存储价格”。 计费示例 以包年/包月计费模式为例，假设您于2023/03/08
此时请求body中auth.scope的取值为project。 全局级服务需要获取全局级别的Token，此时请求body中auth.scope的取值为domain。 调用本服务API需要project级别的Token，即调用获取用户Token接口时，请求body中auth.sco
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
