检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka最佳实践汇总 本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，
设置存储Topic数据的OBS桶的名称。 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。 转储目录 OBS中存储Topi
CreateSinkTaskRequest{} obsPathObsDestinationDescriptor:= "obsTransfer-1122976956" recordDelimiterObsDestinationDescriptor:= "" obsDestinationDescriptorbody
Kafka实例是否支持跨VPC访问？ Kafka实例支持跨VPC访问，您可以通过以下任意一个方式实现跨VPC访问： 创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现Kaf
Kafka实例是否支持不同的子网？ 支持。 客户端与实例在相同VPC内，可以跨子网段访问。同一个VPC内的子网默认可以进行通信。 父主题： 连接问题
Connect”为开启状态，单击“提交”。 后续操作 开启Smart Connect后，您可以配置Kafka间的数据复制、配置Kafka数据转储至OBS，实现分布式消息服务Kafka版和其他云服务之间的数据同步。 父主题： 使用Smart Connect迁移数据
Kafka实例支持通过以下两种方式删除消费组，您可以根据实际情况选择任意一种方式。 在控制台删除消费组 在Kafka客户端使用命令行工具删除消费组（确保Kafka实例版本与命令行工具版本相同） 约束与限制 若“auto.create.groups.enable”设置为“true”，当消费组的状态为
如何扩总分区？ 增加基准带宽/代理数量，可以扩大总分区数。 在Kafka控制台的实例所在行，单击“更多 > 变更规格”，进入变更规格页面，根据实际情况扩容基准带宽/代理数量。具体操作请参考变更Kafka实例规格。 父主题： Topic和分区问题
destination_file_type String 转储文件格式。目前只支持text格式。 obs_bucket_name String 存储该通道数据的OBS桶名称。 obs_path String 存储在obs的路径。 partition_format String 将转储文件的生成时间使
随着上云企业越来越多，企业对用云成本问题也越发重视。使用分布式消息服务Kafka版时，如何进行成本管理，减轻业务负担呢？本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理，帮助您通过成本管理节约成本，在保障业务快速发展的同时获得最大成本收益。 成本构成 使用分布式消息服务Kafka版时，成本主要包括两个方面：
Connect管理 分布式消息服务Kafka版通过开启Smart Connect，实现Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步。 支持区域： 全部 如何开启Smart Connect？ 用户管理 分布式消息服务Kafka版支持对Topi
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器，详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问，该步骤为可选，在本地浏览器中即可访问，不需要单独的Windows弹性云服务器。 在实例详情信息页面，获取Kafka Manager地址。
优化消费者轮询（Polling） 方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。
否 String 转储地址，即存储Topic数据的OBS桶的名称。（仅目标端类型为OBS时需要填写） obs_path 否 String 转储目录，即OBS中存储Topic的目录，多级目录可以用“/”进行分隔。（仅目标端类型为OBS时需要填写） partition_format 否
类型为OBS时会显示） destination_file_type String 转储文件格式。当前只支持TEXT。（仅目标端类型为OBS时会显示） deliver_time_interval Integer 记数据转储周期（秒）。（仅目标端类型为OBS时会显示） obs_bucket_name
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
类型为OBS时会显示） destination_file_type String 转储文件格式。当前只支持TEXT。（仅目标端类型为OBS时会显示） deliver_time_interval Integer 记数据转储周期（秒）。（仅目标端类型为OBS时会显示） obs_bucket_name
使用前必读 欢迎使用分布式消息服务Kafka版。分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka版，资源按需申请，按需配置Topic的分区与副本数量，即买即用，您将有
如何选择Kafka实例的存储空间？ 存储空间主要是指用于存储消息（包括副本中的消息）、日志和元数据所需要的空间。选择存储空间时，需要选择磁盘类型和磁盘大小。更多磁盘信息，请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB*副本数 +
消息超过老化时间，消息仍存在的原因 问题现象：消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
