检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变更计费模式 变更计费模式概述 按需转包年/包月 包年/包月转按需
否 String 转储地址,即存储Topic数据的OBS桶的名称。(仅目标端类型为OBS时需要填写) obs_path 否 String 转储目录,即OBS中存储Topic的目录,多级目录可以用“/”进行分隔。(仅目标端类型为OBS时需要填写) partition_format 否
业务过载处理建议 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可
类型为OBS时会显示) destination_file_type String 转储文件格式。当前只支持TEXT。(仅目标端类型为OBS时会显示) deliver_time_interval Integer 记数据转储周期(秒)。(仅目标端类型为OBS时会显示) obs_bucket_name
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
类型为OBS时会显示) destination_file_type String 转储文件格式。当前只支持TEXT。(仅目标端类型为OBS时会显示) deliver_time_interval Integer 记数据转储周期(秒)。(仅目标端类型为OBS时会显示) obs_bucket_name
用区异常时,不影响Kafka实例持续提供服务。 审计是否存在异常数据访问 开启云审计服务,记录Kafka的所有访问操作,便于事后审查。 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查
记录响应信息中的“service_name”参数值,此参数表示终端节点服务的名称。 参考9,为6中其他Port ID创建终端节点服务,并记录终端节点服务的名称。 (可选)步骤二:添加白名单 VPCEP允许跨账号的终端节点连接终端节点服务,通过设置终端节点服务的白名单实现。 Kafka客户端和Kafka实
消息超过老化时间,消息仍存在的原因 问题现象:消息超过设置的老化时间(如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。
API概览 表1 实例管理类接口 API 说明 生命周期管理 包括: 创建实例 查询所有实例列表 查询指定实例 删除指定的实例 修改实例信息 批量重启或删除实例 获取实例配置 修改实例配置 实例升级 实例管理 包括: 重置密码 重置Manager密码 重启Manager 开启或关闭实例自动创建Topic功能
购买时长 请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。
修改转储任务的配额 功能介绍 修改转储任务的配额。 2022年9月前创建的实例支持调用此接口新增转储任务配额,2022年9月及以后创建的实例,转储任务配额默认为最大值,由于转储任务配额不支持减少,调用此接口修改转储任务配额会报错。 调用方法 请参见如何调用API。 URI PUT
Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时,可以根据本文的内容,从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端
Connect管理 分布式消息服务Kafka版通过开启Smart Connect,实现Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步。 支持区域: 全部 如何开启Smart Connect? 用户管理 分布式消息服务Kafka版支持对Topi
产品ID。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 engine String 分布式消息服务的产品类型。 versions Array of strings 支持的产品版本类型。 products Array of ListEngineProductsEntity
[ ] } ], "support_features" : [ { "name" : "connector_obs", "properties" : { "max_task" : "10", "max_node"
Connect”为开启状态,单击“提交”。 后续操作 开启Smart Connect后,您可以配置Kafka间的数据复制、配置Kafka数据转储至OBS,实现分布式消息服务Kafka版和其他云服务之间的数据同步。 父主题: 使用Smart Connect迁移数据
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
rorMaker,否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器,确保弹性云服务器与源集群、目标集群网络互通。具体购买操作,请参考购买弹性云服务器。 登录弹性云服务器,安装Java JDK,并配置JAVA_HOME与PATH环境变量,使用执行用户在用户家目录下修改“