检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建关闭实例转储节点的订单 功能介绍 创建关闭实例转储节点的订单。 当前页面API为历史版本API,未来可能停止维护。请使用关闭Smart Connect(按需实例)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instan
查询维护时间窗时间段 当前页面API为历史版本API,未来可能停止维护。请使用查询维护时间窗时间段。 功能介绍 查询维护时间窗开始时间和结束时间。 URI GET /v1.0/instances/maintain-windows 请求消息 请求参数 无。 请求示例 GET htt
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto
根因描述 实例开启了自动创建Topic功能,且有消费者正在连接该Topic。如果没有停止业务,删除Topic后,还会有消息生产行为,并自动创建Topic。 问题解决措施 关闭Kafka自动创建Topic功能,才可以正常删除Topic。关闭方法请参考配置Kafka自动创建Topic。
默认值为3,取值范围为1~3。 sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 retention_time Integer 否 消息老化时间。默认值为72。 取值范围1~720,单位小时。 sync_message_flush
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
开启Smart Connect Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。
分区编号,默认值为-1,若传入值为-1,则查询所有分区。 start_time Long 否 查询起始时间,为unix时间戳格式,默认值为0。 end_time Long 否 查询结束时间,为unix时间戳格式,默认值为系统当前时间。 limit Integer 否 单页返回消息数,默认值为10。 offset
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击待关闭SSL双向认证的实例名称,进入实例详情页面。 在“连接信息 > SSL双向认证”后,单击,关闭SSL双向认证。 关闭SSL双向认证将重启实例,请谨慎操作。 关闭SSL双向认证后,需要在客户端的“consumer.properties”和“producer
是否必选 参数类型 描述 start_time 否 String 查询起始时间,为unix时间戳格式,默认值为0。 end_time 否 String 查询结束时间,为unix时间戳格式,默认值为系统当前时间。 limit 否 Integer 单页返回消息数,默认值为10。 offset
Topic-03:3分区3副本,同步复制 获取测试工具。 获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买如下参数的2台ECS服务器,具体步骤请参考购买弹性云服务器。 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,规格为4U8G,Linux系统的ECS。 区域、虚
consumer允许的最大会话超时时间。超时时间越长,consumer就能在心跳探测周期内有更多时间处理消息,但也会使故障检测花费更长时间。 6000 ~ 1800000 单位:毫秒 1800000 default.replication.factor 自动创建Topic时的默认副本个数。
在同一个区域。 转储目录 OBS中存储Topic的目录,多级目录可以用“/”进行分隔。 时间目录格式 数据将存储在转储目录下的时间目录中,时间目录是按时间格式作为层级的目录。例如,当选择的时间目录格式精确到日时,存储目录为:“桶名称/转储目录/年/月/日”。 记录分隔符 在下拉列
时长,消息消费系统可以错峰进行消息处理。 另外,在商品秒杀、抢购等流量短时间内暴增场景中,为了防止后端应用被压垮,可在前后端系统间使用Kafka消息队列传递请求。 图3 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中,为了快速定位问题,全链路追踪日志,以及故障及时预警
用于启动未启动的Smart Connect任务以及重启已暂停或者运行中的Smart Connect任务。注意,重启Smart Connect任务将重置同步进度,并重新开始同步任务。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/kafka/instances/{i
为什么Console页面上,消息查询查不到消息? 可能原因1:消息已被老化。 解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。
eader”,防止循环复制。 同步消费进度 开启“同步消费进度”后,将消费者消费进度同步到目标Kafka实例。 开启“同步消费进度”后,您需要注意以下几点: 源端Kafka实例和目标端Kafka实例不能同时消费,否则会导致同步的消费进度异常。 同步消费进度的频率为每分钟一次,因此
partitions”(分区数)的参数值,此后自动创建的Topic参数值为修改后的参数值。单机实例不支持修改配置参数。 例如:“num.partitions”修改为“5”,自动创建的Topic参数值如下: 分区数为5。 副本数为3。 老化时间为72小时。 不开启同步复制和同步落盘。 消息时间戳类型为CreateTime。
例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有可用的ECS,可重复使用,不需要再次创建。 使用root用户登录ECS。
Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? 支持自动生成Topic功能,但不支持Topic批量导入功能,仅支持批量导出Topic功能。 通过以下任意一种方法,开启自动生成Topic功能: 创建实例时,开启Kafka自动创建Topic。 创建实例后,在实例详情页开启Kafka自动创建Topic。