检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。 调用方法 请参见如何调用API。 URI PUT /v2/kafka/{project_id}/instances/{instance_id}/groups/
2022年9月及以后创建的实例,转储任务配额默认为最大值,由于转储任务配额不支持减少,调用此接口修改转储任务配额会报错。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/connectors/{connector_id}/sink-tasks 表1
查询实例的后台任务列表 功能介绍 查询实例的后台任务列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构 Kafka实例作为Logstash输出源的示意图如下。 图1 Kafka实例作为Logstash输出源 L
查询可用区信息 功能介绍 在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v2/available-zones 请求参数 无 响应参数 状态码:200 表1 响应Body参数 参数 参数类型 描述 region_id
务端才认为此消费组客户端已下线。 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/management/g
Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改? 如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问?
ka实例的一个内网连接地址 私网端口:输入“9011” 如果想要了解更多的参数信息,请参考添加DNAT规则。 图4 添加DNAT规则 单击“确定”,完成DNAT规则的添加。 DNAT规则添加成功后,在DNAT规则列表中查看此规则的状态,若“状态”为“运行中”,表示创建成功。 为获
当您选择开启,表示生产或消费一个未创建的Topic时,会自动创建一个包含3个分区和3个副本的Topic。 storage_spec_code String 是 存储IO规格。如何选择磁盘类型请参考磁盘类型及性能介绍。 取值范围: 参数specification为100MB时,取值dms.physical.storage
到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数? 为什么消息创建时间显示1970? 如何修改message.max.bytes参数? 为什么offset不连续?
分布式消息服务Kafka版 介绍如何设置消息堆积数超过阈值时,发送告警短信/邮件 05:40 配置告警通知 分布式消息服务Kafka版 介绍如何将一个Kafka实例的数据,同步到另一个Kafka实例中 06:41 两个Kafka实例的数据复制 分布式消息服务Kafka版 介绍如何修改Topic分区平衡
本章节介绍在对消费消息实时性要求不高的场景中,如何优化消费者Polling,减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息 Kafka实例可以作为Logstash输入源,也可以作为Logstash输出源。本章节介绍Logstash如何对接Kafka实例生产消费消息。
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 Kafka实例支持通过筛选来查询对应的Kafka实例。当前支持的筛选条件为标签、状态、名称、版本、规格、已用/可用存储空间、分区上限、计费模式和企业项目。企业用户才能使用企业项目进行筛选。Kafka实例状态请参见表1。
运维与监控 支持的监控指标 设置监控指标告警 支持的云审计操作列表 常见问题 了解更多常见问题、案例和解决方案 热门案例 如何连接和查看Kafka Manager? 通过公网如何连接Kafka实例? 为什么云监控页面无法展示Kafka监控数据? 为什么限制Topic的总分区数? Kafka实例的Topic数量是否有限制
使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
选择“触发”,即触发告警时发送通知。 接收对象 选择“主题订阅”,单击“创建主题”,进入消息通知服务中,创建主题和添加订阅。创建完成后,返回“创建告警规则”页面,在“通知对象”后单击,然后选择创建的告警通知主题。 说明: 在添加订阅后,对应的订阅终端会收到订阅通知,用户要选择确认订阅,后续才能收到告警信息。 通知周期
理员,授予IAM管理员IAM策略的管理权限。IAM管理员可以根据您业务的实际诉求创建不同的用户组,用户组对应不同的数据访问场景,通过将用户添加到用户组并将IAM策略绑定到对应用户组,IAM管理员可以为不同职能部门的员工按照最小权限原则授予不同的数据访问权限,详情请参见权限管理。
Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗? 消费者消费Topic失败,提示没有权限?
创建的VPC与Kafka实例必须在相同的区域。 创建安全组并添加安全组规则。 在创建Kafka实例前,确保已存在可用的安全组。创建安全组的具体步骤,请参考创建安全组。 创建的安全组与Kafka实例必须在相同的区域。 连接Kafka实例前,请添加表1所示安全组规则,其他规则请根据实际需要添加。 表1 安全组规则 方向
是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问? 开启公网访问后,在哪查看公网IP地址? Kafka支持服务端认证客户端吗? 连接开启SASL_SSL的Kafka实例时,ssl