检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
审计与日志 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS
查看Kafka审计日志 通过云审计服务(Cloud Trace Service,CTS),您可以记录与分布式消息服务Kafka版相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for Kafka操作列表
2023年4月6日前创建的实例,不支持重平衡日志功能。 单机实例不支持查看重平衡日志。 重平衡日志默认存储时间为七天,如果需要延长保留天数,可以在LTS控制台修改日志组的存储时间。 重平衡日志开启后会在LTS控制台创建对应的日志组、日志流和仪表盘。使用期间按照日志量收费,收费标准请参照LTS价格详情。
与其他云服务的关系 云审计(Cloud Trace Service) 云审计为您提供云服务资源的操作记录,记录内容包括您从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。 当前CTS记录的操作,请参考云审计日志。 虚拟私有云(Virtual
会使用33GB的磁盘作为日志和Zookeeper数据的存储,因而实际可用存储会小于购买存储。 其中,副本数在创建Topic时可以选择,默认为3副本存储。如果开启了Kafka自动创建Topic功能,自动创建的Topic默认为3副本,副本数可以通过“配置参数”页签中的“default
Kafka实例是否支持不同的子网? 支持。 客户端与实例在相同VPC内,可以跨子网段访问。同一个VPC内的子网默认可以进行通信。 父主题: 连接问题
Kafka实例支持跨VPC访问,您可以通过以下任意一个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。
可能原因1:Topic的每个分区都是由多个大小相同的segment文件组成,每个segment文件的大小为500MB,当segment文件存储的消息大小到达500MB后,才会新建下一个segment文件。Kafka删除消息是删除segment文件,而不是删除一条消息。Kafka要求至少保留一
Integer 本次修改动态配置参数个数。 static_config Integer 本次修改静态配置参数个数。 请求示例 修改实例的连接空闲超时和日志删除的时间阈值。 PUT https://{endpoint}/v2/{project_id}/instances/{instance_id}/configs
VPC终端节点在不同VPC间建立跨VPC的连接通道,实现跨VPC访问。 使用VPCEP实现跨VPC访问Kafka 客户端和Kafka实例部署在同一个Region的不同VPC中,利用VPC对等连接将两个VPC间的网络打通,实现跨VPC访问。 对等连接 客户端连接Kafka实例前,需
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto
ID创建终端节点服务,并记录终端节点服务的名称。 (可选)步骤二:添加白名单 VPCEP允许跨账号的终端节点连接终端节点服务,通过设置终端节点服务的白名单实现。 Kafka客户端和Kafka实例属于不同账号时,将Kafka客户端所在账号的ID添加到终端节点服务的白名单中,完成跨账号终端节点的访问授权,具体操作步骤请参考添加白名单。
随机后缀。 磁盘写满的处理措施: 扩容磁盘,使磁盘具备更大的存储空间。 迁移分区,将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间,减少历史数据的容量大小。 在CPU资源情况可控的情况下,使用压缩算法对数据进行压缩。 常用的压缩算法包括:ZIP,
日志同步主要有三个关键部分:日志采集客户端,Kafka消息队列以及后端的日志处理应用。 日志采集客户端,负责用户各类应用服务的日志数据采集,以消息方式将日志“批量”、“异步”发送到Kafka客户端。 Kafka客户端批量提交和压缩消息,对应用服务的性能影响非常小。 Kafka将日志存储在消息文件中,实现日志的持久化存储。
处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享
view”,进入Topic详情页面。 单击“Reassign Partitions”,保存对Topic分区Leader的修改。 保存成功后,返回如下图所示信息。 在导航栏单击Topic名称,进入Topic详情页面,查看分区详情。 如上图所示,分区2的Leader已经从2改为1。 父主题: Kafka Manager问题
状态下消费组中的所有消费者都无法进行正常的业务消费,该场景触发场景为消费组内有新的消费者加入或有已经建立连接的消费者退出。 STABILIZED:rebalance完成,消费组处于稳定状态,该状态下消费组中的消费者可以进行正常的业务消费,触发条件是,当前消费组内的所有消费者都同步
删除后台任务管理中的指定记录 功能介绍 删除后台任务管理中的指定记录。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/instances/{instance_id}/tasks/{task_id} 表1 路径参数 参数 是否必选 参数类型
修改Topic的分区平衡。 开启日志 开启Kafka重平衡日志。 关闭日志 关闭Kafka重平衡日志。 设置Topic权限 在Topic中为不同的用户设置不同的权限。 查看Kafka实例后台任务 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
重置Manager密码 开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 修改Kafka实例Topic 查询实例的后台任务列表 查询后台任务管理中的指定记录 删除后台任务管理中的指定记录 批量添加或删除实例标签 查询实例标签 查询项目标签 2020-08-06 本次变更如下: