检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30 20000 100 15 2000
数据迁移到新的Kafka实例,具体步骤请参考配置Kafka间的数据复制。 需要注意的是,云上Kafka实例为3副本存储,因此建议实例存储空间为原业务的单副本消息存储的3倍。 父主题: 迁移数据
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
务的性能影响非常小。 Kafka将日志存储在消息文件中,实现日志的持久化存储。 日志处理应用,如Logstash,订阅并消费Kafka中的日志消息,最终供文件搜索服务检索日志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
查询实例的扩容规格列表 实例规格变更 2020-08-18 新增以下接口: 重置密码 重置Manager密码 开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 修改Kafka实例Topic 查询实例的后台任务列表 查询后台任务管理中的指定记录 删除后台任务管理中的指定记录 批量添加或删除实例标签
功能? Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗? 消费者消费Topic失败,提示没有权限?
由于明文传输,建议使用SCRAM-SHA-512机制。 跨VPC访问协议 - 开启明文接入且关闭密文接入时,跨VPC访问Kafka实例需要使用“PLAINTEXT”协议。 开启密文接入且kafka安全协议为“SASL_SSL”时,跨VPC访问Kafka实例需要使用“SASL_SSL”协议。
在购买Kafka实例后,如果发现当前计费模式无法满足业务需求,您还可以变更计费模式。详细介绍请参见变更计费模式概述。 计费项 分布式消息服务Kafka版的计费项由实例费用和存储空间费用组成。了解每种计费项的计费因子、计费公式等信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
为跨AZ? Kafka实例支持跨AZ容灾,在购买实例时,选择多个可用区即可实现跨AZ容灾。 已购买的实例,在实例详情页“基本信息”页面的“网络”区域,查看可用区数量。多于一个可用区时,表示已实现跨AZ容灾。 图1 实例基本信息 父主题: 实例问题
页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“磁盘存储统计”页面,查看磁盘的使用量。 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询:使用量排名前xx个、使用量达到xx GB和使用占比达xx%。
控制台查看重平衡日志。 重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。 约束与限制 2023年4月6日前创建的实例,不支持重平衡日志功能。 单机实例不支持查看重平衡日志。 重平衡日志默认存储时间为七天,如果需要延长保留天数,可以在LTS控制台修改日志组的存储时间。
详细介绍请参见通过成本标签维度查看成本分配。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆
String 维护时间窗结束时间,格式为HH:mm:ss。 security_group_id 否 String 安全组ID。 获取方法如下:登录虚拟私有云服务的控制台界面,在安全组的详情页面查找安全组ID。 retention_policy 否 String 容量阈值策略。 支持两种策略模式:
3、不能与校验的弱密码相同。 请确认密码是否符合要求 400 DMS.00400013 vpc_id in the request is empty. 请求参数vpc_id为空。 请检查参数vpc_id 400 DMS.00400014 security_group_id in the
Connect 开启Smart Connect功能。 关闭Smart Connect 关闭Smart Connect功能。 变更规格 扩容存储空间 扩容代理数量 扩容基准带宽 扩容代理规格 缩容代理规格 创建流控 创建用户/客户端/Topic流控。 编辑流控 修改流控参数。 删除流控
destination_file_type String 转储文件格式。目前只支持text格式。 obs_bucket_name String 存储该通道数据的OBS桶名称。 obs_path String 存储在obs的路径。 partition_format String 将转储文件的生成时间使用“yyyy/MM
前提条件 确保分区平衡的目标Broker磁盘容量充足,在磁盘存储统计中查看每个Broker的可用磁盘容量。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量,为了给目标Broker上的消息生产预留存储空间,应先进行磁盘扩容,再进行分区平衡。 使用自动平衡修改副本数
密文连接地址”,具体以控制台显示为准。 如果是使用内网通过同一个VPC访问,Kafka连接地址如下图所示。 图1 使用内网通过同一个VPC访问Kafka实例的连接地址(内网连接地址) 图2 使用内网通过同一个VPC访问Kafka实例的连接地址(内网密文连接地址) 如果是公网访问,Kafka连接地址如下图所示。
在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。 磁盘写满的处理措施: 扩容磁盘,使磁盘具备更大的存储空间。 迁移分区,将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间,减少历史数据的容量大小。 在CPU资