检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个Kafka节点会使用33GB的磁盘作为日志和Zookeeper数据的存储,因而实际可用存储会小于购买存储。 其中,副本数在创建Topic时可以选择,默认为3副本存储。如果开启了Kafka自动创建Topic功能,自动创建的Topic默认为3副本,副本数可以通过“配置参数”页签中的“default
schema_generator类,默认为"io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator"。(仅目标端类型为OBS时会显示) partitioner_class String partitioner类,默认"io.confluent
Kafka扩容/缩容会影响业务吗? 扩容/缩容Kafka实例的影响如表1所示。变更实例规格的时长和代理数量有关,单个代理的变更时长一般在5~10分钟,代理数量越多,规格变更时间越长。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。
sasl.mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“
Integer 本次修改动态配置参数个数。 static_config Integer 本次修改静态配置参数个数。 请求示例 修改实例的连接空闲超时和日志删除的时间阈值。 PUT https://{endpoint}/v2/{project_id}/instances/{instance_id}/configs
通过修改分区平衡可以实现修改副本数,Kafka控制台提供两种修改副本数的方法:使用自动平衡修改副本数和使用手动平衡修改副本数。 单机实例不支持修改副本数。 操作影响 对数据量大的Topic进行分区平衡,会占用大量的网络和存储带宽,业务可能会出现请求超时或者时延增大,建议在业务低峰期时操作。对Topi
SASL认证机制在Kafka实例控制台的基本信息页面中获取。 如果SCRAM-SHA-512和PLAIN都开启了,根据实际情况选择其中任意一种配置连接。很久前创建的Kafka实例在详情页如果未显示“开启的SASL认证机制”,默认使用PLAIN机制。 图3 开启的SASL认证机制 Kafka安全协议在
Manager上支持修改Topic的哪些属性? Kafka Manager和云监控显示的信息不一致 Kafka Manager如何修改Topic的分区Leader? 实例版本在控制台和Kafka Manager上显示不一致? 为什么实例中存在默认名为__trace和__consumer_offsets的Topic?
选择“主题订阅”,单击“创建主题”,进入消息通知服务中,创建主题和添加订阅。创建完成后,返回“创建告警规则”页面,在“通知对象”后单击,然后选择创建的告警通知主题。 说明: 在添加订阅后,对应的订阅终端会收到订阅通知,用户要选择确认订阅,后续才能收到告警信息。 通知周期 保持默认,即如果触发告警,每天发送告警通知。
在“预置类型”中,选择“转储”。 在“立即执行”中,选择任务创建后是否立即执行任务,默认开启立即执行。如果关闭,在需要执行此任务时,您可以在Smart Connect任务列表中手动开启任务。 在“源端配置”中,保持默认设置。 在“Topic配置”中,设置以下参数。 表1 Topic配置参数说明
String 可用区上是否还有可用资源。 default_az Boolean 是否为默认可用区。 remain_time Long 剩余时间。 ipv6_enable Boolean 是否支持IPv6。 请求示例 GET https://{endpoint}/v2/available-zones
schema_generator类,默认为"io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator"。(仅目标端类型为OBS时会显示) partitioner_class String partitioner类,默认"io.confluent
单击Topic名称,进入Topic详情页面。 Topic详情页面显示Topic的基本信息、订阅关系、分区信息和生产者信息。 基本信息:包含Topic名称、关联代理、分区数和创建时间。 2023年7月10日以及之前创建的Topic,在Topic详情页面不显示创建时间。 自动创建的T
此需要配置JDK环境,以及IDEA的Maven插件。 图1 选择“导入工程” 图2 选择“Maven” 图3 选择Java环境 其他选项可默认或自主选择。然后单击Finish,完成Demo导入。 导入后Demo工程如下: 配置Maven路径。 打开“File > Settings”,找到“Maven
String 偏移量,表示从此偏移量开始查询, offset大于等于0。 limit 否 String 当次查询返回的最大消费组ID个数,默认值为10,取值范围为1~50。 group 否 String 消费组名过滤查询,过滤方式为字段包含过滤。 请求参数 无 响应参数 状态码:
时间会默认为1970。 单击“查看消息正文”,弹出“查看消息正文”对话框,查看消息的内容,包括Topic名称、分区、偏移量、创建时间和消息正文。 控制台只能展示4KB以内的消息,超过4KB的消息,请单击“下载消息”,下载到本地查看消息完整的内容。 (可选)如果需要恢复默认设置,单击“重置”。
"c131886aec...", "name": "IAMUser", "description": "IAM User Description", "areacode": "", "phone": "",
将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
开启Smart Connect Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。
数据保护技术 DMS for Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房