检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的资源已在回收站中,单击操作列的“删除”,彻底删除此资源。 按需计费资源删除后,可能还会存在账单信息,因为系统通常会在使用后1个小时内对上一个结算周期的费用进行扣款。例如在8:30删除按小时结算的Kafka实例,但是8:00~9:00期间产生的费用,通常会在10:00左右才进行扣费。
ip3:port3 #用来唯一标识consumer进程所在组的字符串,如果设置同样的group id,表示这些processes都是属于同一个consumer group group.id=1 #键的序列化方式 key.deserializer=org.apache.kafka.common
单击“确定”,完成Smart Connect任务的删除。 启动/暂停Smart Connect任务 暂停任务后,Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
kafka-python==2.0.1 Python 3.x版本:pip3 install kafka-python==2.0.1 生产消息 在客户端创建一个文件,用于存放生产消息的代码示例。 touch producer.py producer.py表示文件名,您可以自定义文件名。 执行以下命令,编辑文件。
生产消息的测试代码。 pom.xml .\ maven配置文件,包含Kafka客户端引用。 打开IntelliJ IDEA,导入Demo。 Demo是一个Maven构建的Java工程,因此需要配置JDK环境,以及IDEA的Maven插件。 图1 选择“导入工程” 图2 选择“Maven” 图3
TagEntity objects 标签列表 表3 TagEntity 参数 参数类型 描述 key String 标签键。 不能为空。 对于同一个实例,Key值唯一。 长度为1~128个字符(中文也可以输入128个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : =
] } ] } 示例2:拒绝用户删除实例 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予DMS FullAccess的系统策略,但不希望用户拥有DMS
明文接入方法如表4所示。 表4 关闭明文接入方法 接入方式 关闭明文接入 内网访问明文接入 内网访问不支持关闭,明文接入和密文接入至少开启一个。如果密文接入没有开启,此时无法关闭明文接入。 在“内网访问 > 明文接入”后,单击,弹出确认对话框。 单击“确定”,跳转到“后台任务管理
objects 标签列表。 表3 TagEntity 参数 是否必选 参数类型 描述 key 否 String 标签键。 不能为空。 对于同一个实例,Key值唯一。 长度为1~128个字符(中文也可以输入128个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : =
当流控值达到上限后,会导致生产/消费的时延增大。 设置的流控值较小且生产者速率较大时,可能会造成生产超时、消息丢失,导致部分消息生产失败。 初始生产/消费的流量较大,如果设置一个较小的流控值,会导致生产/消费的时延增大、部分消息生产失败。建议逐次减半设置流控值,待生产/消费稳定后继续减半设置,直到设置为目标流控值。
连接问题 选择和配置安全组 Kafka实例是否支持公网访问? Kafka实例的连接地址默认有多少个? 是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问?
业务过载处理建议 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可
与开源Kafka的差异 分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项
公网SASL_PLAINTEXT连接域名 表4 TagEntity 参数 参数类型 描述 key String 标签键。 不能为空。 对于同一个实例,Key值唯一。 长度为1~128个字符(中文也可以输入128个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : =
公网SASL_PLAINTEXT连接域名 表6 TagEntity 参数 参数类型 描述 key String 标签键。 不能为空。 对于同一个实例,Key值唯一。 长度为1~128个字符(中文也可以输入128个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : =
功能总览 功能总览 全部 购买Kafka实例 连接Kafka Topic管理 变更实例规格 公网访问 消息查询 Kafka Manager管理 Smart Connect管理 用户管理 消费组管理 修改配置参数 标签 监控 审计 API 购买Kafka实例 您在使用分布式消息服务
16KB 否 3 1 否 1KB 是 3 3 是 1KB 否 3 3 否 1KB 否 测试环境 进行性能测试前,您需要先构建如下的测试环境: 购买一个Kafka实例,参数信息如下,其他参数保持默认,购买方法请参考购买Kafka实例。 区域:华北-北京四 可用区:可用区1 版本:2.7 部署架构:集群
开启Smart Connect Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。
查看Kafka重平衡日志 Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费,等待Rebalance完成。 可能会触发Rebalance的原因: 消费组成员个数发生变化,例如有新的消费者加入,或者有消费者退出。
公网SASL_PLAINTEXT连接域名 表4 TagEntity 参数 参数类型 描述 key String 标签键。 不能为空。 对于同一个实例,Key值唯一。 长度为1~128个字符(中文也可以输入128个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : =