检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka提供基于云监控服务CES的资源和操作监控能力,帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标,以及如何创建监控告警规则等内容,请参见支持的监控指标。 父主题: 安全
createDMSInstanceTaskSuccess 创建DMS实例订单失败 kafka createDMSInstanceOrderFailure 创建DMS实例任务执行失败 kafka createDMSInstanceTaskFailure 删除创建失败的DMS实例成功 kafka deleteDM
创建用户时,为必选参数。 密码不能和用户名相同。 复杂度要求: 输入长度为8到32位的字符串。 必须包含如下四种字符中的三种组合: 小写字母 大写字母 数字 特殊字符包括(`~!@#$%^&*()-_=+|[{}]:'",<.>/?)和空格,并且不能以-开头 响应参数 状态码: 400
异 产品规格 03 入门 创建Kafka实例之后,您可以通过命令行模式和客户端方式连接实例进行生产消息和消费消息。 命令行模式连接 连接未开启SASL的实例 连接已开启SASL的实例 客户端方式连接 Java客户端 Python客户端 Go客户端 05 实践 Kafka作为一款热
访问权限,详情请参见权限管理。 建议配置安全组访问控制,保护您的数据不被异常读取和操作。 租户配置安全组的入方向、出方向规则限制,可以控制连接实例的网络范围,避免DMS for Kafka暴露给不可信第三方,详情请参见配置安全组。安全组入方向规则的“源地址”应避免设置为0.0.0
“配置类型”为“Kafka地址”时,需要设置。 输入Kafka实例的连接地址和端口号。 使用Kafka数据复制时,两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中,请先打通网络,方法可以参考使用VPCEP实现跨VPC访问Kafka或者对等连接。 认证方式 支持以下认证方式: SA
身份认证与访问控制 身份认证 无论用户通过控制台还是API访问DMS for Kafka,都会要求访问请求方出示身份凭证,并进行身份合法性校验,同时提供登录保护和登录验证策略加固身份认证安全。 DMS for Kafka基于统一身份认证服务(Identity and Access
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,Topic含有多个分区,消费组中有多个消费者同时进行消费,每个线程均为长连接。当Topic中消息较少或者没有消息时,连接不断开,所有消费者不间断地拉取消息,这样造成了一定的资源浪费。
信息”页面,在“连接信息 > Manager用户名”后,单击“重置Manager密码”。 输入“新密码”和“确认密码”,单击“确定”,完成密码重置。 重置Manager密码成功,界面提示重置实例的密码成功。 重置Manager密码失败,界面提示重置实例的密码失败,请重新尝试重置密
开源Kafka 简单易用 立等可用 即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉
新代理上。 存储空间 扩容存储空间有次数限制,只能扩容20次。 扩容存储空间不会影响业务。 代理规格 若Topic为单副本,扩容/缩容期间无法对该Topic生产消息或消费消息,会造成业务中断。 若Topic为多副本,扩容/缩容代理规格不会造成服务中断,但可能会导致消费的分区消息发
1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。 表1 Kafka单机实例规格 规格名称 代理个数 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格(MB/s) kafka
kafka公网SASL_PLAINTEXT接入方式连接地址。 public_sasl_plaintext_domain_name String 公网SASL_PLAINTEXT连接域名 表4 TagEntity 参数 参数类型 描述 key String 标签键。 不能为空。 对于同一个实例,Key值唯一。
详细状态说明请参考实例状态说明。 include_failure 否 String 是否返回创建失败的实例数。 当参数值为“true”时,返回创建失败的实例数。参数值为“false”,不返回创建失败的实例数。 exact_match_name 否 String 是否按照实例名称进行精确匹配查询。
实例状态。详细状态说明见实例状态说明。 includeFailure String 否 是否返回创建失败的实例数。 当参数值为“true”时,返回创建失败的实例数。参数值为“false”或者其他值,不返回创建失败的实例数。 exactMatchName String 否 是否按照实例名称进行精确匹配查询。
消息/邮件。 代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,一个Kafka进程对应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。 分区(Partition) 为了实现水平扩展与高可用,Kafka将Topic划分为多个分区,消息被分布式存储在分区中。
数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。如果您想要了解更多关于TPS的性能,请参考测试Kafka实例TPS。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围
全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前,需要先连接Kafka实例。 创建Kafka实例时,支持开启或者关闭SASL_SSL。开源Kafka客户端连接开启SASL_SSL的Kafka实例,与连接未开启SASL_SSL的Ka
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时