检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务系统基于开源的Kafka进行开发,只需加入少量认证安全配置,即可使用分布式消息服务Kafka版,做到无缝迁移。 Kafka实例兼容开源社区Kafka 1.1.0、2.7、3.x版本。在客户端使用上,推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。
监控详情”,进入监控页面。 在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。 在左侧导航栏,单击“消费组管理”,进入消费组列表页面。 查看消息堆积的消费组是否有消费者在消费,如果有,让业务方加快消费效率,如果没有,让客户酌情删掉不使用的消费组。 处理方法2: 登
extendDMSInstanceTaskFailure 提交重置DMS实例密码请求成功 kafka resetDMSInstancePasswordSuccess 提交重置DMS实例密码请求失败 kafka resetDMSInstancePasswordFailure 提交重启DMS实例请求成功
以满足不同场景下的用户需求。包年/包月是一种预付费模式,即先付费再使用,按照订单的购买周期进行结算,因此在购买之前,您必须确保账户余额充足。按需计费是一种后付费模式,即先使用再付费,按照Kafka实例实际使用时长计费。关于两种计费模式的详细介绍请参见分布式消息服务Kafka版计费模式概述。
在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自动故障切换,并且故障恢复后会从leader副本进行数据同步,保持数据一致性。 创建多副本的Topic 数据持久化 业务系统日常运行中可能出现一
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
实例名称。 由英文字符开头,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 description 否 String 实例的描述信息。 长度不超过1024的字符串。 说明: \与"在json报文中属于特殊字符,如果参数值中需要显示\或者"字符,请在字符前增加转义字符\,比如\或者"。
请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 按需计费
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需使用,支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。
务端通信导致,比如处理消息耗时太久阻塞等。 对文件中每次Preparing到Stabilized完成的时间进行计算得到以下结果图。图中时间为UTC+0时间,对应北京时间需要加8小时。 图1 消费组rebalance图 从以上图中可以看出,消费组rebalance的性能在7月1号0
证方式:用户名密码、访问密钥、临时访问密钥。同时还提供登录保护及登录验证策略。 访问控制 对企业中的员工设置不同的DMS for Kafka访问权限,以达到不同员工之间的权限隔离,使用IAM进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。DMS
响的分区或者broker,以及解决消息堆积的建议。 前提条件 已创建Kafka实例,并且消费组正在以非assign方式消费消息中。 一个消费组正在诊断中时,无法对其他消费组进行诊断,也无法对此消费组消费的其他Topic进行诊断。 操作流程 图1 消息积压诊断流程图 步骤一:诊断前检查
由于明文传输,建议使用SCRAM-SHA-512机制。 跨VPC访问协议 - 开启明文接入且关闭密文接入时,跨VPC访问Kafka实例需要使用“PLAINTEXT”协议。 开启密文接入且kafka安全协议为“SASL_SSL”时,跨VPC访问Kafka实例需要使用“SASL_SSL”协议。
分消息查询不到。 解决方法:修改容量阈值策略或扩大磁盘容量。“容量阈值策略”设置为“生产受限”,表示一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 父主题: 消息问题
ssl.truststore.location配置为client.jks证书的存放路径。注意,Windows系统下证书路径中也必须使用“/”,不能使用Windows系统中复制路径时的“\”,否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码,不可更改,需要保持为dms@kafka。
bootstrap_servers:前提条件中获取的Kafka实例“内网连接地址”/“公网连接地址”。 topic_id:前提条件中获取的Topic名称。 sasl_mechanism:SASL认证机制。 sasl_jaas_config:SASL jaas的配置文件,根据实际情况修改为前提条件中获取的SASL用户名和密码。
假设选择2个可用区,可用区1有1个Zookeeper节点,可用区2有2个Zookeeper节点。如果可用区1故障,则Kafka实例能正常使用;如果可用区2故障,则不能正常使用。Kafka实例可用的场景只有50%,所以不支持选择2个可用区。 父主题: 实例问题
重置用户密码会导致业务中断,您需要及时在客户端配置文件或代码中修改用户密码。 一个Kafka实例最多创建的用户数量在控制台存在两种限制,一种为20个,另一种为500个,具体以控制台为准。 前提条件 Kafka实例已开启密文接入。 只有处于“运行中”状态的Kafka实例支持配置Kafka用户。 创建用户