检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DMS for Kafka自定义策略样例。 DMS for Kafka的权限与策略基于分布式消息服务DMS,因此在IAM服务中为DMS for Kafka分配用户与权限时,请选择并使用“DMS”的权限与策略。 由于缓存的存在,对用户、用户组以及企业项目授予OBS相关的细粒度策略后
从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
了解分布式消息服务Kafka版的产品特点和业务使用场景,有助于您更准确地匹配实际业务,更快速地选择所需实例。 产品介绍 什么是Kafka Kafka使用场景 与RabbitMQ、RocketMQ的差异 产品规格 03 入门 创建Kafka实例之后,您可以通过命令行模式和客户端方式连接实例进行生产消息和消费消息。
费。 关于IAM的详细介绍,请参见IAM产品介绍。 DMS for Kafka的权限与策略基于分布式消息服务DMS,因此在IAM服务中为Kafka分配用户与权限时,请选择并使用“DMS”的权限与策略。 DMS for Kafka权限 默认情况下,管理员创建的IAM用户没有任何权限
7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development Kit 1.8.111或以上版本,并配置JAVA_HOME与PATH环境变量,具体方法如下: 使用执行用户在用户家目录下修改“.bas
参数值。 bootstrap_servers:实例连接地址与端口。 topic_name:Topic名称。 sasl_plain_username/sasl_plain_password:首次开启密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。为了确保用户名和密码
择“基本监控”,查看“队列数据容量”,该指标表示该队列当前的消息数据大小。 单击Kafka实例名称,进入实例详情页。在左侧导航栏选择“监控与告警 > 监控详情”,进入监控页面。在“主题”页签中,“主题”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基本监控”,查看“队
实现Kafka实例对公网提供服务。 本章节主要介绍使用DNAT实现公网访问Kafka。 前提条件 已购买弹性公网IP,弹性公网IP的数量与Kafka实例中代理个数相同。购买弹性IP地址的操作指导请参考申请弹性公网IP。 步骤一:获取Kafka实例的信息 登录管理控制台。 在管理控制台左上角单击,选择区域。
问题解决措施 检查Windows服务器和Kafka实例是否在同一个VPC同一个子网内? 是,执行2。 否,修改Windows服务器的VPC和子网,与Kafka实例一致。 检查安全组是否配置正确?安全组的配置请参考选择和配置安全组。 是,执行3。 否,修改安全组配置。 在Kafka实例控制台,重启Kafka
} 示例代码中的参数说明如下,请参考收集连接信息获取参数值。 brokers:实例连接地址与端口。 topics:Topic名称。 user/password:首次开启密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。
service_type:输入“interface”。 endpoint:获取VPC终端节点的终端节点,区域必须与Kafka实例保持一致。 project_id:获取VPC终端节点的项目ID,区域必须与Kafka实例保持一致。 记录响应信息中的“service_name”参数值,此参数表示终端节点服务的名称。
(4000-955-988或950808)与我们联系。 常见问题 已经购买Kafka 2.3.0的用户能否继续使用?Kafka 2.3.0与Kafka 2.7的功能和性能是否存在差异? 已购买Kafka 2.3.0的用户不受影响,现有功能可继续使用。Kafka 2.7版本在功能上向前兼容2
Manager会占用额外的内存和CPU资源,关闭Kafka Manager可以减少这部分资源的占用。本章节指导您在控制台关闭Kafka Manager。 约束与限制 Kafka Manager关闭后,无法再次开启。 关闭Kafka Manager,不会重启实例。 关闭Kafka Manager 登录管理控制台。
Manager,使Kafka Manager恢复正常。 图1 报错信息 2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。 约束与限制 重启Kafka Manager不会影响业务。 重启Kafka Manager 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
生效。管理员可以在授权项列表中查看授权项是否支持IAM项目或企业项目,“√”表示支持,“×”表示暂不支持。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 DMS for Kafka的支持自定义策略授权项如下所示: 生命周期管理,包含Kafka实例所有生命周期
查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量,以了解Kafka实例的磁盘使用情况。 约束与限制 单机实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。
数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时,这些数据发送失败后,客户端会重新发送。 注意,这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序,如果这两个消息记录都是发送到同一个partition,则第一个消息
会有分钟级别的rebalance耗时,而rebalance过程中是无法正常消费的,只有在rebalance动作完成才可以进行消费。 该现象与问题现象描述的偶现长时间时延行为相吻合,问题确定。 详细分析 查看用户消费组行为日志文件,文件中存在以下三种日志: Preparing to
Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart Connect任务。 一个实例最多创建18个Smart Connect任务。 Smart Conn