检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
//IAM用户名 "password": $ADMIN_PASS, //IAM用户密码,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 "domain": {
JDK Java Development Kit 1.8.111及以上版本,可至Oracle官方下载页面下载。 安装后注意配置JAVA的环境变量。 IntelliJ IDEA 获取并安装IntelliJ IDEA,可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。
发送消息后,生产者需要根据分布式消息服务Kafka版的返回信息确认消息是否发送成功,如果返回失败需要重新发送。 生产消息时,生产者通过同步等待发送结果或异步回调函数,判断消息是否发送成功。在消息传递过程中,如果发生异常,生产者没有接收到发送成功的信号,生产者自己决策是否需要重复发送消息。
在“风险检查”区域,查看升级前的检查项是否正常。 如果检查项有异常,请先根据提示信息修改,然后单击“重新检查”。如果确认异常的检查项无需修改,请勾选“我已知晓风险。”。 单击“确定”。 立即执行和定时执行查看升级是否完成的方法不同,具体如下: 表1 查看升级结果 执行方式 升级结果 立即执行
志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 您开通云审计服务并创建和配置追踪器后,CTS可记录Kafka的管理事件和数据事件用于审计。详情请参见查看Kafka审计日志。 使用云监控服务对Kafka进行实时监控和告警。
一键测算功能对Kafka实例性能没有影响。 单击“确定”。 定时任务和非定时任务查看分区平衡是否完成的方法不同,具体如下: 表2 查看分区平衡结果 任务类型 分区平衡结果 非定时任务 在Topic列表页面左上方单击“查看变更任务”,进入“后台任务管理 > 后台任务”页面,当任务的“状态”为“成功”时,表示分区平衡完成。
怀疑是业务堆积,处理慢导致时延。 通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到达处理极限。 排查EIP流量情况,发现入流量存在下降的场景。 联系EIP服务技术人员协助排查,未发现问题。 从业务日志中分析消费组行为。 通过查看服务端日志,
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一:制作证书 登录Linux系统的服务器,执行以下命令,生成server.keystore
开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询消费组信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 查询topic的磁盘存储情况 查询所有消费组 Kafka实例批量删除消费组 创建消费组 编辑消费组
查看Kafka流控统计 如果Kafka配置了流量控制,可在控制台查看当前流控策略下,每个代理上用户/客户端/Topic的带宽使用量。 单机实例不支持查看流控监控。 查看带宽使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。 服务端 合理设置Topic的分区数,在不影响
当“状态”变为“诊断成功”时,表示消息积压诊断已经完成。 在诊断记录所在行,单击“查看详情”,进入“诊断详情”页面。 在页面顶部查看消息组异常项、失败项和正常项的数量。在“诊断维度”区域,单击包含异常项的维度名称,例如:重平衡,查看导致异常的可能原因、受影响的分区或者broker,以及解决消息堆积的建议。
根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DMS for Kafka资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DMS for Kafka资源委托给更专业、高效的其他华为账号或者云服
project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 sink_max_tasks 是 Integer 转储任务的总个数。
查看Kafka消费组信息 消费组创建成功后,可查看消费组配置信息和状态信息。 查看消费组列表(控制台) 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
查看Kafka Topic详情 Kafka实例支持在控制台查看Topic的基本信息、分区信息、生产者信息和订阅关系。 查看Topic详情 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消
批处理消息最大值为10485760字节。 同步复制 Topic副本数为1时,不能选择同步复制功能。 副本数 集群实例不建议使用单副本。实例节点出现故障的情况下,单副本Topic查询消息时可能会报“内部服务错误”,因此不建议使用单副本Topic。 老化时间 如果Topic已经设置了老化时间,此时“配置参数”中的log.retention
已开启密文接入的Kafka实例,通过以下步骤修改Topic分区数。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码
在左侧导航栏选择“消费组管理”,进入消费组列表页面。 单击待查看消费者列表的消费组名称,进入消费组详情页。 在“消费者列表”页签,查看消费者列表。 在消费者列表中,可以查看消费者ID、消费者地址和客户端ID。 (可选)如果需要查询某个消费者,在搜索框中,输入消费者ID,按“Enter”。 查看消费者列表(客户端) 未