检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Kafka生产消费示例代码 分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码,您可以参考示例代码快速完成Kafka客户端的集成,并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击,选择
查询指定实例 功能介绍 查询指定实例的详细信息。 当前页面API为历史版本API,未来可能停止维护。请使用查询指定实例。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id} 表1 路径参数
权限管理 如果您需要对华为云上购买的DMS for Kafka资源,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍
修改Kafka的接入方式 功能介绍 修改Kafka的内网或者公网接入方式。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/{engine}/instances/{instance_id}/plain-ssl-switch 表1 路径参数 参数
收集连接信息 在连接Kafka实例生产消费消息前,请先获取以下Kafka实例信息。 实例连接地址与端口 实例创建后,从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署,至少有3个连接地址,在客户端配置时,建议配置所有的连接地址,提高可靠性。 如果开启公网访问
开启Smart Connect Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect
查询指定实例 当前页面API为历史版本API,未来可能停止维护。请使用查询指定实例。 功能介绍 查询指定实例的详细信息。 URI GET /v1.0/{project_id}/instances/{instance_id} 参数说明见表1。 表1 参数说明 参数 类型 必选 说明
购买Kafka实例 Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。支持用户自定义规格和自定义特性,您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。 操作视频 本视频演示自定义购买Kafka实例的操作。 准备实例依赖资源 创建Kafka实例前,请提前准备好如表
约束与限制 本章节介绍分布式消息服务Kafka版产品功能的约束和限制,您在使用Kafka实例时注意不要超过相应的约束和限制,以免程序出现异常。 如果因为您的实例配置超过相应的约束和限制而导致的任何不稳定情况,不在SLA承诺和赔偿范围内。 实例 表1 实例约束与限制 限制项 约束与限制
版本发布说明 表1列出了分布式消息服务Kafka版相对开源版本新增/优化的特性。 表1 版本发布说明 实例版本 发布时间 新增/优化特性 1.1.0和2.7 2023年7月 控制台支持查看重平衡日志 1.1.0和2.7 2023年4月 控制台支持手动创建消费组 1.1.0和2.7
查询所有实例列表 当前页面API为历史版本API,未来可能停止维护。请使用查询所有实例列表。 功能介绍 查询租户的实例列表,支持按照条件查询。 URI GET /v1.0/{project_id}/instances?engine={engine}&name={name}&status
Kafka Manager问题 登录Kafka Manager的账号是否可以设置为只读账号? 登录到Kafka Manager页面,为什么获取不到节点信息? Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project
实例状态说明 表1 实例状态说明 状态 说明 CREATING 申请实例后,在实例状态进入运行中之前的状态。 RUNNING 实例正常运行状态。在这个状态的实例可以运行您的业务。 ERROR 实例处于故障的状态。 RESTARTING 实例正在进行重启操作。 STARTING 实例从已冻结到运行中的中间状态
查询Kafka实例Topic详细信息 当前页面API为历史版本API,未来可能停止维护。请使用查询Kafka实例Topic详细信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic} 参数说明如下表所示
连接问题 选择和配置安全组 Kafka实例是否支持公网访问? Kafka实例的连接地址默认有多少个? 是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问
配置Kafka实例的明文/密文接入 您可以通过明文接入Kafka实例,也可以通过密文接入Kafka实例,本章节指导您在控制台修改接入方式。 明文接入:表示客户端连接Kafka实例时,无需进行SASL认证。 密文接入:表示客户端连接Kafka实例时,需要进行SASL认证。 约束与限制
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 DMS.00400002 The project ID format is invalid. Project-ID
Java开发环境搭建 基于收集连接信息的介绍,假设您已经获取了实例连接相关的信息,以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例,介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本,可至Maven官方下载页面下载
使用客户端连接Kafka(开启SASL) 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时,需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,