检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
变更计费模式 变更计费模式概述 按需转包年/包月 包年/包月转按需
立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需使用,支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。
让一部分消费者处于wait状态。 代码示例 以下仅贴出与消费者线程唤醒与睡眠相关代码,如需运行整个demo,请先下载完整的代码示例包,同时参考开发指南进行部署和运行。 消费消息代码示例: package com.huawei.dms.kafka; import java.io.IOException;
本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示Kafka的API调用,生产与消费的API集,请参考Kafka官网。 客户端网络环境说明 客户端可以通过以下方式访问Kafka实例: 如果客户端是云上ECS,与Kafka实
图4 获取VPC ID 调用VPC终端节点的API创建终端节点服务,API详情请参考创建终端节点服务。 POST https://{endpoint}/v1/{project_id}/vpc-endpoint-services 请参考以下说明设置请求参数,其他参数根据实际情况设置。
Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考创建Smart Connect任务(Kafka数据复制)。 Kafka实例不支持创建Kafka数据复制类型的Smart Connect任务时,如果需要做Kafka实例迁移,可以同时向两个Kafka实例生产消息,源实例中的消息可继续
latest:自动复位offset为最新 none:如果没有发现offset,则向消费者抛出异常 anything else:向消费者抛出异常。 如果将此配置设置为latest,新增分区时,生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息,从而导致部分消息丢失。 connections
通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控”页面来检索Kafka实例产生的监控指标。 例如,通过API接口获取磁盘容量使用率监控指标信息,可参考API接口-查询监控数据。 命名空间 SYS
\src\main\java\com\dms\consumer 消费消息的API。 DmsProducer.java .\src\main\java\com\dms\producer 生产消息的API。 dms.sdk.consumer.properties .\src\main\resources
需要单独创建生产者和消费者。 修改“auto.create.groups.enable”的方法,请参考修改Kafka实例配置参数。 连接Kafka实例后,生产消息和消费消息,请参考向Kafka实例生产消息和消费消息。 父主题: 消费组问题
开启认证? Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证,Kerberos认证目前不支持。 如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。 父主题:
华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下销售许可证及软件著作权证书,供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题: 安全
Kafka实例是否支持公网访问? Kafka实例支持公网访问。使用公网访问Kafka实例的具体操作,请参考连接实例。 父主题: 连接问题
Kafka服务端支持版本是多少? Kafka 1.1.0、2.7、3.x版本。 如果您想要创建Kafka实例,具体步骤请参考购买实例。 父主题: 实例问题
Kafka实例是否支持无密码访问? 支持,连接明文接入的Kafka实例时,无需密码。具体操作,请参考使用客户端连接Kafka(关闭SASL)。 父主题: 连接问题
连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 可以使用PEM格式。使用PEM格式SSL证书连接Kafka实例的方法请参考获取和使用Kafka PEM格式的SSL证书。 父主题: 连接问题
在IDE中查看Demo具体表现,请查看Java开发环境搭建。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。 Maven中引入Kafka客户端 //Kafka实例基于社区版本1.1.0/2.3.0/2.7/3.x,推荐客户端保持一致。
支持云审计的操作列表有哪些? API 分布式消息服务Kafka版提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用,实现创建、修改、删除实例等操作。 支持区域: 全部 API概览
创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。 父主题: 连接问题