检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
实例规格变更问题 Kafka扩容/缩容会影响业务吗? 扩容过程中涉及数据迁移吗? 扩容/缩容过程中生产消息失败 扩容失败提示资源不足
Java Java客户端接入示例 Java开发环境搭建
Kafka将日志存储在消息文件中,实现日志的持久化存储。 日志处理应用,如Logstash,订阅并消费Kafka中的日志消息,最终供文件搜索服务检索日志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。
操作视频 本视频演示重置Kafka消费进度的操作。 重置消费进度须知 重置消费进度可能会导致重复消费,请谨慎操作。 前提条件 Kafka实例不支持在线重置消费进度,请先将待重置消费进度的消费组停止消费,然后重置消费进度。
介绍视频
您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。 {URI-scheme}://{Endpoint}/{resource-path}?
操作视频 本视频演示客户端连接开启SASL_SSL的Kafka实例的操作。 前提条件 已打通客户端和Kafka实例之间的网络,具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问开启密文接入的Kafka实例时,实例需要配置正确的安全组规则,否则会连接失败。
您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。 父主题: 如何调用API
命令行模式连接 连接未开启SASL的实例 连接已开启SASL的实例 客户端方式连接 Java客户端 Python客户端 Go客户端 05 实践 Kafka作为一款热门的消息队列中间件,广泛应用于企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域。
订阅消息最终目的在于处理消息内容,如日志集成场景中,监控告警平台(消费者)从主题订阅日志消息,识别出告警日志并发送告警消息/邮件。
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
云监控(Cloud Eye) 云监控是一个开放性的监控平台,提供资源的实时监控、告警、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP(Elastic IP) 弹性公网IP提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。
在左侧导航栏单击“共享带宽”,进入“共享带宽”页面。 申请一个共享带宽,具体操作请参考申请共享带宽。 如果已有共享带宽,可重复使用,无需再次申请。 在共享带宽所在行,单击“添加公网IP”,弹出“添加公网IP”对话框。 设置如表5参数,单击“确定”。
连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 使用Java语言连接实例时,只能使用JKS格式的证书,不支持转成PEM格式。 父主题: 连接问题
可能原因1:Topic的每个分区都是由多个大小相同的segment文件组成,每个segment文件的大小为500MB,当segment文件存储的消息大小到达500MB后,才会新建下一个segment文件。Kafka删除消息是删除segment文件,而不是删除一条消息。
如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。 父主题: 连接问题
消息进行转储时,不支持以Key作为文件名。 单击“立即创建”,跳转到Smart Connect任务列表页面,页面右上角显示“创建xxx任务成功”。 父主题: 使用Smart Connect迁移数据
ssl.endpoint.identification.algorithm= 加载SSL证书文件失败 出现下图的错误信息: 解决方案: 请检查对应地址的client.jks文件是否存在。 检查进程和文件所属权限。
touch producer.py producer.py表示文件名,您可以自定义文件名。 执行以下命令,编辑文件。 vim producer.py 将以下生产消息的代码示例写入文件中,并保存。