检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时,首先开启Smart Connect,然后创建Kafka数据复制类型的Smart Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考创建Smart
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
Topic”或者“添加来源header”。如果您在两个实例间,对同一个Topic分别创建拉取和推送的任务,即形成双向数据复制,且两个任务都未开启“重命名Topic”和“添加来源header”,此时会导致数据循环复制。 如果创建两个或以上配置完全相同的任务,即重复创建任务,且任务已
修改实例跨VPC访问的内网IP 功能介绍 修改实例跨VPC访问的内网IP。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/crossvpc/modify 表1 路径参数 参数 是否必选 参数类型
TPS,而Endpoint在同一个区域也相同,所以简洁起见将这两部分省略。 请求方法 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DE
Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。 本章节主要介绍如何开启Smart Connect。 约束与限制 开启Smart
息服务Kafka版时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成 使用分布式消息服务Kafka版时,成本主要包括两个方面: 资源成本:各类资
创建消费组 功能介绍 实例创建消费组 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instances/{instance_id}/group 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
Kafka实例是否支持跨VPC访问? Kafka实例支持跨VPC访问,您可以通过以下任意一个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kaf
Kafka客户端和Kafka实例在同一区域的不同VPC中,由于VPC之间逻辑隔离,Kafka客户端和Kafka实例不能直接通信。您可以通过以下任意一个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考对等连接。 利用VPC终端节点在不同VPC间建立跨VPC的连接通
创建Kafka实例的用户,用户可连接开启SASL的Kafka实例。 2023年7月15日前创建的Kafka实例,一个实例最多创建20个用户。2023年7月15日及以后创建的Kafka实例,一个实例最多创建500个用户。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/insta
Kafka实例创建Topic 功能介绍 该接口用于向Kafka实例创建Topic。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/topics 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Kafka Manager如何修改Topic的分区Leader? 在Kafka Manager中修改Topic的分区Leader的步骤如下: 登录Kafka Manager。 选择“Topic > List”,进入Topic列表页面。 单击待修改分区Leader的Topic名称(
“公网密文连接地址”,具体以控制台显示为准。 如果是使用内网通过同一个VPC访问,Kafka连接地址如下图所示。 图1 使用内网通过同一个VPC访问Kafka实例的连接地址(内网连接地址) 图2 使用内网通过同一个VPC访问Kafka实例的连接地址(内网密文连接地址) 如果是公网访问,Kafka连接地址如下图所示。
curl -kv {ip}:{port} 网络正常,如下: 网络异常/不通,如下: 解决方案: 检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和P
应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构
X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。 父主题: 如何调用API
fsets的Topic。 处理方法:__trace和__consumer_offsets是Kafka实例内部预留的Topic,不建议删除这两个Topic,删除后可能导致实例无法使用。 父主题: Kafka Manager问题
strap_servers仅需要填写其中一个) bootstrap_servers 否 String 对端Kafka实例地址。(仅源端类型为Kafka时需要填写,instance_id和bootstrap_servers仅需要填写其中一个) security_protocol 否
truststore.password为服务器证书密码,配置此密码是为了访问Java生成的jks文件。 ssl.truststore.password=dms@kafka #ssl.endpoint.identification.algorithm为证书域名校验开关,为空则表示关闭,这里需要保持关闭状态,必须设置为空。