检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建代理服务器 创建1台云上服务器,作为第三方服务器的代理服务器。 登录华为云控制台购买弹性云服务器,关于购买弹性服务器的详细介绍请参见自定义购买弹性云服务器。 代理服务器的CPU架构需要选择x86计算。
服务器地址 创建为代理服务器的服务器内网IP或公网IP。 IP地址需要能够与堡垒机正常连接。 端口 供代理服务器访问的端口。 SOCKS5代理默认端口为1080,如果有设置固定端口,请填写已设置的端口号。 所属部门 选择已有的所属部门,如果没有可新建。
代理服务器是介于源端和云服务之间的一台服务器,有了代理服务器之后,源端服务器不是直接访问云服务,而是向代理服务器发出请求,由代理服务器从云服务取回所需要的信息并传送给源端。
设置用户权限 功能介绍 设置用户权限。 Kafka实例开启SASL功能时,才支持多用户管理的功能。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/{instance_id}/topics/accesspolicy 表1 路径参数
c列表页面。 在待设置用户权限的Topic所在行,单击“设置用户权限”,弹出“设置权限”对话框。 为用户设置Topic权限。 如果需要为所有用户设置相同的权限,勾选“默认用户”,并设置权限。如下图所示,所有用户都拥有发布此Topic的权限。 图1 为所有用户设置相同的权限 如果需
如何选择代理服务器? 代理服务器仅提供转接功能,因此对代理服务器的系统、配置无特别要求。只要确保同时连接这台代理服务器的主机数量不是特别多(超过百台),性能不会受到影响。我们建议使用CentOS系统作为代理服务器,配置华为yum源更方便。 父主题: 常见问题
代理服务器的要求 全程无公网迁移场景下,代理服务器需要与目的端服务器处于同一Region、同一VPC下。 源端服务器和代理服务器能够通过专线/VPC/内网等方式进行互通。 代理服务器需要满足源端服务器想要获取的能力。
登录Kafka Manager的帐号是否可以设置为只读帐号? 不支持设置为只读帐号。 父主题: Kafka Manager问题
Kafka实例Topic数量计算 Kafka实例对Topic分区数之和设置了上限,当达到上限之后,用户无法继续创建Topic。 所以,Topic数量和实例分区数上限、每个Topic的分区数有关,其中,每个Topic分区数可在创建Topic时设置,如图1,实例分区数上限参考表1。 图1 Topic的分区数
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
Kafka Manager如何修改Topic的分区Leader? 在Kafka Manager中修改Topic的分区Leader的步骤如下: 登录Kafka Manager。 选择“Topic > List”,进入Topic列表页面。 单击待修改分区Leader的Topic名称(
怎样判断老规格实例和新规格实例? 老规格实例:在实例列表中,“规格”显示为带宽(如100MB/s)的实例。 新规格实例:在实例列表中,“规格”显示为ECS规格和代理个数(如kafka.2u4g.cluster*3 broker)的实例。 图1 实例列表 约束与限制 单机实例不支持变更实例规格。
如何修改安全协议? Kafka实例的安全协议包括SASL_SSL和SASL_PLAINTEXT。 未开启IPv6的实例,安全协议支持在控制台修改。先在Kafka实例的详情页的“连接信息”区域,关闭密文接入,然后再开启密文接入,此时可以重新设置安全协议。 已开启IPv6的实例,实例创建后,不支持修改安全协议。
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
truststore.password为服务器证书密码,不可更改,需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关,为空则表示关闭。这里需要保持关闭状态,必须设置为空。 SASL_PLAINTEXT:在K
性。 弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上,一个代理对应一台弹性云服务器。 云硬盘(Elastic Volume Service) 云硬盘为云服务器提供块存
Kafka实例的Topic数量是否有限制? Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格
配置Topic 创建Kafka Topic 设置Kafka Topic权限 Topic管理
如何扩总分区? 增加基准带宽/代理数量,可以扩大总分区数。 在Kafka控制台的实例所在行,单击“更多 > 变更规格”,进入变更规格页面,根据实际情况扩容基准带宽/代理数量。具体操作请参考变更Kafka实例规格。 父主题: Topic和分区问题
- [root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费进度。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。
X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。 父主题: 如何调用API
应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构
您需要通过公网地址访问Kafka实例时,可开启实例的公网访问功能,并设置公网带宽。当开启成功后,您还可以根据需要修改公网带宽的大小,当前仅支持带宽扩容,不支持缩容。 部分区域不支持“基准带宽”为“100MB/s”的Kafka实例开启公网访问,具体以控制台为准。 支持区域: 全部 设置实例公网访问 消息查询 您可以查
如何调用API 构造请求 认证鉴权 返回结果
"error_code": "AS.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息。 父主题: 如何调用API