检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。
访问Manager页面报错“请求VPC错误” 用户问题 通过管理控制台前往Manager,报错“请求VPC错误”。 原因分析 当前用户没有VPC的访问权限。 IAM子用户所在的组有互斥权限导致访问Manager异常。
MRS集群支持的云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。
弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。 若未安装,在配置了yum源的情况下,可执行yum install ntp -y命令自行安装。
图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云(Virtual Private Cloud) MRS集群创建在虚拟私有云(VPC)的子网内,VPC通过逻辑方式进行网络隔离
通过VPC管理控制台获取子网名称: 登录管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 单击对应虚拟私有云所在行的“子网个数”查看子网,获取子网名称。
通过VPC管理控制台获取子网ID: 登录VPC管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 单击对应虚拟私有云所在行的“子网个数”查看子网。 单击对应子网名称,获取“网络ID”。
通过VPC管理控制台获取子网ID。 登录管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 单击对应虚拟私有云所在行的“子网个数”查看子网。 单击对应子网名称,获取“网络ID”。
SSH登录:仅适用于Linux弹性云服务器,您可以使用远程登录工具(例如PuTTY)登录弹性云服务器,此时需要该弹性云服务器绑定弹性IP地址。 集群节点申请和绑定弹性IP,请参见申请EIP并绑定至ECS。
弹性云服务器 计费因子:vCPU和内存,不同规格的实例类型提供不同的计算和存储能力。 包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘(系统盘和数据盘) 计费因子:云硬盘类型、容量。
在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 操作步骤 根据前提条件,创建一个满足要求的弹性云服务器。
转储服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。 Manager支持采集当前管理的集群内所有监控指标数据,采集周期有30秒、60秒和300秒三种。
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。
MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题: 准备Kafka应用开发环境
约束限制 已在待创建集群区域通过虚拟私有云服务创建VPC,子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区域的区域和可用区信息,具体请参考终端节点。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。
原因分析 用户MRS集群选的是企业项目A(包含MRS FULLACCESS和ECS FULLACCESS权限)。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。
连接到HBase响应慢 问题现象 在相同的VPC下,外部集群通过Phoenix连接到HBase时,响应较慢。 原因分析 客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。