检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何关闭MRS集群内节点的防火墙服务? 问: 如何关闭MRS集群内节点的防火墙服务? 答: 以root用户登录集群的各个节点。 检查防火墙服务是否启动。 例如,EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。 例如,EulerOS环境下执行systemctl
)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的,需要重新设置防火墙,把需要使用的UDP端口都打开,保证应用程序在Windows环境下运行的机器与MRS集群的网络是完全通畅的。
)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的,需要重新设置防火墙,把需要使用的UDP端口都打开,保证应用程序在Windows环境下运行的机器与MRS集群的网络是完全通畅的。
户负责,如果在大数据集群运维过程中遇到了相关技术问题,可以联系技术支持团队获得帮助,该技术支持仅协助分析处理MRS云服务相关求助,不包含云服务以外的求助,例如用户基于大数据平台构建的应用系统等。 技术支持范围 支持的服务 MRS云服务管理控制台提供的相关功能: 集群的创建、删除、扩容、缩容
检查是否防火墙禁用端口。 执行命令lsof -i :20012查询主备节点的心跳端口是否打开,有查询结果说明端口已经开放,否则说明端口被防火墙禁用。 是,执行13。 否,执行16。 执行命令iptables -P INPUT ACCEPT,防止与服务器断开。 清除防火墙。 iptables
可能是两台主机处于不同VPC网络中。 密码填写错误。 远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机,然后通过Linux提供的scp命令复制到远端主机。
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFi
响集群性能,请谨慎开启。 该章节仅适用于MRS 3.x及之后版本。 配置LDAP防火墙策略 在双平面组网的集群中,由于LDAP部署在业务平面中,为保证LDAP数据安全,建议通过配置整个集群对外的防火墙策略,关闭LDAP相关端口。 登录FusionInsight Manager。 选择“集群
处理对应问题,问题解决后等待10分钟,检查该告警是否恢复。 NTP不能正常同步,通常与系统防火墙有关:如果能关闭防火墙,建议尝试关闭防火墙后查看问题能否解决;如果不能关闭防火墙,请检查防火墙配置策略,确保UDP 123端口未禁用(具体遵循各系统下防火墙配置策略)。 是,处理完毕。 否,执行3。 检查该节点NTP
否,执行38。 chrony不能正常同步,通常与系统防火墙有关。如果能关闭防火墙,建议尝试关闭防火墙;如果不能关闭防火墙,请检查防火墙配置策略,确保UDP 123、323端口未禁用(具体遵循各系统下防火墙配置策略)。 处理防火墙后等待10分钟,检查该告警是否恢复。 是,处理完毕。
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MR
MRS集群支持的云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
MRS集群是否支持Hive on Spark? 问: MRS集群是否支持Hive on Spark? 答: MRS 1.9.x版本集群支持Hive on Spark。 MRS 3.x及之后版本的集群支持Hive on Spark。 其他版本可使用Hive on Tez替代。 父主题:
MRS集群如何解绑已绑定至Manager的EIP? 如何关闭MRS集群内节点的防火墙服务? MRS集群内节点的登录方式如何切换? 如何通过集群外的节点访问MRS集群? MRS集群中Kafka Topic监控是否支持发送告警? 产生Yarn队列资源不足告警时正在运行的资源队列如何查看?
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC,RCFile,TextFi
可能原因二:客户端节点防火墙未关闭。 解决方法: 执行如下命令可查看是否关闭: systemctl status firewalld(不同的操作系统查询命令不一致,此命令以CentOS为例) 如下图所示:dead表示关闭。 防火墙开则影响通信,执行如下命令关闭防火墙: service
MRS支持什么类型的分布式存储? 问: MRS集群支持什么类型的分布式存储?有哪些版本? 答: MRS集群内使用主流的大数据Hadoop,目前支持Hadoop 3.x版本,并且随集群演进更新版本。 同时MRS也支持用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式。
MRS集群中Spark任务支持哪些Python版本? 问: MRS 3.1.0版本的集群,Spark任务支持哪些python版本? 答: MRS 3.1.0版本的集群,Spark任务建议使用python2.7或3.x版本。 父主题: 组件配置类
版本支持公告 MRS集群版本生命周期
product:乘积函数可以计算多行的乘积值,支持DECIMAL、SHORT、INTEGER、BIGINT、FLOAT和DOUBLE数据类型。 count:计数函数可以跨多行计数值,支持INTEGER(整数)和BIGINT(大整数)数据类型。 max:最大值函数可以识别并保留最大值,支持STRING、DEC