检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置在两台独立的机器上。在任何一个时间点,只有一个NameNode处于Active状态,另一个处于Standby状态。Active节点负责处理所有客户端操作,Standby节点时刻保持与Active节点同步的状态以便在必要时进行快速主备切换。 为保持Active和Standby节
so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver
理平面)服务,即OMS LDAP LDAP2 部署在集群中的LdapServer(业务平面)服务 Kerberos1访问LDAP数据:以负载均衡方式访问主备LDAP1两个实例和双备LDAP2两个实例。只能在主LDAP1主实例上进行数据的写操作,可以在LDAP1或者LDAP2上进行数据的读操作。
so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver
jdbc4-*.jar,与开源postgre服务不兼容导致报错。 报错中type为12时:数据库的pg_hba.conf文件配置有误。 解决方案: 报错中type为5时:在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv
Spark作业报错“UnknownScannerExeception”如何处理? 问题现象 Spark作业运行查看日志有些WARN日志,作业运行很慢,Caused by显示:UnknownScannerExeception。 解决方法 运行Spark作业前,调整hbase.client
authentication failed No password provided 可能原因 客户端用户没有进行安全认证 kerberos认证超期 解决方案 登录Hive客户端所在节点。 执行source 集群客户端安装目录/bigdata_env命令。 可通过klist命令查看本地是否有有
so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver
belong to role admin (state=08S01,code=1) 原因分析 当前登录的用户不具有Hive的admin角色的权限。 解决方案 登录Manager。 MRS 3.x之前版本,执行7。 MRS 3.x及之后版本,选择“集群 > 服务 > Hive”,在服务“概览”
so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver
MRS节点访问OBS报错408如何处理? 问: MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类
MRS集群内节点互信异常如何处理? 当Manager报“ALM-12066 节点间互信失效”告警,或者发现节点间无ssh互信时,可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息,执行ps
提交作业失败,报错与OBS相关如何处理? 问 为什么提交作业失败,报错与OBS相关? 答 与OBS相关的报错,一般与读写OBS相关,可通过以下步骤进行排查。 查看作业管理中失败作业详情,找到作业详情中的实际作业编号。如果实际作业编号为空,则执行4。 登录Manager界面,选择“集群
Agent1,2,3)负责处理日志,汇聚节点(Agent4)负责写入HDFS,每个收集节点的Agent可以选择多个汇聚节点,这样可以实现负载均衡。 图3 Flume级联结构图 Flume的架构和详细原理介绍,请参见:https://flume.apache.org/releases/1
I/O负载的节点顺序调整至后面。 HDFS开源增强特性:HDFS冷热数据迁移 Hadoop历来主要被用于批量处理大规模的数据。相比处理低时延,批处理应用更关注原始数据处理的吞吐量,因此,目前已有的HDFS模型都运作良好。 然而,随着技术的发展,Hadoop逐渐被用于以随机I/O访
Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么? 解决方案 Hive服务的健康状态(也就是在Manager界面看到的健康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种
DataArts Studio调度Spark作业偶现失败如何处理? 问题现象 DataArts Studio调度spark作业,偶现失败,重跑失败,作业报错: Caused by: org.apache.spark.SparkException: Application appl
提交Flink作业时报错slot request timeout如何处理? 问题现象 Flink作业提交时,jobmanager启动成功,但taskmanager一直是启动中直到超时,报错如下: org.apache.flink.runtime.jobmanager.scheduler
Hue WebUI界面中下载的Excel无法打开如何处理? 本案例适用于MRS 3.x之前版本。 以root用户登录任意一个Master节点,切换到omm用户。 su - omm 使用如下命令查看当前节点是否为OMS主节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms
如何提高Presto资源使用率? 问题现象 节点资源利用不均衡,执行Presto任务几小时后仍未完成。 解决步骤 调小Yarn节点内存比例: 登录Manager页面,选择“集群 > 服务 > Presto > 实例”,查看并记录所有Presto实例所在节点主机名称。 选择“集群 >