检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置在两台独立的机器上。在任何一个时间点，只有一个NameNode处于Active状态，另一个处于Standby状态。Active节点负责处理所有客户端操作，Standby节点时刻保持与Active节点同步的状态以便在必要时进行快速主备切换。 为保持Active和Standby节
authentication failed No password provided 可能原因 客户端用户没有进行安全认证 kerberos认证超期 解决方案 登录Hive客户端所在节点。 执行source 集群客户端安装目录/bigdata_env命令。 可通过klist命令查看本地是否有有
belong to role admin (state=08S01,code=1) 原因分析 当前登录的用户不具有Hive的admin角色的权限。 解决方案 登录Manager。 MRS 3.x之前版本，执行7。 MRS 3.x及之后版本，选择“集群 > 服务 > Hive”，在服务“概览”
so，而使用系统自带的libssl.so（因为hadoop native目录没有带该包） 。由于这两个库版本不匹配，导致了python文件运行时出现段错误。 解决方案 方案一： 修改Spark2x客户端conf目录下spark-default.conf文件，清空（直接赋值为空） 配置项spark.driver
so，而使用系统自带的libssl.so（因为hadoop native目录没有带该包） 。由于这两个库版本不匹配，导致了python文件运行时出现段错误。 解决方案 方案一： 修改Spark2x客户端conf目录下spark-default.conf文件，清空（直接赋值为空） 配置项spark.driver
jdbc4-*.jar，与开源postgre服务不兼容导致报错。 报错中type为12时：数据库的pg_hba.conf文件配置有误。 解决方案： 报错中type为5时：在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv
Agent1，2，3）负责处理日志，汇聚节点（Agent4）负责写入HDFS，每个收集节点的Agent可以选择多个汇聚节点，这样可以实现负载均衡。 图3 Flume级联结构图 Flume的架构和详细原理介绍，请参见：https://flume.apache.org/releases/1
I/O负载的节点顺序调整至后面。 HDFS开源增强特性：HDFS冷热数据迁移 Hadoop历来主要被用于批量处理大规模的数据。相比处理低时延，批处理应用更关注原始数据处理的吞吐量，因此，目前已有的HDFS模型都运作良好。 然而，随着技术的发展，Hadoop逐渐被用于以随机I/O访
Spark作业报错“UnknownScannerExeception”如何处理？ 问题现象 Spark作业运行查看日志有些WARN日志，作业运行很慢，Caused by显示：UnknownScannerExeception。 解决方法 运行Spark作业前，调整hbase.client
Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么？ 解决方案 Hive服务的健康状态（也就是在Manager界面看到的健康状态）有Good，Bad，Partially Healthy，Unknown四种状态 ，四种
MRS节点访问OBS报错408如何处理？ 问： MRS节点访问OBS报错408，怎么办？ 答： MRS节点访问OBS报错408时，用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题： 作业管理类
MRS集群内节点互信异常如何处理？ 当Manager报“ALM-12066 节点间互信失效”告警，或者发现节点间无ssh互信时，可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息，执行ps
提交作业失败，报错与OBS相关如何处理？ 问 为什么提交作业失败，报错与OBS相关？ 答 与OBS相关的报错，一般与读写OBS相关，可通过以下步骤进行排查。 查看作业管理中失败作业详情，找到作业详情中的实际作业编号。如果实际作业编号为空，则执行4。 登录Manager界面，选择“集群
失败原因是C80SPC200版本开始，安装集群不再替换/etc/krb5.conf文件，改为通过配置参数指定到客户端内krb5路径，而HiBench并不引用客户端配置文件。解决方案：将客户端/opt/client/KrbClient/kerberos/var/krb5kdc/krb5.conf
因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default.conf文件中的spark
因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default.conf文件中的spark
DataArts Studio调度Spark作业偶现失败如何处理？ 问题现象 DataArts Studio调度spark作业，偶现失败，重跑失败，作业报错： Caused by: org.apache.spark.SparkException: Application appl
提交Flink作业时报错slot request timeout如何处理？ 问题现象 Flink作业提交时，jobmanager启动成功，但taskmanager一直是启动中直到超时，报错如下： org.apache.flink.runtime.jobmanager.scheduler
Hue WebUI界面中下载的Excel无法打开如何处理？ 本案例适用于MRS 3.x之前版本。 以root用户登录任意一个Master节点，切换到omm用户。 su - omm 使用如下命令查看当前节点是否为OMS主节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms
Spark2x多租户 背景介绍 JDBCServer多主实例方案中，JDBCServer的实现使用YARN-Client模式，但YARN资源队列只有一个，为了解决这种资源局限的问题，引入了多租户模式。 多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBC
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
