检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI查看作业日志时提示“Could not access logs page!” 问题背景与现象 登录Yarn WebUI界面查看作业日志“Logs”，然后单击“Local logs”，界面提示“Could not access logs page!”。 原因分析 该Local
使用普通集群Core节点上安装的HDFS客户端时报错“error creating DomainSocket” 用户问题 普通集群在Core节点新建用户安装使用HDFS客户端报错。 问题现象 普通集群在Core节点新建用户安装使用客户端报错如下： 2020-03-14 19:16:17
如何提高集群Core节点的资源使用率？ 进入 Yarn服务配置页面： MRS 1.8.10及之前版本，登录MRS Manager页面，然后选择“服务管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理
Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用
Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中
Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 设置Spark Core并行度 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能 配置Yarn模式下Spark动态资源调度
Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，
登录Manager集群页面时报错“You have no right to access the page” 问题现象 访问集群管理页面报错： You have no right to access the page. 原因分析 当前登录的用户没有访问Manager的权限。 “/
Core节点出现df显示的容量和du显示的容量不一致 问题现象 Core节点出现df显示的容量和du显示的容量不一致： 分别使用命令df -h 和命令du -sh /srv/BigData/hadoop/data1/查询得到的/srv/BigData/hadoop/data1/目录磁盘占用量相差较大（大于10
UI查看信息时显示Internal Server Error 问题背景与现象 使用MRS版本安装集群，主要安装ZooKeeper、Strom。 通过MRS Manager中的Storm Status页面UI连接访问信息时显示如下信息： Internal Server Error org.apache.thrift7
配置sql-standard-with-group创建schema失败报Access Denied 用户问题 配置sql-standard-with-group创建schema失败，报Access Denied的错误。 问题现象 报错如下： CREATE SCHEMA hive.sf2
使用External Shuffle Service提升Spark Core性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage
消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理？ 该问题是由于集群的Ranger鉴权和集群自带的ACL鉴权冲突导致。Kafka集群使用自带的ACL进行权限访问控制，且集群的Kafka服务也开启Ranger鉴权控制时
执行select语句时报错“Execution Error return code 2” 问题现象 执行语句select count(*) from XXX;时客户端报错： Error:Error while processing statement :FAILED:Execution Error,return code
sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) sun.reflect
使用External Shuffle Service提升Spark Core性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
ance/access_http.log”里面请求是否转发到Master节点上新添加的JobServer的IP。 分批次停止Core节点上的JobServer实例。 在“实例”页面勾选Core节点所在的JobServer实例，选择“更多 > 停止实例”，停止Core节点上的JobServer实例。
配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。
在命令行终端查看样例代码中的Impala SQL所查询出的结果。 Linux环境运行成功结果会有如下信息。 Create table success! _c0 0 Delete table success! 如果出现如下报错提示，请客户根据log报错信息自行配置log4j2信息。 父主题： 调测Impala应用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
