检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”决定），当内存中的Spark应用个数超过这个数值时，HistoryServer会回收最先缓存的Spark应用，同时会清理掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时，可能会出现找不到“temp_shuffle”文件的错误，从而导致当前页面无法访问。
读取出来，重新拼成完整的信息。而Spark2x直接使用相应的key获取对应的信息。这样在Spark2x中去读取Spark1.5创建的DataSource表时，就无法成功读取到key对应的信息，导致解析DataSource表信息失败。 而在处理Hive格式的表时，Spark2x与Spark1
加载空的part文件时，app无法显示在JobHistory的页面上 问题 在分组模式下执行应用，当HDFS上的part文件为空时，发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时，会根据HDFS上的part文件大
增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。 表2 参数说明 参数 描述 建议值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。 4501
S所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。 该参数建议从MRS控制台的集群创建页面获取对应区域对应版本所支持的规格。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 core_node_size 否 String 参数解释： Core节点的实例规格，
当前开源Spark在跨源查询时，只能对简单的filter进行下推，因此造成大量不必要的数据传输，影响SQL引擎性能。针对下推能力进行增强，当前对aggregate、复杂projection、复杂predicate均可以下推到数据源，尽量减少不必要数据的传输，提升查询性能。 目前仅支持JDBC数据源的查询下推，支
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时，部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题，建议时区选择“Asia/Shanghai”，如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34
每个Executor进程使用的内存数量，与JVM内存设置字符串的格式相同（例如：512m，2g）。 4G spark.sql.autoBroadcastJoinThreshold 当进行join操作时，配置广播的最大值。 当SQL语句中涉及的表中相应字段的大小小于该值时，进行广播。
每个Executor进程使用的内存数量，与JVM内存设置字符串的格式相同（例如：512m，2g）。 4G spark.sql.autoBroadcastJoinThreshold 当进行join操作时，配置广播的最大值。 当SQL语句中涉及的表中相应字段的大小小于该值时，进行广播。
同一个集群的自定义自动化脚本名称不允许相同。 只能由英文字母、数字、空格以及“_”和“-”组成，不能以空格开头，且长度为[1-64]个字符。 默认取值： 不涉及 uri 是 String 参数解释： 自定义自动化脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径：直
fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 已经同步了的用户和用户组 错误码 请参见错误码。 父主题： IAM同步管理接口
SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark
Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 更新用户（组）与IAM委托的映射关系成功 400 更新用户（组）与IAM委托的映射关系失败 错误码 请参见错误码。 父主题：
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 当前版本可用规格 错误码 请参见错误码。 父主题： 版本元数据查询
SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark
访问Spark应用的聚合日志页面报“DNS查找失败”错误 问题 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时，如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面（Fus
functions能够查到相应的函数，但是无法使用，这是由于连接上的JDBC节点上没有相应路径的jar包，添加上相应的jar包能够查询成功。 图2 场景二异常信息 回答 场景一： add jar语句只会将jar加载到当前连接的JDBCServer的jarClassLoader，不同JDBCServ
-Dfastjson.parser.safeMode=true”（注意与前参数有空格），如下所示： 例如原参数值为：“-Xmx4G -Xms4G”，则修改后的参数值为：“-Xmx4G -Xms4G -Dfastjson.parser.safeMode=true”。 单击“保存”，配置保存完成后。在
解MRS相关的基础知识，包含MRS各组件的基本原理和增强特性介绍，以及MRS服务的特有概念和功能的详细介绍。 入门使用 您可以参考《快速入门》学习并上手使用MRS。《快速入门》提供了样例的详细操作指导，您可以基于此操作指导，创建和使用MRS集群。 使用更多的功能，并查看其相关操作指导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
