检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ne Server能力，以支持Hive任务展示应用程序的当前和历史状态，便于存储和检索。 TimelineServer会将数据保存到内存数据库LevelDB中，占用大量内存，安装TimelineServer的节点内存至少需要预留30GB。 父主题： YARN
> 服务 > Yarn > 配置 > 全部配置”，在“搜索”框里搜索“hadoop.ssl.enabled.protocols”，查看参数值是否包含“TLSv1”，若不包含，则在配置项“hadoop.ssl.enabled.protocols”中追加“,TLSv1”。清空“ssl.server
配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true，表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager
照系统之间的转换。 WKB(well-known binary) 是WKT的二进制表示形式，解决了WKT表达方式冗余的问题，便于传输和在数据库中存储相同的信息。 GeoJSON一种JSON格式的Feature信息输出格式，它便于被JavaScript等脚本语言处理，OpenLay
的Bad Records管理，请参见表2。 表2 Bad Records Logger 配置项 默认值 描述 BAD_RECORDS_LOGGER_ENABLE false 若设置为true，则将创建Bad Records日志文件，其中包含Bad Records的详细信息。 BAD_RECORDS_ACTION
ver。 表1 参数说明 参数 说明 默认值 spark.sql.bigdata.thriftServer.useHdfsCollect 是否将结果数据保存到HDFS中而不是内存中。 优点：由于查询结果保存在hdfs端，因此基本不会造成JDBCServer的OOM。 缺点：速度慢。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执行DPP特性，从而使得AQE特性不生效。
Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执行DPP特性，从而使得AQE特性不生效。
ver。 表1 参数说明 参数 说明 默认值 spark.sql.bigdata.thriftServer.useHdfsCollect 是否将结果数据保存到HDFS中而不是内存中。 优点：由于查询结果保存在hdfs端，因此基本不会造成JDBCServer的OOM。 缺点：速度慢。
3.x版本集群还支持在Manager页面上直接查看实例节点上实际的环境变量、角色配置等配置文件内容，以供运维人员在需要快速排查实例对应配置项是否配置错误或者查看部分隐藏类型的配置项。 查看已修改的组件配置参数 登录集群Manager页面。 选择“集群 > 配置”。 根据操作场景，选择对应操作页面：
x节点安装集群客户端并获取相关配置文件。 在节点中安装客户端，例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端，MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。
则可以使用MapPartitions，按每个分区计算结果，如 rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
则可以使用MapPartitions，按每个分区计算结果，如 rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
则可以使用MapPartitions，按每个分区计算结果，如： rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
户端的Linux节点并获取相关配置文件。 在节点中安装客户端，例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端，MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。
ssl.historyServer.enabled 配置history server是否使用SSL。 true spark.files.overwrite 当目标文件存在时，且其内容与源的文件不匹配。是否覆盖通过SparkContext.addFile()添加的文件。 false spark
ssl.historyServer.enabled 配置history server是否使用SSL。 true spark.files.overwrite 当目标文件存在时，且其内容与源的文件不匹配。是否覆盖通过SparkContext.addFile()添加的文件。 false spark
MRS 1.9.0.7补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.7 发布时间 2021-01-15 解决的问题 MRS 1.9.0.7 修复问题列表： MRS Manager 解决扩容刷新队列导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
