检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题：
Web页面访问类 如何修改开源组件Web页面会话超时时间？ MRS租户管理中的动态资源计划页面无法刷新怎么办？ Kafka Topic监控页签在Manager页面不显示如何处理？ 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理？
SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JDBCServer 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题：
使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS 使用Flume客户端从Kafka采集日志保存到HDFS 使用多
使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS 使用Flume客户端从Kafka采集日志保存到HDFS 使用多
则无法保存。 “default”配置组会在所有未定义的时间段内生效。 新增加的配置组属于动态生效的配置项集合，在配置组应用的时间区间内可直接生效。 新增加的配置组可以被删除。最多增加4个动态生效的配置组。 选择任一种“重复策略”，如果结束时间小于开始时间，默认标识为第二天的结束时
使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 配置Spark Executor退出时执行自定义代码 配置Spark动态脱敏 Spark Distinct聚合优化 配置Spark作业失败时清理残留文件 配置Spark加载第三方jar包，用于注册UDF或者扩展SparkSQL
server private key failed. 原因分析 用户可能修改了openssl不是系统默认的/usr/bin/openssl。 动态库依赖libcrypto.so.1.1无法找到。 如果集群为3.2.0及之前版本，可能在执行操作前执行了配置环境变量的命令（例如source
数据。或在开发作业时，配置Flink动态发现Kafka Topic新分区功能。 可在作业SQL Kafka source表的WITH属性中，添加“scan.topic-partition-discovery.interval”参数，设置值为动态刷新时间，如“5min”。 查看作业管理界面，作业状态为“运行中”。
通过“spark.sql.crossJoin.enabled”控制，默认为true），若关闭此开关，会先于防御规则拦截。 动态规则不支持carbon表。 动态规则dynamic_0002，支持SELECT、ALTER TABLE ADD PARTITION、ALTER TABLE
资源池用来指定动态资源的配置。Yarn任务队列和资源池关联，可实现资源的分配和调度。 一个租户只能设置一个默认资源池。用户通过绑定租户相关的角色，来使用该租户资源池的资源。若需要使用多个资源池的资源，可通过绑定多个租户相关的角色实现。 动态资源调度机制： Yarn动态资源支持标签调度（Label
配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限 配置具备表select权限的用户可查看表结构 配置仅Hive管理员用户能创建库和在default库建表
此实例，可在“实例”页面勾选“配置过期”的实例，选择“更多 > 重启实例”。 配置参数前包含图标时，表示该参数为动态生效，保存配置后参数值会自动刷新到配置文件中。（动态生效图标仅MRS 3.2.0及之后版本支持） 父主题： 管理MRS集群组件
关闭Executor个数动态分配功能的场景即“spark.dynamicAllocation.enabled”参数设为“false”时。 numExecutors * 2, with minimum of 3 Executor失败次数。 开启Executor个数动态分配功能的场景即“spark
关闭Executor个数动态分配功能的场景即“spark.dynamicAllocation.enabled”参数设为“false”时。 numExecutors * 2, with minimum of 3 Executor失败次数。 开启Executor个数动态分配功能的场景即“spark
表1 参数说明 参数 描述 默认值 spark.sql.adaptive.enabled 自适应执行特性的总开关。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执行DPP特性，从而使得AQE特性不生效。集群中DPP特性是默认开启的，因此开启
表1 参数说明 参数 描述 默认值 spark.sql.adaptive.enabled 自适应执行特性的总开关。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执行DPP特性，从而使得AQE特性不生效。集群中DPP特性是默认开启的，因此开启
成本地文件，然后通过Broker将本地元数据文件上传到远端仓库，完成备份作业操作。 如果备份的表是动态分区表，备份之后会自动禁用动态分区属性，在执行数据恢复操作前需手动将该表的动态分区属性启用，命令为： ALTER TABLE tbl1 SET ("dynamic_partition
如果客户必须绑定多个队列时，可通过配置全局用户策略指定某用户的默认提交队列。 以MRS 3.x版本集群为例，登录集群Manager界面，单击“租户资源”。 单击“动态资源计划 > 全局用户策略 > 添加全局用户策略”。 “用户名”表示需要控制资源调度的用户，请输入当前集群中已存在用户的名称。 “默认队列
NodeManager关闭导致Executor(s)未移除 Password cannot be null if SASL is enabled异常 向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
