检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
非HDFS数据残留导致数据分布不均衡 问题背景与现象 数据出现不均衡，某磁盘过满而其他磁盘未写满。 HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”，看到的现象是大量数据都是存储到了“/export/data1/dfs”，其他盘的数据比较均衡。
调整HetuEngine动态过滤 HetuEngine提供了动态过滤的功能，在Join场景中开启动态过滤往往有较大的性能提升。本章节介绍如何开启动态过滤功能。 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务
配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限 配置具备表select权限的用户可查看表结构 配置仅Hiv
配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限 配置具备表select权限的用户可查看表结构 配置仅Hiv
取密码）。 执行以下命令进入hbase shell，查看目前负载均衡功能是否打开： hbase shell balancer_enabled 是，执行6。 否，执行5。 在hbase shell，中执行命令打开负载均衡功能，并执行命令查看确认成功打开： balance_switch
执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是，处理完毕。 否，执行12。 检查备集群HBase服务规模 对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤6-步骤10，打开负载均衡功能并手动触发。
2001 原因分析 Hive中会默认限制最大动态分区数，由“hive.exec.max.dynamic.partitions”参数控制（默认值为1000）。 如果超过此限制，Hive将不会创建新的动态分区。 处理步骤 调整上层业务，将动态分区数控制在“hive.exec.max.dynamic
否，执行10。 在hbase shell中执行以下命令打开负载均衡功能，并查看是否成功打开。 balance_switch true balancer_enabled 建议打开和手动触发负载均衡操作在业务低峰期进行。 执行以下命令手动触发负载均衡。 balancer 执行完均衡后，等待一段时间，再登录FusionInsight
执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是，处理完毕。 否，执行12。 检查备集群HBase服务规模 对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤6 -步骤10，打开负载均衡功能并手动触发。
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
如果通过spark.executor.instances或者--num-executors指定了Executor的个数，即使配置了动态资源调度功能，动态资源调度功能也不会生效。 当前动态资源分配功能开启后，不能完全避免task被分配到即将要移除的executor，但是一般情况下只会导致该task失
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上，然后切换到omm用户下，在/home/omm目录下创建fair-scheduler.xml、llama-site
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
原因分析 从错误截图可以看到报错是no route to host，且报错信息里面有192.168的ip，也即客户端节点到集群的DN节点的内网路由不通，导致上传文件失败。 处理步骤 在客户端节点的客户端目录下，找到HDFS的客户端配置目录hdfs-site.xml文件，在配置文件中增加配置项dfs
Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证
SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时，支持Failover或负载均衡工作模式。 父主题： Hue
MRS租户管理中的动态资源计划页面无法刷新怎么办？ 问： MRS租户管理中的动态资源计划页面无法刷新怎么办？ 答： 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight
的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
