检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
非HDFS数据残留导致数据分布不均衡 问题背景与现象 数据出现不均衡，某磁盘过满而其他磁盘未写满。 HDFS DataNode数据存储目录配置为“/export/data1/dfs--/export/data12/dfs”，看到的现象是大量数据都是存储到了“/export/data1/dfs”，其他盘的数据比较均衡。
配置Hive动态脱敏 使用场景 Hive动态脱敏功能开启后，配置脱敏列的数据可以参与计算，计算结果输出时不可见，在集群内脱敏策略会根据血缘关系自动传递，更大的发挥数据的价值同时保障数据的隐私性。 使用约束 不支持Hudi表的脱敏。 不支持涉及直接读写HDFS的操作的脱敏。 不支持
配置Spark动态脱敏 本章节仅适用于MRS 3.3.1-LTS及之后版本。 管理面提交作业方式不支持开启动态脱敏特性。 配置场景 Spark动态脱敏开启后，配置脱敏列的数据可以参与计算，计算结果输出时不可见，在集群内脱敏策略会根据血缘关系自动传递，更大的发挥数据的价值同时，保障数据的隐私性。
调整HetuEngine动态过滤 HetuEngine提供了动态过滤的功能，在Join场景中开启动态过滤往往有较大的性能提升。本章节介绍如何开启动态过滤功能。 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务
配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限 配置具备表select权限的用户可查看表结构 配置仅Hiv
配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限 配置具备表select权限的用户可查看表结构 配置仅Hiv
取密码）。 执行以下命令进入hbase shell，查看目前负载均衡功能是否打开： hbase shell balancer_enabled 是，执行6。 否，执行5。 在hbase shell，中执行命令打开负载均衡功能，并执行命令查看确认成功打开： balance_switch
执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是，处理完毕。 否，执行12。 检查备集群HBase服务规模 对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤6-步骤10，打开负载均衡功能并手动触发。
2001 原因分析 Hive中会默认限制最大动态分区数，由“hive.exec.max.dynamic.partitions”参数控制（默认值为1000）。 如果超过此限制，Hive将不会创建新的动态分区。 处理步骤 调整上层业务，将动态分区数控制在“hive.exec.max.dynamic
否，执行10。 在hbase shell中执行以下命令打开负载均衡功能，并查看是否成功打开。 balance_switch true balancer_enabled 建议打开和手动触发负载均衡操作在业务低峰期进行。 执行以下命令手动触发负载均衡。 balancer 执行完均衡后，等待一段时间，再登录FusionInsight
执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是，处理完毕。 否，执行12。 检查备集群HBase服务规模 对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤6 -步骤10，打开负载均衡功能并手动触发。
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
如果通过spark.executor.instances或者--num-executors指定了Executor的个数，即使配置了动态资源调度功能，动态资源调度功能也不会生效。 当前动态资源分配功能开启后，不能完全避免task被分配到即将要移除的executor，但是一般情况下只会导致该task失
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上，然后切换到omm用户下，在/home/omm目录下创建fair-scheduler.xml、llama-site
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上，然后切换到omm用户下，在/home/omm目录下创建fair-scheduler.xml、llama-site
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
（普通模式）请跳过该操作） 执行以下命令查看负载均衡功能是否打开。 hbase shell balancer_enabled 若执行结果为“true”则表示已打开负载均衡功能。 是，执行20。 否，执行18。 执行以下命令打开负载均衡功能，并确认是否成功打开。 balance_switch
执行以下命令打开HBase负载均衡功能，并确认是否成功打开。 hbase shell balance_switch true balancer_enabled 执行结果为“true”表示负载均衡功能已打开。 执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。
执行以下命令打开负载均衡功能，并查看是否成功打开。 hbase shell balance_switch true balancer_enabled 执行结果为“true”表示负载均衡功能已打开。 执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
