检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
另外，CarbonData在Spark驱动器中，支持全局block级索引，这有助于减少需要被扫描的查询block的数量。
表3 时间和日期类型 名称 描述 存储空间 DATE 日期和时间。
另外，CarbonData在Spark驱动器中，支持全局block级索引，这有助于减少需要被扫描的查询block的数量。
state.backend.rocksdb.compression snappy SST文件压缩算法 取值范围：null、snapp、zlib、bzip2、lz4、lz4hc、xpress、zstd state.backend.rocksdb.bottommost_compression snappy 底层使用重量级的压缩类型，减少空间
用户提交了一个任务App1到pool B，由于HDFS空间不足，App1运行失败，导致pool B的两个节点都被App1的AM加入了黑名单，根据上述原则，2个节点小于8个节点的33%，所以YARN不会释放黑名单，使得App1一直无法得到资源而保持运行状态，后续即使被加入黑名单的节点恢复
用户提交了一个任务App1到pool B，由于HDFS空间不足，App1运行失败，导致pool B的两个节点都被App1的AM加入了黑名单，根据上述原则，2个节点小于8个节点的33%，所以YARN不会释放黑名单，使得App1一直无法得到资源而保持运行状态，后续即使被加入黑名单的节点恢复
SQL调优 审视业务所用SQL语句是否存在可优化空间，包括： 分析数据分布是否有倾斜，对于大表数据是否平均分布在各个shard。 分析建表语句，查看是否有建立分区、一级索引、二级索引、排序键是否指定等。
在“配置资源权限”的表格中选择“待操作集群的名称 > HBase > HBase Scope > global”，勾选命名空间“default”的“创建”，单击“确定”保存。
减少HetuEngine和数据源之间的网络流量。 减少远端数据源的负载。 HetuEngine对查询下推的具体支持情况，依赖于具体的Connector，以及Connector相关的底层数据源或存储系统。
MRS 1.9.3.1 修复问题列表： MRS Manager 解决自定义集群缩容Task节点失败问题 MRS大数据组件 解决Hive和Spark路径下adapter-hadoop-wrapper-file-system包版本错误问题 解决HBase服务Manager上保存多命名空间
通过控制单个任务并发的map数或减少每个节点下运行task的内存，降低节点负载。 升级ZooKeeper数据磁盘，如SSD等。 父主题： HBase故障排除
说明： 不推荐将此参数值设置为0，这样系统的老化文件会一直存储下去，导致集群的磁盘空间不足。 60 父主题： 使用HDFS
通过控制单个任务并发的map数或减少每个节点下运行task的内存，降低节点负载。 升级ZooKeeper数据磁盘，如SSD等。 父主题： HBase故障排除
在“配置资源权限”的表格中选择“待操作集群的名称 > HBase > HBase Scope > global”，勾选命名空间“default”的“创建”，单击“确定”保存。 本例中建表是保存在Hive的“default”数据库中，默认具有“default”数据库的“建表”权限。
在“配置资源权限”的表格中选择“待操作集群的名称 > HBase > HBase Scope > global”，勾选命名空间“default”的“创建”，单击“确定”保存。 本例中建表是保存在Hive的“default”数据库中，默认具有“default”数据库的“建表”权限。
ALM-14024 租户空间使用率超过阈值 ALM-14025 租户文件对象使用率超过阈值 ALM-14026 DataNode块数超过阈值 ALM-14027 DataNode磁盘故障 ALM-14028 待补齐的块数超过阈值 ALM-14029 单副本的块数超过阈值 ALM-
对系统的影响 HetuEngine计算实例Worker个数减少，会导致该计算实例性能下降，业务SQL响应变慢。 可能原因 Yarn资源队列资源不足。 运行任务量过大，导致Worker节点OMM内存溢出，从而导致Worker节点减少。
MRS提供了基于弹性公网IP来便捷访问组件WebUI的安全通道，并且比用户自己绑定弹性公网IP更便捷，只需界面鼠标操作，即可简化原先用户需要自己登录虚拟私有云添加安全组规则，获取公网IP等步骤，减少了用户操作步骤。
表1 模块说明 名称 描述 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等，分为： Active NameNode：管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息；记录写入的每个“数据块”与其归属文件的对应关系。
通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。 选择“集群 > 服务 > Spark2x > 配置”。单击“全部配置”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
