检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例：执行下面SQL语句，a表倾斜或b表倾斜都无法触发该优化。 select aid FROM a FULL OUTER JOIN b ON aid=bid; 不支持LEFT OUTER JOIN的右表倾斜处理。 示例：执行下面SQL语句，b表倾斜无法触发该优化。 select aid FROM
群，也不建议重启集群和修改集群配置。 扩容成功：集群扩容成功后集群状态为“运行中”，计费会按照新增节点加上已有节点使用的资源计算。 扩容失败：集群扩容失败时集群状态为“运行中”。用户可以执行作业，也可以重新进行扩容操作。 扩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。
Functions 所有的聚合函数都能通过添加over子句来当做窗口函数使用。聚合函数将在当前窗口框架下的每行记录进行运算。 下面的查询生成每个职员按天计算的订单价格的滚动总和。 select dept,userid,sal,sum(sal) over (partition by dept
Spark任务需要调整executor的overhead内存，设置了参数spark.yarn.executor.memoryOverhead=4096，但实际计算的时候依旧按照默认值1024申请资源。 原因分析 从Spark 2.3版本开始，推荐使用新参数spark.executor.memoryO
续费的规则如下所述： 以MRS集群的到期日计算第一次自动续费日期和计费周期。 MRS集群自动续费周期根据您开通自动续费的途径不同，遵循不同的规则。 在MRS集群到期前均可开通自动续费，到期前7日凌晨3:00首次尝试自动续费，如果扣款失败，每天凌晨3:00尝试一次，直至MRS集群到期或者续费成功。
感知、自动学习、自动诊断服务，开启物化视图推荐能力后，系统能自动学习并推荐对业务最有价值的物化视图SQL，使HetuEngine具备自动预计算加速能力，在相关场景下在线查询效率获得倍数提升，同时有效降低系统负载压力。 前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine
长时间运行的集群会因为曾经删除过大量的文件，或者集群中的节点做磁盘扩容等操作导致节点上出现磁盘间数据不均衡的现象。磁盘间数据不均衡会引起HDFS整体并发读写性能的下降或者因为不恰当的HDFS写策略导致业务故障。此时需要平衡节点磁盘间的数据密度，防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS
DataNode以Block的形式，保存用户的文件和目录，同时在NameNode中生成一个文件对象，对应DataNode中每个文件、目录和Block。 NameNode文件对象需要占用一定的内存，消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多，NameNode
生产环境中是不能关闭的。 日志归档调优 参数“spark.eventLog.group.size”用来设置一个应用的JobHistory日志按照指定job个数分组，每个分组会单独创建一个文件记录日志，从而避免应用长期运行时形成单个过大日志造成JobHistory无法读取的问题，设置为“0”时表示不分组。
为Worker1，Worker2，Worker3… ，多个Worker实例共同与Coordinator交互执行计算任务，相比较单实例，能够大大提高节点资源的利用率和计算效率。 Presto多实例仅作用于ARM架构规格，当前单节点最多支持4个实例。 更多Presto部署信息请参考：https://prestodb
若节点隔离/退服失败，请登录Manager，单击在任务列表中查询并单击隔离/退服主机失败的任务名，根据界面提示信息处理。 在集群详情页选择“节点管理 > 退订节点”。 选择需要退订的节点并单击“确定”。 目前一次操作最多可以退订20个Core节点，退订后的Core节点数不能小于2。 图1
Bitwise函数 bit_count(x, bits) → bigint 计算2的补码表示法中x中设置的位数（视为有符号位的整数）。 SELECT bit_count(9, 64); -- 2 SELECT bit_count(9, 8); -- 2 SELECT bit_count(-7
pool-size-factor 计算线程池大小的因子，计算公式：ceil（可用处理器*因子），计算结果限制在pool-size-min和pool-size-max之间。 1.0 否 akka.client-socket-worker-pool.pool-size-max 基于因子计算的线程数上限。
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败：磁盘容量不足时，如果需要修改或使用该磁盘上的数据，可能会导致作业运行失败。 可能原因 告警阈值配置不合理。 磁盘配置无法满足业务需求，磁盘使用率达到上限。 处理步骤 检查阈值设置是否合理。 在FusionInsight
mv server.cer ca.crt mv server_key.pem ca.key 若由集群用户生成，执行以下命令在管理节点的omm用户目录生成证书文件和密钥文件： 生成密钥文件： 执行以下命令，查看OpenSSL的版本是否为1.1.1及之后版本。 /usr/bin/openssl
最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下： 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 父主题： MapReduce应用开发概述
MRS 3.x及之后：16384 MRS 3.x之前：8192 CPU虚拟核数 建议将此配置设定在逻辑核数的1.5～2倍之间。如果上层计算应用对CPU的计算能力要求不高，可以配置为2倍的逻辑CPU。 参数 描述 默认值 yarn.nodemanager.resource.cpu-vcores
Spark执行任务时，报错Ranger策略为空，导致批量Spark任务失败。 各组件日志默认保留数量和大小太少，无法支撑问题定位。 SparkSQL任务进行Ranger鉴权，偶发鉴权失败。 解决HBase问题： HBase在大量写入的场景下，回收站会被打满不能及清理导致磁盘空间不被释放。 [HBASE-27580]
ALM-50209 生成元数据镜像文件失败的次数超过阈值 告警解释 系统每30秒周期性检查FE节点生成元数据镜像文件失败的次数，当检查到失败的次数超出阈值（默认值为1）时产生该告警。 当系统检查到FE节点生成元数据镜像文件失败的次数低于阈值时，告警清除。 告警属性 告警ID 告警级别
U): RDD[U] 对调用map的RDD数据集中的每个element都使用f方法，生成新的RDD。 filter(f: (T) => Boolean): RDD[T] 对RDD中所有元素调用f方法，生成将满足条件数据集以RDD形式返回。 flatMap[U](f: (T) => T
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
