检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么数据查询/加载失败，且发生“org.apache.carbondata.core.memory.MemoryException: Not enough memory”异常？ 问题 为什么数据查询/加载失败，且发生“org.apache.carbondata.core.memory.MemoryException
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则
MRS集群阈值类告警配置说明 应用场景 MRS集群提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标，并评测集群健康状态。 MRS支持配置监控指标阈值用于关注各指标的健康情况，如果出现异常的数据并满足预设条件后，系统将会触发告警信息，并在告警页面中出现此告警信息。 如果部分阈值类监控告警经评估后对业务影响可忽略
MRS集群类型介绍 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍
提升HBase实时读数据效率 操作场景 需要提升读取HBase数据性能的场景。 前提条件 调用HBase的get或scan接口，从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口：登录FusionInsight Manager，选择“集群 > 服务 > 配置 > 全部配置
Impala用开发建议 Coordinator和Executor分离部署，Coordinator根据集群规模部署2-5个 Coordinator承担缓存元数据，解析SQL执行计划，和响应客户端请求的功能主要使用jvm内存，而Executor承担数据读写，算子计算等功能，主要使用offheap
提升HBase实时读数据效率 操作场景 需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口，从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口：登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量：Executor是Spark并行性的基础实体。通过增加Executor数量，集群中的并行数量也会增加
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量：Executor是Spark并行性的基础实体。通过增加Executor数量，集群中的并行数量也会增加
例外场景：超大维度表和超小事实表 特殊情况如存在持续大量新增数据的维度表（表数据量在200G以上或日增长量超过60M）或数据量非常小的事实表（表数据量小于10G且未来三至五年增长后也不会超过10G）需要针对具体场景来进行例外处理： 持续大量新增数据的维度表 方法一：预留桶数，如使用非分区表则需通过预估较长一段时间内的数据增量来预先增加桶数
ALM-14023 总副本预留磁盘空间所占比率超过阈值 告警解释 系统每30秒周期性检测总副本预留磁盘空间所占比率（总副本预留磁盘空间/（总副本预留磁盘空间+总剩余的磁盘空间）），并把实际的总副本预留磁盘空间所占比率和阈值（默认为90%）相比较。当检测到总副本预留磁盘空间所占比率连续多次
配置FlinkServer作业重启策略 FlinkServer作业重启策略介绍 Flink支持不同的重启策略，以在发生故障时控制作业是否重启以及如何重启。如果不指定重启策略，集群会使用默认的重启策略。用户也可以在提交作业时指定一个重启策略，可参考如何创建FlinkServer作业在作业开发界面配置
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下，配置参数需要进行相应的调整，本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
提升HBase Put和Scan性能综合调优 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下，配置参数需要进行相应的调整，本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录
数学函数和运算符 数学运算符 运算符 描述 + 加 - 减 * 乘 / 除 % 取余 数学函数 abs(x) → [same as input] 返回x的绝对值 SELECT abs(-17.4);-- 17.4 bin(bigint x) -> string 返回x的二进制格式
同时MRS支持自研增强型调度器Superior，突破单集群规模瓶颈，单集群调度能力超10000节点。 低成本 基于多样化的云基础设施，提供了丰富的计算、存储设施的选择，同时计算存储分离，提供了低成本海量数据存储方案。
Impala简介 从零开始使用Impala Kafka组件 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
