检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
10次检测到disaster资源异常时，产生该告警。 当HA检测到disaster资源正常后，告警恢复。 disaster资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的disaster资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。
在事实表与维度表关联场景中可以按表设置TTL降低状态后端数据量 具体使用指导参考通过表级TTL进行状态后端优化。 合理设置并行度 任务运行的速度和并行度相关，一般来说提升并行度能有效提升读取的速度，但是过大的并行度可能导致部分节点资源的浪费，过小的并行度可能导致部分节点运行缓慢。对于SQL当前不能手
可能返回不同的结果。 回答 正常情况下，相同rowkey值的数据加载到HBase是有先后顺序的，HBase以最近的时间戳的数据为最新数据，一般的默认查询中，没有指定时间戳的，就会对相同rowkey值的数据仅返回最新数据。 使用bulkload加载数据，由于数据在内存中处理生成HF
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 MRS 3.x之前版本： 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。选择“节点管理
Kafka业务规格说明 本章节内容适用于MRS 3.x及后续版本。 支持的Topic上限 支持Topic的个数，受限于进程整体打开的文件句柄数（现场环境一般主要是数据文件和索引文件占用比较多）。 可通过ulimit -n命令查看进程最多打开的文件句柄数； 执行lsof -p <Kafka PI
参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。 表1 快速配置常用参数 配置项 说明 默认值 spark.sql
当HA连续2次都检测到Tomcat资源异常时，产生该告警。 当HA检测到Tomcat资源正常后，告警恢复。 Tomcat资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的Tomcat资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。
HA每80秒周期性检测Manager的ACS资源。当HA连续2次都检测到ACS资源异常时，产生该告警。 当HA检测到ACS资源正常后，告警恢复。 ACS资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的ACS资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。
d资源。当HA连续10次检测到httpd资源异常时，产生该告警。 当HA检测到httpd资源正常后，告警恢复。 httpd资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的httpd资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。
HA连续3次检测到floatip资源异常时，产生该告警。 当HA检测到floatip资源正常后，告警恢复。 floatip资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的floatip资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。
Flume业务配置及模块选择过程中，一般要求Sink的极限吞吐量需要大于Source的极限吞吐量，否则在极限负载的场景下，Source往Channel的写入速度大于Sink从Channel取出的速度，从而导致Channel频繁被写满，进而影响性能表现。 Avro Source和Avro Sink一般都是成对出现，用于多个Flume
参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。 表1 快速配置常用参数 配置项 说明 默认值 spark.sql
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优
k/Hive等技术来进行分析，由于数据量大，任务处理繁重，资源消耗较高，因此使用成本也越来越高。当前并不是每个企业在每时每刻在进行分析，而一般是在一天的一个时间段内进行分析汇总，因此MRS提供了弹性伸缩能力，可以自动在业务在繁忙时申请额外资源，业务不繁忙时释放闲置资源，让用户按需
滚动升级 在升级过程中，应用程序必须保持文字内容（jar文件或配置文件）不变。而这些内容并非基于当前版本的Yarn，而是要基于其提交时的版本。一般情况下，应用程序（例如MapReduce、Hive、Tez等）需要进行完整的本地安装，将库安装至所有的集群机器（客户端及服务器端机器）中。
使用Loader导出MRS集群内数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件
应保持在100MB~3GB之间，单分区中最大分桶数量不超过5000。 表数据超过5亿条以上必须设置分区分桶策略。 表的分桶列不要设置太多，一般情况下设置1或2个列即可，同时需要兼顾数据分布均匀和查询吞吐均衡。 数据均匀是为了避免某些桶的数据存在倾斜影响数据均衡和查询效率。 查询吞
删除MRS集群 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除或退订操作。当MRS集群部署失败时，集群会被自动删除或退订。 对于按需收费模式集群，如果作业执行结束后不需要集群， 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作，如果作业执行结束后不需要集群，
使用Loader导入数据 操作场景 该任务指导用户完成将数据从外部的数据源导入到MRS的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件 创建或
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
