检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ll_queries 单台服务器上所有查询的内存使用量，默认没有限制。建议根据机器的总内存，预留一部分空间，防止内存不够导致服务或者机器异常。 0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G 50GB 否（新版本可通过多租户方式配置）
务自研组件，提供长期的支持和演进。 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。 Flink：提供一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。
apJoin，执行MapJoin时会生成localtask任务，localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候，启动多个localtask，如果机器内存不够，就会导致启动localtask失败。 解决办法 进入Hive服务配置页面： MRS 3
并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。
其中“total”表示总资源，不是调度策略。 同开源的调度器相比，Superior Scheduler同时提供了租户级百分比和绝对值的混配策略，可以很好的适应各种灵活的企业级租户资源调度诉求。例如，用户可以在一级租户提供最大绝对值的资源保障，这样租户的资源不会因为集群的规模改变而受影响。但在下层的子租户之间，可以提
S所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。 该参数建议从MRS控制台的集群创建页面获取对应区域对应版本所支持的规格。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 core_node_size 否 String 参数解释： Core节点的实例规格，
配置弹性伸缩：根据业务数据量的变化动态调整集群Task节点数量以增减资源，请参见配置弹性伸缩规则。 若MRS提供的变更配置方式不满足您的要求，您也可以通过重建集群，然后做数据迁移的方式实现集群配置的变更。 续费 如需续费，请进入“续费管理”页面进行续费操作。 欠费 包年/包月集群，没有欠费的概念。
ion启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别。 YA
V)]中key相同的数据的所有value转化成为一个类型为C的值。 groupByKey() 和reduceByKey()是combineByKey的两种具体实现，对于数据聚合比较复杂而groupByKey和reduceByKey不能满足使用需求的场景，可以使用自己定义的聚合函数作为combineByKey的参数来实现。
Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“DataNode”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分，对于实时流处理应用来说，基于时间语义的窗口聚合、检
兼顾数据分布均匀和查询吞吐均衡。 数据均匀是为了避免某些桶的数据存在倾斜影响数据均衡和查询效率。 查询吞吐利用查询SQL的分桶剪裁优化避免了全桶扫描，以提升查询性能。 分桶列的选取：优先考虑数据较为均匀且常用于查询条件的列作为分桶列。 可使用以下方法分析是否会导致数据倾斜： SELECT
store以及数据库，支持对于可变状态的细粒度更新，这一点要求集群需要对数据或者日志的更新进行备份来保障容错性。这样就会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的
64GB的内存，这个内存是不够的。例如，当每个执行器有4个内核和12GB内存，有时在查询期间发生垃圾收集（GC），会导致查询时间从3秒增加到超过15秒。在这种情况下需要增加内存或减少CPU内核。 用于CarbonData数据加载的配置参数，详情请参见表3、表4和表5。 表3 设置数据加载使用的CPU
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配置项，避免两种模式下来回切换参数，提升软件易用性。
序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序，索引和chunk块存储，大大的提升时序数据的查询性能。通过Raft协议，来确保数据的一致性。针对时序场景，对存储数据进行预计算和存储，提升分析场景的性能。针
64GB的内存，这个内存是不够的。例如，当每个执行器有4个内核和12GB内存，有时在查询期间发生垃圾收集（GC），会导致查询时间从3秒增加到超过15秒。在这种情况下需要增加内存或减少CPU内核。 用于CarbonData数据加载的配置参数，详情请参见表3、表4和表5。 表3 设置数据加载使用的CPU
写本地表，查询分布式表，提升写入和查询性能，保证写入和查询的数据一致性。 只有在去重诉求的场景下，可以使用分布式表插入，通过sharding key将要去重的数据转发到同一个shard，便于后续去重查询。 外部模块保证数据导入的幂等性。 ClickHouse不支持数据写入的事务保证。通过外部导
联系集群管理员增加各用户的句柄数。该配置为操作系统的配置，并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的操作，则为此用户设置较大的句柄数，避免出现以上错误。 使用ro
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
