检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
memory，根据作业的需要调大或者调小该值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果使用到SparkJDBC作业，搜索并修改SPARK_EXECUTOR_MEMORY和SPARK_DRIVER_MEMORY两个参数取值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。
操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在
操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults.conf配置文件中，在spark
度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。 任务的并行度可以通过以下四种层
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户，登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够，需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger W
综合考虑数据分区粒度、每个批次提交的数据量、数据的保存周期等因素，合理控制part数量。 查询时最常使用且过滤性最高的字段作为主键，依次按照访问频度从高到低、维度基数从小到大来排 数据是按照主键排序存储的，查询的时可以通过主键快速筛选数据，创建表时合理的设置主键能够大大减少读取的数据量，提升查询性
在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签。 如需手动扩缩容，修改配置界面中“Worker容器资源配置”中的“数量”的值，单
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能会导致任务运行时申请不到内存而失败。
节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离，可将集群中的服务与其他服务隔离，使一个服务上的负载对其他服务产生的影响有限。 调度机制简介 静态服务资源支持基于时间的动态调度机制，可以在不同时间段为服务配置不同的资源量，优化客户业务运行环境，提高集群的效率。 在一
Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。 图1 RDD的依赖 窄依赖：指父RDD的每一个分区最多被一个子RDD的分区所用。 宽依赖：指子RDD的分区依赖于父RDD的所有分区。 窄依赖对优化很有利。逻辑上，每个RDD的算子都是一个fork/join
提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务时报错“ClassNotFoundException” 提交Spark任务时Driver端提示运行内存超限
ll_queries 单台服务器上所有查询的内存使用量，默认没有限制。建议根据机器的总内存，预留一部分空间，防止内存不够导致服务或者机器异常。 0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G 50GB 否（新版本可通过多租户方式配置）
apJoin，执行MapJoin时会生成localtask任务，localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候，启动多个localtask，如果机器内存不够，就会导致启动localtask失败。 解决办法 进入Hive服务配置页面： MRS 3
大内存的90%）时，产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14016 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
30%以上的数据），建议使用coalesce算子，手动减少RDD的partition数量，将RDD中的数据压缩到更少的partition中去。因为filter之后，RDD的每个partition中都会有很多数据被过滤掉，此时如果照常进行后续的计算，其实每个task处理的parti
Bucket，需按照已有的数据量来进行分区分桶，能更好的提升导入及查询性能。Auto Bucket会造成Tablet数量过多，最终导致有大量的小文件。 创建表时的副本数必须至少为2，默认是3，禁止使用单副本。 没有聚合函数列的表不应该被创建为AGGREGATE表。 创建主键表时需保持主键的列唯一，不建议将所有列
对于minor压缩，在阶段1中要合并的segment数量和在阶段2中要合并的已压缩的segment数量。 如何调优 每次CarbonData加载创建一个segment，如果每次加载的数据量较小，将在一段时间内生成许多小文件，影响查询性能。配置该参数将小的segment合并为一个大的segment，然后对数据进行排序，可提高查询性能。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
