检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive常用配置参数 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。
根据RDD分区分块情况，计算出写数据的Task数，并下发这些任务到Executor。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。
根据RDD分区分块情况，计算出写数据的Task数，并下发这些任务到Executor。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。
若HDFS存在损坏的数据块，则缩容集群可能出现失败，请联系华为云支持人员处理。 页面右上角弹出缩容节点提交成功提示框。 集群缩容过程说明如下： 缩容中：集群正在缩容时集群状态为“缩容中”。
MemArtsCC会将数据持久化存储到计算侧的存储中（SSD），Hadoop-OBS对接MemArtsCC有如下使用场景： 减少OBS服务端压力 MemArtsCC会将热点数据存储在计算侧集群，可以起到降低OBS服务端带宽的作用。
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。
创建Task节点 特性简介 MRS集群支持创建Task节点，只作为计算节点，不存放持久化的数据，是实现弹性伸缩的基础。 客户价值 在MRS服务只作为计算资源的场景下，使用Task节点可以节省成本，并可以更加方便快捷地对集群节点进行扩缩容，满足用户对集群计算能力随时增减的需求。
配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。
Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。
对系统的影响 OBS数据写操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。
优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。
Flink应用性能调优建议 配置内存 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。
优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。
Take算子会以Partition为单位多次触发计算。
Take算子会以Partition为单位多次触发计算。
Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。
保证金 按需购买集群时，华为云根据用户等级和历史使用情况可能会冻结一定的保证金，资源释放时自动解冻保证金。更多信息，请参见保证金。
Tez Tez是Apache最新的支持DAG（有向无环图）作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS将Tez作为Hive的默认执行引擎，执行效率远远超过原先的MapReduce的计算引擎。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
