检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS write接口调用失败数高于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 登录FusionInsight Manager，选择“运维
选择“叶子租户”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 如果是叶子租户，叶子租户可直接提交到任务队列中。
将高频访问的SQL查询和有高耗时的算子（连接， 聚合等算子）的SQL通过建立物化视图进行预计算，然后在查询的SQL中将能匹配到物化视图的查询或者子查询转换为物化视图，避免了数据的重复计算，这种情况下往往能较大地提高查询的响应效率。 物化视图通常基于对数据表进行聚合和连接的查询结果创建。
AZ的健康状态由AZ内的存储资源（HDFS）、计算资源（Yarn）和关键角色的健康度是否超过配置阈值决定。 AZ亚健康有两种： 计算资源（Yarn）不健康，存储资源（HDFS）健康，任务无法提交到本AZ，但是数据可以继续往本AZ内读写。 计算资源（Yarn）健康，存储资源（HDFS）
Flink应用开发简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 Flink整个系统包含三个部分：
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS
b=xxx 原因分析 按照设定，任务应该只扫描b=xxx的分区，但是查看任务日志可以发现，实际上任务却扫描了所有的分区再来计算b=xxx的数据，因此任务计算的很慢。并且因为需要扫描所有文件，会有大量的OBS请求发送。 MRS默认开启基于分区统计信息的执行计划优化，相当于自动执行Analyze
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS read接口调用失败数高于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 登录FusionInsight Manager，选择“运维
HAVING HAVING HAVING与聚合函数和GROUP BY一起使用，来控制选在哪些组。HAVING能够在分组和聚合计算之后，过滤掉不满足给定条件的组。 例如： SELECT count(*), mktsegment, nationkey, CAST(sum(acctbal)
量级。 ClickHouse的设计优点： 数据压缩比高 多核并行计算 向量化计算引擎 支持嵌套数据结构 支持稀疏索引 支持数据Insert和Update ClickHouse的应用场景： 实时数仓场景 使用流式计算引擎（如Flink）把实时数据写入ClickHouse，借助Cli
Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据读操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。 在FusionInsight
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用平均时间超过阈值，会影响上层大数据计算业务的性能，导致某些计算任务的执行时间超过阈值。 可能原因 OBS服务端出现卡顿，或OBS客户端到OBS服务端之间的网络不稳定。 处理步骤 检查堆内存使用率。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS操作被流控后，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 请求OBS接口频率太高。 处理步骤 登录FusionInsight Manager，选择“运维 >
Flink应用开发简介 简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并
Flink应用开发简介 组件介绍 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：
量级。 ClickHouse的设计优点： 数据压缩比高 多核并行计算 向量化计算引擎 支持嵌套数据结构 支持稀疏索引 支持数据Insert和Update ClickHouse的应用场景： 实时数仓场景 使用流式计算引擎（如Flink）把实时数据写入ClickHouse，借助Cli
快速开发Flink应用 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi
量级。 ClickHouse的设计优点： 数据压缩比高 多核并行计算 向量化计算引擎 支持嵌套数据结构 支持稀疏索引 支持数据Insert和Update ClickHouse的应用场景： 实时数仓场景 使用流式计算引擎（如Flink）把实时数据写入ClickHouse，借助Cli
opts参数；如果未设置-Xmx，Xmx值从mapreduce.map.memory.mb*mapreduce.job.heap.memory-mb.ratio计算获取。 MRS 3.x之前版本：-Xmx2048M -Djava.net.preferIPv4Stack=true MRS 3.x及之后版本：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
