检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HetuEngine物化视图 HetuEngine物化视图概述 HetuEngine物化视图SQL示例 配置HetuEngine物化视图改写能力 配置HetuEngine物化视图推荐能力 配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力
Hue基本原理 Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
应用场景 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（Extract-Tran
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
成长地图 | 华为云 MapReduce服务 MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，可轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 图说MRS 产品介绍 仅两个按钮时选用 立即购买 成长地图
HyperLogLog函数 HetuEngine使用HyperLogLog数据结构实现rox_distinct（）函数。 数据结构 HyperLogLog（hll）是一种统计基数的算法。它实际上不会存储每个元素出现的次数，它使用的是概率算法，通过存储元素的32位hash值的第一个
使用HetuEngine跨源跨域访问数据源 HetuEngine跨源功能简介 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。
Flink作业引擎概述 Flink WebUI提供基于Web的可视化开发平台，用户只需要编写SQL即可开发作业，极大降低作业开发门槛。同时通过作业平台能力开放，支持业务人员自行编写SQL开发作业来快速应对需求，大大减少Flink作业开发工作量。 Flink WebUI功能仅支持MRS
MRS集群更换磁盘（适用于3.x） 用户问题 磁盘无法访问。 问题现象 客户创建本地盘系列MRS集群，其中1个Core节点的磁盘存在硬件损坏，导致读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于本地盘系列（d/i/ir/ki系列）MRS集群，针对Core、Task类型节点的磁盘存在硬件故障。
使用MRS Hive表对接OBS文件系统 应用场景 MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离场景。 用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台
IoTDB基本原理 IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序，索引和chunk块存储，大大的提升时序数据的查询性能。通过Raft协议，
Spark应用开发规则 Spark应用中，需引入Spark的类 对于Java开发语言，正确示例： // 创建SparkContext时所需引入的类。 import org.apache.spark.api.java.JavaSparkContext // RDD操作时引入的类。 import
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优
通过Flume采集指定目录日志系统文件至HDFS 应用场景 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简
MRS管理控制台上提交作业异常处理 用户问题 MRS控制台作业管理提交作业“状态”为“已接受”，“执行结果”为“未定”，作业未成功提交到Yarn上，如下图所示： 原因分析 由于管理控制台的作业管理功能是由集群管理模块Executor来负责调度执行，因此作业未提交到Yarn上，根因
的结构必须一致。 若'表名'设置了加密算法SMS4或AES，则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 若备集群不在线，或备集群中已存在同名但结构不同的表，启用容灾功能将失败。 若主集群中部分Phoenix表启用容灾功能同步数据，则备集群中不能存在与主集群
HBase与其他组件的关系 HBase和HDFS的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日
使用FineBI访问MRS HetuEngine 应用场景 FineBI是一款商业智能产品，针对企业信息化遇到的困难，为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例，讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
