-
提升HBase实时写数据效率 - MapReduce服务 MRS
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
-
读取Hudi cow表视图 - MapReduce服务 MRS
读取Hudi cow表视图 实时视图读取(Hive,SparkSQL为例):直接读取Hive里面存储的Hudi表即可,${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取(Spark dataSource A
-
读取Hudi mor表视图 - MapReduce服务 MRS
读取Hudi mor表视图 mor表同步给Hive后,会在Hive表中同步出:“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图,后缀为ro的表代表读优化视图。例如:同步给Hive的hudi表名为${table_name}, 同步Hive后hive表中
-
ClickHouse物化视图概述 - MapReduce服务 MRS
ClickHouse物化视图概述 由于TTL规则不会从原始表中同步到物化视图表,因此源表中带有TTL规则时,物化视图表同样需要配置TTL规则,并且建议与源表保持一致。 表1 普通物化视图与projection对比 物化视图类型 原表数据与物化视图一致性 灵活性 物化视图开发及维护复杂度 普通物化视图
-
读取Hudi mor表视图 - MapReduce服务 MRS
读取Hudi mor表视图 mor表同步给Hive后,会在Hive表中同步出:“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图,后缀为ro的表代表读优化视图。例如:同步给Hive的hudi表名为${table_name}, 同步Hive后hive表中
-
配置HetuEngine物化视图的有效期与数据刷新能力 - MapReduce服务 MRS
配置HetuEngine物化视图的有效期与数据刷新能力 物化视图的有效期 创建物化视图的“mv_validity”字段为物化视图的有效期,HetuEngine只会使用有效期内的物化视图进行自动改写。 物化视图的数据刷新 如果需要数据定期更新,需要定时刷新物化视图,可以使用如下两种方式实现:
-
ClickHouse普通物化视图设计 - MapReduce服务 MRS
及ttl时间。 物化视图中的group by字段名称与明细表对应字段名称一致;select子句返回列名称与聚合表中列的名称保持一致。 物化视图创建时不会进行语法校验,只有发生实际数据插入与查询时才会出错。 物化视图上线前,需做好充分验证。 规则 物化视图(Materialized
-
配置HetuEngine物化视图改写能力 - MapReduce服务 MRS
ma.t1”。 物化视图改写场景示例 物化视图的改写的核心原理是逻辑上创建的物化视图的数据要包含未来的查询语句要查询的数据,也可以是未来查询中的子查询要包含的全部数据。建议用户打开自动创建物化视图功能针对性的创建物化视图,以下为部分场景示例: 创建物化视图SQL样例中省略“CREATE
-
配置HetuEngine物化视图缓存能力 - MapReduce服务 MRS
配置HetuEngine物化视图缓存能力 对于一条SQL,创建了对应的物化视图后,执行这条SQL时,将被改写为通过物化视图查询。如果开启了物化视图的“重写缓存”功能,那么多次执行这条SQL后,改写后的SQL将会保存到缓存中(默认最多保存10000条),在缓存有效时间(默认24小时
-
配置HetuEngine智能物化视图能力 - MapReduce服务 MRS
稳定性。 智能物化视图包括以下几个功能: 自动推荐物化视图 自动创建物化视图 自动刷新物化视图 自动删除物化视图 前提条件 集群运行正常并至少安装一个QAS实例。 应用流程 图1 HetuEngine智能物化视图应用流程 表1 HetuEngine智能物化视图应用流程说明 阶段 说明
-
MapReduce服务 MRS - MapReduce服务 MRS
成长地图 | 华为云 MapReduce服务 MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 图说MRS 产品介绍 仅两个按钮时选用 立即购买 成长地图 由浅入深,带您玩转MRS
-
图解MapReduce服务 - MapReduce服务 MRS
图解MapReduce服务
-
添加集群/节点标签 - MapReduce服务 MRS
策略。 资源池维度的弹性伸缩不支持添加标签。 单击“确定”添加标签。 通过标签搜索目标集群 在现有集群列表页,按标签键或标签值搜索目标集群。 登录MRS管理控制台。 单击现有集群列表右上角的“标签搜索”,展开查询页。 输入待查询集群的标签。 标签键或标签值可以通过下拉列表中选择,
-
spark-beeline查询Hive视图报错 - MapReduce服务 MRS
spark-beeline查询Hive视图报错 用户问题 MRS 3.1.2版本,spark-beeline查询Hive视图报错,报错如下: 根据提示set spark.sql.hive.manageFilesourcePartitions=false后,查不到数据(但是实际在Hive查询中是有数据的)。
-
数据迁移到MRS前信息收集 - MapReduce服务 MRS
通过Presto进行Hive数据查询。 图1 源集群业务图 针对大数据离线平台包括HDFS和Hive数据需要迁移,Kafka、Spark Streaming、HDFS、Hive、Presto的业务程序要在目的端集群上部署。 图2 迁移示意图 父主题: 数据迁移
-
配置列统计值直方图Histogram用以增强CBO准确度 - MapReduce服务 MRS
enabled 开启后,当统计列信息时,会生成直方图。直方图可以提高估计准确度,但是收集直方图信息会有额外工作量。 false [true,false] spark.sql.statistics.histogram.numBins 生成的直方图的槽位数。 254 >=2 spark.sql
-
配置列统计值直方图Histogram用以增强CBO准确度 - MapReduce服务 MRS
enabled 开启后,当统计列信息时,会生成直方图。直方图可以提高估计准确度,但是收集直方图信息会有额外工作量。 false [true,false] spark.sql.statistics.histogram.numBins 生成的直方图的槽位数。 254 >=2 spark.sql
-
使用Hue WebUI操作Hive表 - MapReduce服务 MRS
使用Hue WebUI操作Hive表 Hue汇聚了与大多数Apache Hadoop组件交互的接口,致力让用户通过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。
-
使用Hue WebUI操作Hive表 - MapReduce服务 MRS
使用Hue WebUI操作Hive表 Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式查看Hive上文件及目录功能。 前提条件 已安装Hive以及Hue组件,且状态为运行中的Kerberos认证的集群。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。
-
通过Hue执行HiveSQL - MapReduce服务 MRS
系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 光标移动到表或列所在的行,单击 可以查看详细信息。 在HiveQL语句编辑区输入查询语句。 单击 开始执行HiveQL语句。 图1 执行语句 如果希望下次继续使用已输入的HiveQL语句,请单击保存。