检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法，即使用快速聚合hashmap作为缓存，以提高聚合性能。hashmap替代了之前的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。 操作步骤 要启动聚合算法优化
聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法，即使用快速聚合hashmap作为缓存，以提高聚合性能。hashmap替代了之前的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。 操作步骤 要启动聚合算法优化
集群生命周期管理 MRS支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型、组件范围、各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，MRS将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群
什么是MapReduce服务 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了
zstd压缩算法有什么优势？ 问： zstd压缩算法有什么优势？ 答： ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式。 具体详细请参考https://github.com/L-Angel/compress-demo
Kudu支持的压缩算法有哪些？ 问： Kudu支持的压缩算法有哪些？ 答： Kudu目前支持的压缩算法有snappy、lz4和zlib，默认是lz4。 父主题： 组件配置类
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格式增强了
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格式增强了
成长地图 | 华为云 MapReduce服务 MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，可轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 图说MRS 产品介绍 仅两个按钮时选用 立即购买 成长地图
Flink对接云搜索服务（CSS）样例程序（Java） 功能介绍 当前基于随机数生成器实现了一个持续产生长度为4字符串的数据源用于写入数据。 样例代码 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.flink.examples。 public class
Flink对接云搜索服务（CSS）样例程序开发思路 场景说明 本样例实现了Flink消费一个自定义数据源，并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。 主要提供了Elasticsearch Sink的构建及参数设置方法，实现通过Flink将数据写入Elasticsearch
配置MRS集群作业消息通知 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”
Flink对接云搜索服务（CSS）样例程序 Flink对接云搜索服务（CSS）样例程序开发思路 Flink对接云搜索服务（CSS）样例程序（Java） 父主题： 开发Flink应用
配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置， 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 通过绑定委托，
配置HetuEngine物化视图 HetuEngine物化视图概述 HetuEngine物化视图SQL示例 配置HetuEngine物化视图改写能力 配置HetuEngine物化视图推荐能力 配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力
使用ZSTD_JNI压缩算法压缩Hive ORC表 操作场景 ZSTD_JNI是ZSTD压缩算法的native实现，相较于ZSTD而言，压缩读写效率和压缩率更优，并允许用户设置压缩级别，以及对特定格式的数据列指定压缩方式。 目前仅ORC格式的表支持ZSTD_JNI压缩方式，而普通的
HetuEngine物化视图概述 HetuEngine物化视图功能适用于MRS 3.2.0及以后版本。 HetuEngine物化视图背景介绍 HetuEngine具备物化视图能力。在实际运用中，将高频访问的SQL查询和有高耗时的算子（连接， 聚合等算子）的SQL通过建立物化视图进行预计算
读取Hudi cow表视图 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的Hudi表即可，${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取（Spark dataSource API
读取Hudi mor表视图 mor表同步给Hive后，会在Hive表中同步出：“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图，后缀为ro的表代表读优化视图。例如：同步给Hive的hudi表名为${table_name}， 同步Hive后hive表中多出两张表分别为
读取Hudi mor表视图 mor表同步给Hive后，会在Hive表中同步出：“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图，后缀为ro的表代表读优化视图。例如：同步给Hive的hudi表名为${table_name}， 同步Hive后hive表中多出两张表分别为
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
