检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景，请务必使用OBS并行文件系统（并行文件系统
元数据管理 当创建MRS集群选择部署Hive和Ranger组件时，MRS提供多种元数据存储方式，您可以根据自身需要进行选择： 本地元数据：元数据存储于集群内的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置数据连接：MRS
tor的驱动连接数据源，读取数据源元数据和对数据进行增删改查等操作。 Catalog：HetuEngine中一个catalog配置文件对应一个数据源，一个数据源可以有多个不同catalog配置，可以通过数据源的properties文件进行配置。 Schema：对应数据库的Schema名称。
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性，如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见开发Impala用户自定义函数。
基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。
上传应用数据至MRS集群 MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统，OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用，也可以将OBS的数据导入集群的HDFS系统后
通过数据应用访问Alluxio 访问Alluxio文件系统的端口号是19998，即地址为alluxio://<alluxio的master节点ip>:19998/<PATH>，本节将通过示例介绍如何通过数据应用（Spark、Hive、Hadoop MapReduce和Presto）访问Alluxio。
内容要求：ClickHouse的每次数据插入都会生成一到多个part文件，如果data part过多则会导致merge压力变大，甚至出现服务异常影响数据插入。建议一次插入10万行，每秒不超过1次插入。 一次只插入一个分区内的数据。 内容要求：如果数据属于不同的分区，则每次插入，不同分区的数据会独立生成
Computation）：支持迭代计算，有效应对多步的数据处理逻辑。 数据挖掘（Data Mining）：在海量数据基础上进行复杂的挖掘分析，可支持各种数据挖掘和机器学习算法。 流式处理（Streaming Processing）：支持秒级延迟的流式处理，可支持多种外部数据源。 查询分析（Query An
GB以内的数据量、Brokerload适合百GB以内数据，数据过大时可考虑使用SparkLoad。 禁止使用Doris的Routine Load进行导入数据操作，推荐使用Flink查询Kafka数据再写入Doris，更容易控制导入数据单批次数据量，避免大量小文件产生。如果确实已经使用了Routine
什么是MapReduce服务 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出
应用场景 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（Extract-Tran
Doris数据变更规范 该章节主要介绍Doris数据变更时需遵循的规则和建议。 Doris数据变更规则 应用程序不能直接使用delete或者update语句变更数据，可以使用CDC的upsert方式来实现。 不建议业务高峰期或在表上频繁的进行加减字段，建议在业务前期规划建表时预留
DataNode数据均衡 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。
读Kudu数据 功能简介 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象，然后再通过设置谓词条件从Kudu表里过滤读取数据。 代码样例 如下是读取数据的代码片段： KuduTable table
从纵向来看，每个shard内部有多个副本组成，保证分片数据的高可靠性，以及计算的高可靠性。 数据分布设计 Shard数据分片均匀分布 建议用户的数据均匀分布到集群中的多个shard分片，如图1所示有3个分片。 假如有30 GB数据需要写入到集群中，需要将30 GB数据均匀切分后分别放到shard-1、s
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session
读Kudu数据 功能简介 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象，然后再通过设置谓词条件从Kudu表里过滤读取数据。 代码样例 如下是读取数据的代码片段： KuduTable table
建议使用Hive/Spark进行数据批量加工，FilkSQL进行数据增量加工。 数据入库 建议使用CDL（增量实时同步）和Loader（批量同步）工具进行数据同步，也可选择HDFS外表（CK集群只支持X86平台）用户自己写调度程序进行数据导入。 父主题： ClickHouse数据库开发
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
