检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OVERWRITE操作权限的用户。 配置OBS目录生命周期规则 登录OBS控制台。 选择“并行文件系统”，单击当前MRS集群使用的文件系统名称。 选择“基础配置 > 生命周期规则”，单击“创建”，创建指定目录的生命周期规则，相关参数详细介绍请参见配置生命周期规则。 表2 生命周期规则创建参数 参数名称 描述
Spark跨源复杂数据的SQL查询优化 场景描述 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨
9版本为例，讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。 HetuEngin
Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark
通过Maven生成Jar包。 在Maven工具窗口，选择clean生命周期，执行Maven构建过程。 图3 选择clean生命周期，执行Maven构建过程 在Maven工具窗口，选择package生命周期，执行Maven构建过程。 图4 选择package生命周期，执行Maven构建过程 在Run:中出现下面提示，则说明打包成功
通过Maven生成Jar包。 在Maven工具窗口，选择clean生命周期，执行Maven构建过程。 图3 选择clean生命周期，执行Maven构建过程 在Maven工具窗口，选择package生命周期，执行Maven构建过程。 图4 选择package生命周期，执行Maven构建过程 在Run:中出现下面提示，则说明打包成功。
Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。 Flink：提供一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。
通过Maven生成Jar包。 在Maven工具窗口，选择clean生命周期，执行Maven构建过程。 图3 选择clean生命周期，执行Maven构建过程 在Maven工具窗口，选择package生命周期，执行Maven构建过程。 图4 选择package生命周期，执行Maven构建过程 在Run:中出现下面提示，则说明打包成功
通过Maven生成Jar包。 在Maven工具窗口，选择clean生命周期，执行Maven构建过程。 图3 选择clean生命周期，执行Maven构建过程 在Maven工具窗口，选择package生命周期，执行Maven构建过程。 图4 选择package生命周期，执行Maven构建过程 在Run:中出现下面提示，则说明打包成功。
受规则影响的碎片将过期并自动被OBS删除。 30天 单击“确定”，完成生命周期规则配置。 若您需修改生命周期的内容，请单击该生命周期规则所在行右侧的“编辑”进行编辑；单击“禁用”，可以禁用该生命周期规则。单击“启用”，可启用该生命周期规则。 父主题： 配置MRS集群通过Guardian对接OBS
据的交互式快速查询场景。 HetuEngine跨源功能简介 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。 HetuEngin
ClickHouse日志介绍 ClickHouse集群管理 通过数据文件备份恢复ClickHouse数据 配置ClickHouse系统表的生命周期 集群内ClickHouseServer节点间数据迁移 父主题： 使用ClickHouse
版本支持公告 MRS集群版本生命周期
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题： 产品功能
Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。 Hive 建立在Hadoop基础上的开源的数据仓库，提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。 ZooKeeper 提供分布式
迁移MRS集群内ClickHouse数据至其他MRS集群 扩容ClickHouse节点磁盘 通过数据文件备份恢复ClickHouse数据 配置ClickHouse系统表的生命周期 配置ClickHouse默认用户密码（MRS 3.1.2-LTS版本） 修改ClickHouse默认用户密码（MRS 3.3.0-LTS及之后版本）
开通自动续费后，MRS集群会在每次到期前自动续费，避免因忘记手动续费而导致资源被自动删除。 在一台包年/包月MRS集群生命周期的不同阶段，您可以根据需要选择一种方式进行续费，具体如图1所示。 图1 MRS集群生命周期 MRS集群从购买至到期前，处于正常运行阶段，集群状态为“运行中”。 到期后，集群状态变为“已过期”。
后，使用Hive对原始数据进行导入、分析等操作，展示了如何构建弹性、低成本的离线大数据分析。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Lan
t启动Receiver成为长驻运行任务。这些Receiver接收并保存流数据到Spark内存中以供处理。用户传送数据的生命周期如图2所示： 图2 数据传输生命周期 接收数据（蓝色箭头） Receiver将数据流分成一系列小块，存储到Executor内存中。另外，在启用预写日志（Write-ahead
用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。 基于预设的数据模型，使用易用的SQL数据分析，用户可以选择Hive（数据仓库），SparkSQL以及Presto交互式查询引擎。 数据呈现调度 用于数据分析结果的呈现，并与数据治理中心DataArts Studi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
