检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Hive对接外部LDAP配置说明 应用场景 本章节介绍Hive如何对接外部LDAP并访问HiveServer。 为了管理集群中数据与资源的访问控制权限,在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。 MRS通过KrbServer
ALM-45644 RocksDB的Level0层SST文件数持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s
ALM-45649 RocksDB的Get P95耗时持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业
导出Doris数据至HDFS 数据导出(Export)功能可以将用户指定的表或分区的数据,以文本的格式通过Broker进程导出到远端存储上,如HDFS/对象存储(支持S3协议) 等。 不建议一次性导出大量数据。一个Export作业建议的导出数据量最大在几十GB。过大的导出会导致更多的垃圾文件和更高的重试成本
查看MRS集群节点资源监控指标 用户在日常使用中,可以实时查看MRS集群内各节点的状态及指标信息,及时了解节点运行状态及资源消耗情况。 查看MRS集群节点资源监控指标前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”
Doris基本原理 Doris简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris能够较好的满足报表分析
添加MRS集群Task节点弹性伸缩策略 操作视频 本视频为您分别介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 创建MRS集群时配置弹性伸缩 创建集群时,弹性伸缩功能可以通过在高级配置参数中进行配置
使用FineBI访问MRS HetuEngine 应用场景 FineBI是一款商业智能产品,针对企业信息化遇到的困难,为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例,讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出于管理和信息收集的需要
入门实践 当完成MRS集群部署后,可以根据自身的业务需求使用MRS提供的一系列常用实践。 表1 MRS常用最佳实践 实践 描述 数据分析 使用Spark2x实现车联网车主驾驶行为分析 本实践指导使用Spark实现车主驾驶行为分析。用于了解MRS的基本功能,利用MRS服务的Spark2x
创建FlinkServer作业写入数据至HBase表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 FlinkServer支持对接HBase,详情如下: 支持对接维表、Sink表。 当HBase与Flink为同一集群或互信的集群,支持FlinkServer对接HBase。
使用Stream Load方式导入数据至Doris Stream Load是一个同步的导入方式,用户通过HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream Load同步执行导入并返回导入结果,用户可直接通过请求的返回体判断本次导入是否成功。 Stream Load
使用MRS客户端操作OpenTSDB指标数据 用户可以根据业务需要,在MRS集群的客户端中进行交互式操作。启用Kerberos认证的集群,需要操作的用户属于“opentsdb,hbase,opentsdbgroup和supergroup”组且拥有HBase权限。 前提条件 获取用户
配置Doris冷热分离 该章节主要介绍如何配置和使用Doris冷热分离功能。 前提条件 Doris集群与OBS网络互通,相关操作具体请参考初始化配置。 创建OBS并行文件系统并获取AK/SK和DomainID 创建OBS并行文件系统。 登录OBS管理控制台。 选择“并行文件系统 >
备份ClickHouse元数据 操作场景 为了确保ClickHouse集群中的元数据安全,或者集群用户需要对ClickHouse进行重大操作(如升级或迁移等)时,需要对ClickHouse集群的元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低
MRS 3.1.2-LTS.2补丁说明 MRS 3.1.2-LTS.2.14补丁基本信息 补丁号 MRS 3.1.2-LTS.2.14 发布时间 2023-10-27 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager
配置Doris对接Hive数据源 通过连接Hive Metastore,或者兼容Hive Metatore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除Hive外,很多其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog
创建FlinkServer作业写入数据至Doris表 本章节适用于MRS 3.5.0及之后的版本。 操作场景 本章节提供了如何使用FlinkServer将Kafka数据写入到Doris中,和Doris数据和Kafka数据的Lookup Join操作指导。 前提条件 集群中已安装Doris
创建FlinkServer作业写入数据至Hudi表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本指南通过使用FlinkServer写FlinkSQL对接Hudi。FlinkSQL读写Hudi时,不支持定义TINYINT、SMALLINT和TIME类型。 Flink对Hudi
Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节,以便用户快速搜索到相应的配置项。如果用户使用MRS集群,本节介绍的参数大部分已经适配好,用户无需再进行配置。少数需要用户根据实际场景配置的参数,请参见快速配置Spark参数。 配置Stage
常见概念 HBase表 HBase的表是三个维度排序的映射。从行主键、列主键和时间戳映射为单元格的值。所有的数据存储在HBase的表单元格中。 列 HBase表的一个维度。列名称的格式为“<family>:<label>”,<family>和<label>为任意字符组合。表由<family