-
ClickHouse基本原理 - MapReduce服务 MRS
安全性。 数据备份与恢复:提供了数据备份导出与导入恢复机制,满足生产环境的要求。 分布式管理:提供集群模式,能够自动管理多个数据库节点。 列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库,数据按列进行组织,属于同一列的数据会被保存在一起,列与列之间也会由不同的文件分别保存。
-
HetuEngine应用开发简介 - MapReduce服务 MRS
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念
-
HetuEngine基本原理 - MapReduce服务 MRS
HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn
-
HDFS应用开发简介 - MapReduce服务 MRS
API、Shell、HTTP REST API、WEB UI五种方式,可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系
-
产品优势 - MapReduce服务 MRS
支持多租户对OBS存储的细粒度权限管理,根据多种用户角色来区分访问OBS桶及其内部的对象的权限,实现MRS用户对OBS桶下的目录权限控制。 MRS支持企业项目管理。企业项目是一种云资源管理方式,企业管理(Enterprise Management)提供面向企业客户的云上资源管理、
-
HDFS - MapReduce服务 MRS
HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题: 组件介绍
-
ZooKeeper - MapReduce服务 MRS
ZooKeeper ZooKeeper基本原理 ZooKeeper与其他组件的关系 ZooKeeper开源增强特性 父主题: 组件介绍
-
HDFS应用开发简介 - MapReduce服务 MRS
需要很高的吞吐量 需要高可靠性 需要很好的可扩展能力 HDFS开发接口简介 HDFS支持使用Java语言进行程序开发,具体的API接口内容请参考HDFS Java API接口介绍。 父主题: HDFS应用开发概述
-
ZooKeeper常见问题 - MapReduce服务 MRS
ZooKeeper常见问题 创建大量ZNode后ZooKeeper Server启动失败 为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 为什么ZooKeeper节点上netcat命令无法正常运行 如何查看哪个ZooKeeper实例是leader
-
多租户介绍 - MapReduce服务 MRS
多租户介绍 简介 技术原理 多租户使用 父主题: 租户资源
-
HDFS基本原理 - MapReduce服务 MRS
块”与其归属文件的对应关系。 Standby NameNode:与Active NameNode中的数据保持同步;随时准备在Active NameNode出现异常时接管其服务。 Observer NameNode:与Active NameNode中的数据保持同步,处理来自客户端的读请求。
-
组件介绍 - MapReduce服务 MRS
组件介绍 Alluxio CarbonData ClickHouse CDL DBService Apache Doris Flink Flume HBase HDFS HetuEngine Hive Hudi Hue Impala IoTDB Kafka KafkaManager
-
HDFS应用开发简介 - MapReduce服务 MRS
API、Shell、HTTP REST API、WEB UI五种方式,可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系
-
责任共担 - MapReduce服务 MRS
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务
-
MapReduce应用开发简介 - MapReduce服务 MRS
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(applicat
-
快速购买ClickHouse集群 - MapReduce服务 MRS
可用区:默认即可。 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 企业项目:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS
-
安全 - MapReduce服务 MRS
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 更新管理 安全加固 MRS集群保留JDK说明
-
MapReduce性能调优 - MapReduce服务 MRS
MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化
-
MapReduce性能调优 - MapReduce服务 MRS
MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化
-
Flink性能调优 - MapReduce服务 MRS
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 设计Flink分区方法 优化Flink Netty网络通信参数 Flink调优经验总结 父主题: 使用Flink