检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要将delta log和老数据文件合并。 Hudi支持三种视图,针对不同场景提供相应的读能力 Snapshot View 实时视图:该视图提供当前hudi表最新的快照数据,即一旦有最新的数据写入hudi表,通过该视图就可以查出刚写入的新数据。 cow表和mor均支持这种视图能力。
HBase HBase基本原理 HBase HA方案介绍 HBase与其他组件的关系 HBase开源增强特性 父主题: 组件介绍
Flink Flink基本原理 Flink HA方案介绍 Flink与其他组件的关系 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join增强 Flink CEP in SQL增强 父主题: 组件介绍
MRS支持集群内用户密码的更新,建议管理员定期修改密码,提高系统安全性。 密码更新指导如下所示: 修改系统用户密码:请参见修改admin密码和修改操作系统用户密码。 修改系统内部用户密码 修改默认数据库用户密码 证书更新 MRS集群的CA证书与HA证书均支持更换,如果用户需要将集群
更好地支撑实时和频繁更新的场景。 主键模型 主键模型支持分别定义主键和排序键。数据导入至主键模型的表中时,先按照排序键排序后再存储。查询时返回主键相同的一组数据中的最新数据。相对于更新模型,主键模型在查询时不需要执行聚合操作,并且支持谓词和索引下推,能够在支持实时和频繁更新等场景的同时,提供高效查询。
App应用,默认集成到Tomcat中,采用pg数据库。 基于Ext提供WEB Console,该Console仅提供对Oozie工作流的查看和监控功能。通过Oozie对外提REST方式的WS接口,Oozie client通过该接口控制(启动、停止等操作)Workflow流程,从而编排、运行Hadoop
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
Loader与其他组件的关系 与Loader有交互关系的组件有HDFS、HBase、Hive、Yarn、Mapreduce和ZooKeeper等。 Loader作为客户端使用这些组件的某些功能,如存储数据到HDFS和HBase,从HDFS和HBase表读数据,同时Loader本身也
支持Hive查询语言(HQL)中大多数的SQL-92功能,包括SELECT,JOIN和聚合函数。 HDFS,HBase和对象存储服务(OBS)存储,包括: HDFS文件格式:基于分隔符的Text file,Parquet,Avro,SequenceFile和RCFile。 压缩编解码器:Snappy,GZIP,Deflate,BZIP。
HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题: 组件介绍
Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题: 组件介绍
Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题: 组件介绍
Hue Hue基本原理 Hue与其他组件的关系 Hue开源增强特性 父主题: 组件介绍
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题: 组件介绍
YARN YARN基本原理 YARN HA方案介绍 Yarn与其他组件的关系 YARN开源增强特性 父主题: 组件介绍
HetuEngine HetuEngine基本原理 HetuEngine与其他组件的关系 父主题: 组件介绍
Doris Doris基本原理 Doris与其他组件的关系 父主题: 组件介绍
O扫描次数和CPU资源占用。CarbonData索引由多个级别的索引组成,处理框架可以利用这个索引来减少需要安排和处理的任务,也可以通过在任务扫描中以更精细的单元(称为blocklet)进行skip扫描来代替对整个文件的扫描。 可选择的数据编码:通过支持高效的数据压缩和全局编码方
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群。 如果生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。
其它管理维护操作。 导入证书 该操作会重启OMS进程和整个集群,影响集群的管理维护和业务。 修改前确认操作的必要性,修改时确保同一时间无其它管理维护操作。 恢复OMS 该操作会重启Manager和整个集群,影响集群的管理维护和业务。 修改前确认操作的必要性,修改时确保同一时间无其它管理维护操作。