检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
过200。 部署负载均衡组件,查询基于负载均衡组件进行,避免单点查询压力太大影响性能。 ClickHouse支持连接集群中的任意节点查询,如果查询集中到一台节点,可能会导致该节点的压力过大并且可靠性不高。建议使用ClickHouseBalancer或者其他负载均衡服务,均衡查询负载,提升可靠性。
Tez Tez是Apache最新的支持DAG(有向无环图)作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS将Tez作为Hive的默认执行引擎,执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明,请参见:https://tez
其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。 MRS权限说明 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的
HDFS包含主、备NameNode和多个DataNode,如图1所示。 HDFS是一个Master/Slave的架构,在Master上运行NameNode,而在每一个Slave上运行DataNode,ZKFC需要和NameNode一起运行。 NameNode和DataNode之间的通信都
所有aggregate只能来自同一个表,group by可以来自一个表或者两个表,只支持inner join。 不支持的情形有: 不支持aggregate同时来自join左表和右表的下推。 不支持aggregate内包含运算,如:sum(a+b)。 不支持aggregate运算,如:sum(a)+min(b)。
Hive Group By语句优化 操作场景 优化Group by语句,可提升命令执行速度和查询速度。 Group by的时候, Map端会先进行分组, 分组完后分发到Reduce端, Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化,开启Map端初步聚合,减少Map的输出数据量。
组件介绍 Alluxio CarbonData ClickHouse CDL DBService Doris Flink Flume Guardian HBase HDFS HetuEngine Hive Hudi Hue Iceberg Impala IoTDB Kafka KafkaManager
MRS服务管理费用详情,请参见产品价格详情。 您可以通过MRS提供的价格计算器,选择您需要的集群节点规格,来快速计算出购买MRS集群的参考价格。 MRS集群删除或退订后不再产生费用。 计费模式 使用MRS的首要操作就是购买MRS集群,MRS当前支持包年包月和按需计费模式。 包年/包月
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
级或迁移时,不丢失当前流应用的状态信息,便于任何时间点的任务暂停和恢复。 Flink SQL Table API和SQL借助了Apache Calcite来进行查询的解析,校验以及优化,可以与DataStream和DataSet API无缝集成,并支持用户自定义的标量函数,聚合函
描述 RangerAdmin Ranger的管理角色,拥有策略管理、用户管理、审计管理等功能,提供WebUI和RestFul接口。 UserSync 负责周期从外部同步用户和用户组信息并写入RangerAdmin中。 TagSync 负责周期从外部Atlas服务同步标签信息并写入RangerAdmin中。
JDBCServer HA JDBCServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点,节点包含了该实例对应的IP,端口,版本号和序列号等信息。 客户端连接JDBCServer时,需要指定Namespace,即访问ZooKeeper哪个目录下的JDBCServer实例。
的业务影响和进行最终实施。 不支持的服务 不负责提供具体MRS集群和开源大数据组件管理的运维操作,包括参数配置修改、重启、容量规划、组件性能优化以及集群上任何运维操作等。 不负责基于MRS集群之上的客户业务应用开发问题答疑和处理,例如业务设计、代码开发、作业性能调优和业务迁移等。
每个Flink集群只有单个JobManager,存在单点失败的情况。Flink有Yarn、Standalone和Local三种模式,其中Yarn和Standalone是集群模式,Local是指单机模式。但Flink对于Yarn模式和Standalone模式提供HA机制,使集群能够从失败中恢复。这里主要介绍Yarn模式下的HA方案。
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
配额说明 配额是用户账号在对应环境配置的可用资源额度,限定配额仅是为了防止资源滥用。 MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP
Storm Storm基本原理 Storm与其他组件的关系 Storm开源增强特性 父主题: 组件介绍
MemArtsCC MemArtsCC基本原理 MemArtsCC与其他组件的关系 父主题: 组件介绍
发行版本 版本概述 版本说明
IoTDB客户端只能连接一个IoTDBServer,大量并发使用同一个客户端会对该客户端连接的IoTDBServer造成压力,可以根据业务需求连接多个不同的客户端来达到负载均衡。 使用SessionPool复用连接 分布式在Session内部做了缓存,实现客户端时避免每次读写都新建Session,或者使用SessionPool进行复用连接。