检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如:s1中的1表示通用型I代,s2中2表示通用型II代。 C表示规格,当前系列中的规格大小,例如:medium、large、xlarge。
议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 磁盘角色 表1 MRS集群节点磁盘类型 磁盘角色 描述 系统盘 节点系统盘的存储类型和存储空间。 存储类型: SAS:高IO SSD:超高IO GPSSD:通用型SSD 数据盘 节点数据磁盘存储
如何配置HBase双读能力 操作场景 HBase客户端应用通过自定义加载主备集群配置项,实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性,适用于四个查询场景:使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能
行相关数据应用的开发与编译,样例工程依赖的jar包直接通过华为云开源镜像站下载,其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性云服务器的使用方式和MRS服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。
适。开启Adaptive Execution后,Spark SQL将自动为每个shuffle过程动态设置partition个数,而不是使用通用配置,使每次shuffle过程自动使用最合理的partition数。 动态调整执行计划 在启用Adaptive Execution特性前,Spark
如果集群已启用Kerberos认证(安全模式),推荐关联人机用户。 如果集群未启用Kerberos认证(普通模式),推荐关联机机用户。 如果关联的是Doris普通用户(即用户绑定的角色不具备“Doris管理员权限”),关联成功后,使用对应的用户在MySQL客户端连接Doris后创建表,并查询表数据会报以下错误:
优。开启Adaptive Execution后,Spark SQL将自动为每个shuffle过程动态设置partition个数,而不是使用通用配置,使每次shuffle过程自动使用最合理的partition数。 动态调整执行计划。 在启用Adaptive Execution特性前,Spark
的数据分析服务。 ZooKeeper 提供分布式、高可用性的协调服务能力。帮助系统避免单点故障,从而建立可靠的应用程序。 KrbServer 密钥的管理中心,负责票据的分发。 Yarn 资源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。 DBService
Hudi TTL简介 TTL能力适用于MRS 3.5.0及之后的版本。 TTL能力目前只支持分区级别的TTL。 TTL(Time To Live)能力可以控制Hudi表中数据的生存周期,也称为数据老化。 考虑到如下两个场景: 场景1:如果需要在流场景中去删除老化的分区,只能停止流任务执行DDL命令去删除分区。
角色 > 添加角色”。 填写角色的名称,例如developrole。 在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB > 普通用户权限”,勾选root根目录的“设置数据库”权限。 单击“root”,选择对应的存储组,勾选“创建”、“修改”、“写”、“读”、“删除”权限,单击“确定”保存。
HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。 不需要完全拥有传统关系型数据库所具备的ACID特性。ACID特性指原子性(Atomicity)、
HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。 不需要完全拥有传统关系型数据库所具备的ACID特性。ACID特性指原子性(Atomicity)、
Flink作业大小表Join能力增强 本章节适用于MRS 3.3.0及以后版本。 Flink作业大小表Join Flink作业双流Join时存在大小表数据,通过内核broadcast策略确保小表数据发送到Join的task中,通过rebalance策略将大表数据打散到Join中,提高Flink
-connector、oracle-connector、oracle-partition-connector三种,要怎么选?有什么区别? 答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,
HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。 不需要完全拥有传统关系型数据库所具备的ACID特性。ACID特性指原子性(Atomicity)、
配置HetuEngine查询容错执行能力 本章节适用于MRS 3.3.0及以后版本。 HetuEngine查询容错执行能力介绍 当集群中的节点因网络、硬件或软件问题发生故障时,在故障节点上运行的所有查询任务都将丢失。这可能会严重影响集群生产力并造成资源浪费,尤其对于长时间运行的查
ClickHouse多租户介绍 本章节内容仅适用于MRS 3.2.0及之后版本。 ClickHouse多租户介绍 ClickHouse多租户特性通过“用户 > 租户角色 > 资源profiles管理”的模型,使用户拥有对集群资源的管理能力,目前支持内存和CPU优先级管理。多租户设计模型如下图所示:
式数据分析能力,包括小批量流式处理、离线批处理、SQL查询、数据挖掘等,用户可以在同一个应用中无缝结合使用这些能力。Spark2x的开源新特性请参考Spark2x开源新特性说明。 Spark的特点如下: 通过分布式内存计算和DAG(无回路有向图)执行引擎提升数据处理能力,比MapReduce性能高10倍到100倍。
-connector、oracle-connector、oracle-partition-connector三种,要怎么选?有什么区别? 答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,
DF函数。 下面以编写一个AddDoublesUDF为例,说明UDF的编写和使用方法。 功能介绍 AddDoublesUDF主要用来对两个及多个浮点数进行相加,在该样例中可以掌握如何编写和使用UDF。 一个普通UDF必须继承自“org.apache.hadoop.hive.ql.exec