检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问Manager页面报错“请求VPC错误” 用户问题 通过管理控制台前往Manager,报错“请求VPC错误”。 原因分析 当前用户没有VPC的访问权限。 IAM子用户所在的组有互斥权限导致访问Manager异常。 当前用户没有添加安全组中IP的权限,或安全组中添加的IP发生变化。
子项目,HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。 HBase和ZooKeeper的关系
ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每一个行组内按列进行存储,并且文件中的数据尽可能的压缩来降低存储空间的消耗
ORC文件格式是一种Hadoop生态圈中的列式存储格式,它最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每一个行组内按列进行存储,并且文件中的数据尽可能的压缩来降低存储空间的消耗
子项目,HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。 HDFS和MapReduce的关系
数据复制 根据源集群与目标集群分别所处的区域及网络连通性,可分为以下几种数据复制场景。 同Region 当源集群与目标集群处于同一Region时,根据打通数据传输通道进行网络配置,打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以
CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据,拥有固定列和数据类型。 支持数据类型 CarbonData支持以下数据类型:
CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据,拥有固定列和数据类型。 支持数据类型 CarbonData支持以下数据类型:
RegionServer数据存储 RegionServer主要负责管理由HMaster分配的Region,RegionServer的数据存储结构如图 RegionServer的数据存储结构所示。 图3 RegionServer的数据存储结构 图 RegionServer的数据存储结构中Region的各部分的说明如表
开放本域数据源。通过创建Virtual Schema方式来对远端访问请求屏蔽本域的物理数据源的真实Schema信息、实例信息,远端使用Virtual Schema名称即可访问本域对应的数据源。 CREATE VIRTUAL SCHEMA hive01.vschema01 WITH (
Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 2.1.0.5补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
) 描述 调用指定的存储过程。 存储过程由各个连接(connnectors)提供,实现数据操作或者管理任务。例如,系统连接器(System Connector)就定义了存储过程可以取消一个正在运行的查询。有些数据源,例如PostgreSQL,其系统有定义自己的存储过程,这与连接器定
2升级其他补丁不会重启服务,业务不断服。 MRS 1.7.1.1,MRS 1.7.1.2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
ris并不会自动感知存储路径所在磁盘的实际存储介质类型,需要用户在路径配置中显式的表示。“.HDD”和“.SSD”只是用于标识存储目录“相对”的“低速”和“高速”之分,而并不是标识实际的存储介质类型,所以如果BE节点上的存储路径没有介质区别,则无需填写后缀。 处理步骤 修改FE的
影响其他业务,建议在业务空闲期进行数据迁移任务。 步骤1:新建数据连接 登录CDM管理控制台。 创建CDM集群,该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致,保证CDM集群和MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置,从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio主要特点如下: 提供内存级I/O 吞吐率,
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式,从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移,本章节以MRS
DBService DBService简介 DBService是一个高可用性的关系型数据库存储系统,适用于存储小量数据(10GB左右),比如:组件元数据。DBService仅提供给集群内部的组件使用,提供数据存储、查询、删除等功能。 DBService是集群的基础组件,Hive、Hue、Oo
CarbonData表简介 简介 CarbonData表与RDBMS中的表类似,RDBMS数据存储在由行和列构成的表中。CarbonData表存储的也是结构化的数据,具有固定列和数据类型。CarbonData中的数据存储在表实体文件中。 支持的数据类型 CarbonData表支持以下数据类型: Int
UI,请参考访问FlinkServer WebUI界面。 查看Jar包存储路径。 记录UDF的存储路径 单击“UDF管理”,在UDF列表查看并记录其“存储路径”。 记录第三方依赖的存储路径 单击“依赖管理”,在依赖列表查看并记录其“存储路径”。 为指定依赖配置权限。 返回FusionInsight