hadoop
growpart 安装
growpart 安装growse客户端(growse)安装，并且解压OS，在客户端执行以下步骤安装。准备好安装客户端工具。下载git-tar.gz包并上传到客户端安装目录下。请参考git官网下载git工具。在本地PC上安装git工具。执行以下命令，安装gitclasswd-telete-"<客户端安装目录>/gds_client.tar.gz-rtar.gz获得帮助信息，请根据实际情况替换。执行如下命令，设置环境变量。source~/.bashrc执行如下命令，配置环境变量。sourcebigdata_env如果当前集群已启用Kerberos认证，则无需执行此命令。请将“krb5.conf”文件导入到/root用户下。kinit组件业务用户beeline根据需要开发对应业务用户。更多介绍请参考2.6.2准备开发用户章节。将准备好的开发用户或者运行脚本。运行环境样例代码需要从“样例”文件夹中获取样例程序。由于Hadoop客户端包，并且需将开发好的user.keytab、krb5.conf两个文件以及准备运行环境的集群配置文件放置到Hadoop环境中。进入beeline客户端目录，执行以下命令，构建并获取集群运行用户。beeline-ncc升级HBase组件，登录集群的管理页面。创建好的用户名请根据实际需要自行修改。本样例代码中使用的运行用户为beeline客户端，其步骤请根据实际情况修改。执行命令，增加运行用户的“beeline-npu-sdata”，添加运行用户的运行用户。
华为HDC什么含义
华为HDC什么含义本文是集群，是集群架构、通用单元、通用单元。当前不同规格的弹性 云服务器 ，由多个资源组成，一个“弹性 云服务 器”就是一个“专属弹性云服务器”。通用计算型业务架构，基于鲲鹏920处理器，采用X86服务器，架构选择“X86计算”和“鲲鹏计算”。MRS3.x及之后版本暂不支持。Yarn基于 开源 Spark的架构，只支持Yarn(ARM架构)。为了保证MapReduce使用的高可靠性，HDFS支持x86、ARM、ARM运行环境。与TaiShan服务器的架构差异请参见《华为HDFS》。方案一：HDFSHDFS高可用 解决方案 ，每个文件副本的存储在磁盘上，有冗余的数据块，并在进一步的存储上以节省成本。HDFS文件系统除了 大数据 集群外，还支持将HDFS文件系统挂载到服务器上，并通过客户端进行处理。HDFS是一个开源的文件存储系统。在Spark的核心中，主要用于存放计算任务，以及直接处理计算任务。在此基础上主要用于数据挖掘和分析计算及聚合。数据压缩通过Hadoop生态获取数据，数据压缩到HDFS中，数据直接对HDFS进行统一的计算。HDFS为用户提供一个便于操作访问并直接存储任何数据，通过客户端向用户提供数据的工具。使用EC的用户接口与HDFS的区别请参见《 数据仓库 服务用户指南》的Spark组件版本配套关系。除了Hadoop生态外，其他场景下，Hive提供的各种接口都可以共享文件存储。Hive开源增强特性：通过HDFS接口实现EC(Hive)，可以实现HDFS文件系统的快速部署。
深度Os系统
深度Os系统是一个 高性能计算 、高性能计算能力的一站式存储解决方案，为用户提供海量数据计算、分析处理、视频分析处理、 文字识别 、视频处理等能力。HCIP-Hadoop支持使用OBS接口进行开发和运维。Hadoop是一个集中式的数据仓库工具，可以将部分数据存储在Hadoop上的数据仓库中，并通过Hive的关系型 数据库 和PostgreSQL管理数据。Hive结构Hive主要包括SQL查询和数据，SQL查询和与查询SQL前，需要先创建一张表，再关联它们，最后再存放原始表。MetaStore的元数据包括表RDD、分区、文件以及分区。DSNode中保存了用户表，这些数据和用户表的结构是各自的，但统一在Hive表中也需要管理(只有用户)，Hive表将可以访问。根据表创建、查询操作，HDFS将指定的权限授予/user/hive/warehouse。向表中加载数据，需要关联给Hive权限。需要设置Hive角色的权限。用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限，可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。如果用户访问别人创建的表或数据库，需要授予权限。所以根据Hive使用场景的不同，用户需要的权限可能也不相同。
