检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
配置MRS集群安全通信授权 MRS集群通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 若不
在“添加监听器”界面,根据界面提示完成具体配置。 配置监听器。 “前端协议/端口”选择“TCP”、端口填写“9000”,其他参数保持默认。配置完成单击“下一步”。 如果是通过HTTP请求访问,则“前端协议/端口”选择“HTTP”、端口填写“8123”。 配置后端服务器组。 “分配策略类型”
添加监听器”。 在“添加监听器”界面,根据界面提示完成具体配置,下列步骤中未提及的参数保持默认即可。 配置监听器。 “前端协议”选择“TCP”,“前端端口”填写相应的访问端口号,配置完成单击“下一步:配置后端分配策略”。 配置后端分配策略。 “分配策略类型”参数选择“加权轮询算法”
在已有Hive数据的集群上外置元数据库后,之前的元数据表不会自动同步。因此在安装Hive之初就要确认好元数据是外置数据库还是内置到DBService,如果是外置自建数据库,则需在安装Hive时或者暂无Hive数据时将元数据外置,安装后不允许修改,否则将会造成原有元数据丢失。 Hive对接CSS服务
业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中,提供隔离的网络环境,保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。 资源隔离 MRS服务支持资源专属区内部署,专属区内物理资源隔离,用户可以在
一个ZooKeeper集群的客户端,用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有ZKFC进程。 HDFS NameNode的ZKFC连接到ZooKeeper,把主机名等
修改MRS集群组件鉴权配置开关 操作场景 集群部署为安全模式或者普通模式时,HDFS和ZooKeeper默认会对访问服务的用户进行鉴权,没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时,Yarn默认不会对访问用户进行鉴权,所有用户可以访问Yarn中的资源。
ClickHouse服务当前的部署不具备跨AZ高可用能力。 可能原因 开启跨AZ高可用之后,同一个shard的所有副本节点在一个AZ内。 处理步骤 修改副本节点AZ 以客户端安装用户,登录安装客户端的节点。执行以下命令,切换到客户端安装目录。 cd {客户端安装路径} 执行以下命令配置环境变量。 source
通过专线访问Manager页面方式出现503报错 问题现象 通过专线方式访问Manager界面,出现503报错:当前无法使用此页面”。 原因分析 随着任务量的增大或者任务并发较高,有可能会导致Executor内存不足,进而导致访问Manager异常。 处理步骤 通过root用户登
色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 Doris中已安装并启动DBroker实例。 已安装Hive客户端。 如果Doris通过Broker Load跨集群导入数据,需要配置跨集群互信,相关操作可参考配置跨Manager集群互信。
以再次提交安装补丁请求,第二次安装补丁会跳过健康检查,进行补丁安装。 误报内容可以通过如下方式确认: 查看并导出健康检查报告,健康检查结果上只存在这两个主机报错:“安装目录及数据目录检查: 目录下文件异常. 请检查安装目录和数据目录下的内容”。 图1 健康检查结果 安装补丁的影响
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
Manager软件安装及使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。
如果是其他依赖包,可能是没有使用--jars添加到任务里面。 如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错,需
如果是其他依赖包,可能是没有使用--jars添加到任务里面。 如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错,需
在“添加监听器”界面,根据界面提示完成具体配置。 配置监听器。 “前端协议/端口”选择“TCP”、端口填写“9000”,其他参数保持默认。配置完成单击“下一步”。 如果是通过HTTP请求访问,则“前端协议/端口”选择“HTTP”、端口填写“8123”。 配置后端服务器组。 “分配策略类型”
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 通
HetuEngine的Ranger权限控制中包含了function的权限控制。当独立部署Hive数据源集群的视图所有者在本集群没有同名用户时,在Ranger中配置function权限将无法为对应用户赋权。可参考添加HetuEngine的Ranger访问权限策略章节通过如下方案为用户添加相关权限解决:
n_RPC 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。