检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
link等服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role,且用户已加入hive组。 该特性仅支持在FlinkServer平台使用。 FlinkSQL需要使用default方言。 过滤条件中的字段大小写要与FlinkSQL中字段大小写一致。 该特性不支持Hive视图表。
基于Python3的Hive样例程序 功能介绍 本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 安全模式连接Hive前需要使用集群客户端进行认证,使用kinit命令认证相应权限的Kerberos用户,认证后执行分析任务示例在“hive-examples/
感知的分析加速效果。HetuEngine管理员通过付出少量的计算资源和存储空间,可实现对高频SQL业务的智能加速。同时,该能力可以降低数据平台的整体负载(CPU、内存、IO等),有助于提升系统稳定性。 智能物化视图包括以下几个功能: 自动推荐物化视图 自动创建物化视图 自动刷新物化视图
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后,可在Sqoop客户端导入关系型数据库的表到OBS中,或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
安全性 Spark目前支持通过共享密钥认证。可以通过spark.authenticate配置参数配置认证。该参数控制Spark通信协议是否使用共享密钥执行认证。该认证是确保双边都有相同的共享密钥并被允许通信的基本握手。如果共享密钥不同,通信将不被允许。共享密钥通过如下方式创建: 对于YARN部署的Spark,将spark
源,单击“确定”。 “服务”选择“HBase”,在“关联类型”可以选择“独占”或者“共享”。 “独占”表示该租户独占服务资源,其他租户不能再关联此服务。 “共享”表示共享服务资源,可与其他租户共享使用此服务资源。 MRS 3.2.0及之后版本:“服务”选择“ClickHouse”。
Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64),单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例
参与;同时支持用户在集群中运行自定义内容;支持快速创建多应用场景集群,比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群,在集群中存在不同规格的虚机,允许CPU类型,硬盘容量,硬盘类型,内存大小灵活组合。在集群中支持多种虚机规格混合使用。
安全性 Spark目前支持通过共享密钥认证。可以通过spark.authenticate配置参数配置认证。该参数控制Spark通信协议是否使用共享密钥执行认证。该认证是确保双边都有相同的共享密钥并被允许通信的基本握手。如果共享密钥不同,通信将不被允许。共享密钥通过如下方式创建: 对于YARN部署的Spark,将spark
如果集群启用了安全服务,按登录方式需要进行以下配置: keytab方式:需要从管理员处获取一个“人机”用户,用于登录FusionInsight Manager平台并通过认证,并且获取到该用户的keytab文件。 票据方式:从管理员处获取一个“人机”用户,用于后续的安全登录,开启Kerberos服务的
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 httpd进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 httpd进程异常。 处理步骤 检查httpd进程是否异常。
基于Python3的Hive样例程序 功能介绍 本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 安全模式连接Hive前需要使用集群客户端进行认证,使用kinit命令认证相应权限的Kerberos用户,认证后执行分析任务示例在“hive-examples/
提供读写接口,提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能,Hive、MapReduce开发人员能够共享元数据信息,避免中间转换和调整,能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest API来执行Hive DDL
在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:必须与待安装客户端的节点的架构匹配,例如“x86_64”。 对于集群内的节点,节点架构类型可在Manager页面选择“主机”,在待安装客户端节点所在行的“平台类型”列查看。 勾选“仅保存到如下路径”,使用默认保存路
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 controller进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 controller进程异常。 处理步骤
产生告警的主机名 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 pms进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 pms进程异常。
流程等操作。 SDK 软件开发工具包SDK(SoftwareDevelopmentKit)是被软件工程师用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合。 Database pg数据库。 WebApp(Oozie) WebApp(Oozie)即Oozie
实时OLAP场景化方案 数据源:业务系统产生的数据,可以是离线的文件数据,关系型数据库数据,或者实时采集的流式数据等。 大数据平台:实时OLAP的核心数据处理平台,包含离线数据加工、实时数据加工、实时OLAP等模块。 实时消息管道:用于接收实时流式数据,作为实时数据接入的统一管道,对应大数据组件MRS-Kafka。
在“服务”选择“HBase”。 在“关联类型”选择: “独占”表示该租户独占服务资源,其他租户不能再关联此服务。 “共享”表示共享服务资源,可与其他租户共享使用此服务资源。 创建租户时,租户可以关联的服务资源只有HBase。为已有的租户关联服务时,可以关联的服务资源包含:HDFS、HBase和Yarn。
图1中各模块的功能说明如表1所示。 表1 模块说明 名称 描述 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等,分为: Active NameNode:管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息;记录写入的每个“数据块”与其归属文件的对应关系。