检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MapReduce应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写
配置Oozie应用安全认证 场景说明 在安全集群环境下,各个组件需要在通信之前进行相互认证,以确保通信的安全性。 用户在开发Oozie应用程序时,某些场景下需要Oozie与Hadoop、Hive等之间进行通信。那么Oozie应用程序中需要写入安全认证代码,确保Oozie程序能够正常运行。
配置MapReduce应用安全认证 场景说明 在kerberos认证集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的
通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory
配置MapReduce应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单地互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写
配置Oozie应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单地互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在开发Oozie应用程序时,某些场景下需要Oozie与Hadoop、Hive等之间进行通信。那么Oozie应用程序中需要写入安全
串行执行的过程,导入性能低,因此适用于小数据量的导入。对于大数据量的导入,GaussDB(DWS)支持使用GDS工具通过外表并行导入数据到集群。 当前版本的GDS已经支持从管道文件导入数据库,该功能使GDS的导入更加灵活多变。 当GDS用户的本地磁盘空间不足时,可直接将hdfs上
扩展满足特定需求的功能。您可以通过插件管理,安装、升级、卸载插件,也可以查看插件实例的详细信息。插件说明如表1所示。 约束与限制 基于边缘集群的BCS实例,暂不支持插件的安装。 baas-restapi插件功能为公测特性(Beta)。 表1 插件说明 名称 说明 限制 baas-restapi
getHandleIdentifier()=XXX](state=,code=0) 而此任务提交到Yarn上的MapReduce任务运行成功。 原因分析 出错的集群有两个HiveServer实例,首先查看其中一个HiveServer日志发现里面的报错与客户端中的错误一样均是Error:Invalid
都有至关重要的影响。 如果表的分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。对于Hash分表策略,存在数据倾斜情况下,查询时出现部分DN的I/O短板,从而影响整体查询性能。合理的选择分布列,并对已经创建的表,
4.0及之后版本的实例,支持临时扩容缓存实例带宽,用于临时解决业务流量高峰,带宽超限的问题。实例带宽扩容后,带宽为原带宽的2倍。Proxy集群实例带宽上限为10000Mbit/s,达到上限后无法扩容。一次带宽临时扩容的有效期为7天,到期后恢复为原带宽,失效1天后可再次申请扩容,一个实例最多扩容3次。
地化,以提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择分布方案 表的分布方式的选择如表1所示。 表1 表的分布方式及使用场景 分布方式 描述 适用场景 Hash 表数据通过Hash方式散列到集群中的所有DN上。
GLOBAL_REDO_STAT GLOBAL_REDO_STAT视图显示集群中所有节点上XLOG重做过程中的统计信息总和。除avgiotim(表示所有节点平均的重做写入时间)外,其余字段名称和PV_REDO_STAT视图相同,但其余字段含义为各节点上PV_REDO_STAT视图同名字段的数值之和。
但对用户本身的数据抽象能力有一定的要求。 策略 描述 适用场景 Hash 表数据通过hash方式散列到集群中的所有DN实例上。 数据量较大的事实表。 Replication 集群中每一个DN实例上都有一份全量表数据。 小表、维度表。 Range 表数据对指定列按照范围进行映射,分布到对应DN。
用户实际上就是一个rolcanlogin标志被设置的角色。任何角色(不管rolcanlogin设置与否)都能够把其他角色作为成员。 在一个集群中只有一份pg_authid,不是每个数据库有一份。需要有系统管理员权限才可以访问此系统表。 表1 PG_AUTHID字段 名称 类型 描述
/opt/client/Loader 执行以下命令,配置环境变量。 source/opt/client/bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令修改工具授权配置文件“login-info.xml”,并保存退出。配置文件参数请参见表1。
执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行HDFS Shell命令。例如: hdfs dfs -ls / HDFS客户端常用命令
”目录下: cp truststore.jks 客户端安装目录/IoTDB/iotdb/conf 如果当前集群开启了Kerberos认证,执行以下命令认证当前用户,如果集群未开启Kerberos认证请跳过该步骤。 kinit 组件业务用户 执行以下命令,切换“export-csv
请您在退订之前先创建一个手动备份。 提交退订后,资源和数据将会被删除并无法找回。如需保留数据,请务必确认完成数据备份后再提交退订。 目前仅集群版本支持此功能,单节点暂不支持。 退订单个包年/包月实例 登录管理控制台。 在服务列表中选择“数据库 > 云数据库 GeminiDB Influx
通过Hue查看Hive元数据 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据,可以通过Hue完成任务。 元数据管理器使用介绍 访问Hue WebUI,请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表,单击某一表名称,界面将显示Hive表的元数据信息。