检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12102 AZ高可用组件未按容灾需求部署 告警解释 告警模块按照5分钟周期检测AZ高可用组件部署状态。当开启AZ后,支持容灾的组件未按容灾需求部署时产生该告警。组件恢复按容灾需求部署时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 12102 重要 是 告警参数
图解MapReduce服务
依赖Yarn 依赖HDFS HSB(HSBroker) 所有节点均可部署。 角色实例部署数量范围:2~50。 HSC(HSConsole) 所有节点均可部署。 角色实例部署数量范围:2。 HSF(HSFabric) 所有节点均可部署。 角色实例部署数量范围:0~50。 QAS(仅适用于MRS
Spark作业的Client模式和Cluster模式有什么区别? 理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念:Application Master。 在YARN中,每个Application实例都有一个ApplicationMaster进程
MRS集群部署说明 MRS集群部署方案说明 MRS集群Kerberos认证介绍 MRS集群支持的云服务器规格 父主题: MRS集群规划
ClickHouse具备“手动挡”集群模式升级、平滑弹性扩容、高可用HA部署架构等优势能力,具体详情如下: 手动挡集群模式升级 如图1所示,多个ClickHouse节点组成的集群,没有中心节点,更多的是一个静态资源池的概念,业务要使用ClickHouse集群模式,需要预先在各个节点的配置文件中定义clu
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效,在使用yarn-client模式提交时生效,如图1所示,第一个应用是使用yarn-client模式提交的,正确显示代码里设置的应用名Spark P
修改MRS集群组件鉴权配置开关 操作场景 集群部署为安全模式或者普通模式时,HDFS和ZooKeeper默认会对访问服务的用户进行鉴权,没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时,Yarn默认不会对访问用户进行鉴权,所有用户可以访问Yarn中的资源。
支持。除了HBase产生的一些日志文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。 HDFS和MapReduce的关系 HDFS是Hadoop分布式文件系统,具有高容错和高吞吐量的特性,可以部署在价格低廉的硬件上,存储应用程序的数据,适合有超大数据集的应用程序。
Spark的计算调度方式,可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源,将任务分布式的运行起来。Spark on YARN分两种模式:YARN Cluster和YARN Client。 YARN Cluster模式 运行框架如图 Spark on yarn-cluster运行框架所示。
VMs:初始化虚拟机中 Installing MRS Manager:安装MRS Manager中 Deploying the cluster:部署集群中 Cluster installation failed:集群安装失败 扩容集群进度包括: Preparing for cluster
ns-0.0.1-SNAPSHOT目录,最终项目整体结构如下图所示。 部署Function Plugin 部署前需要确认: HetuEngine服务处于正常状态。 HDFS和HetuEngine客户端已经安装到集群节点,例如“/opt/client”目录下。 已创建HetuEng
登录HDFS服务客户端所在节点,切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinitHetuEngine用户
Flink与Yarn的关系 Flink支持基于Yarn管理的集群模式,在该模式下,Flink作为Yarn上的一个应用,提交到Yarn上执行。 Flink基于Yarn的集群部署如图1所示。 图1 Flink基于Yarn的集群部署 Flink Yarn Client首先会检验是否有足够的资
限控制。当独立部署Hive数据源集群的视图所有者在本集群没有同名用户时,在Ranger中配置function权限将无法为对应用户赋权。可参考添加HetuEngine的Ranger访问权限策略章节通过如下方案为用户添加相关权限解决: 方案一 在本集群创建一个视图所有者的同名用户,然
Hadoop社区版本提供两种认证方式Kerberos认证(安全模式)和Simple认证(普通模式),在创建集群时,MRS支持配置是否启用Kerberos认证,集群创建完成后不支持修改。 安全模式(启用Kerberos认证) 安全模式的MRS集群统一使用Kerberos认证协议进行安全认证
1的依赖,可从Hive服务安装目录下获取。 (可选)若用户存在Hive UDF依赖的配置文件,建议将其作为资源文件放在resources目录下,即可打包到Hive UDF函数包中。 创建Maven项目,“groupId”配置“com.test.udf”,“artifactId”配置“udf-t
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的URL,通过HTTPS协议,获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTP协议,获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\h
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS