检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 集群开启Kerberos认证时需执行该步骤,若集群未开启Kerberos认证,无需执行本步骤。
在IDEA主页,选择“File>Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
在IDEA主页,选择“File > Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
在IDEA主页,选择“File>Project Structures...”进入“Project Structure”页面。 选择“Modules”,选中工程名称,然后右键选择“Add > Scala”。
选择“集群 > 服务 > HBase > 配置”,单击“全部配置”,进入HBase配置界面。 (可选)如表1所示,为HBase容灾操作过程中的可选配置项,您可以根据描述来进行参数配置,或者使用缺省提供的值。
步骤一:添加Task节点 在MRS集群的集群详情页面,选择“节点管理”页签,单击“新增节点组”,进入“新增节点组”页面。 根据需求配置参数。 表1 新增节点组参数说明 参数名称 描述 节点规格 选择节点组内主机的规格类型。 节点数量 设置新增节点组内的节点数量。
请前往IAM,单击“委托”按钮,进入委托页面,将鼠标放置委托名称上,在弹窗中获取委托唯一标识码。获取方法,请参见获取委托名称和ID。
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户 kinit 组件业务用户 如果当前集群未启用Kerberos认证,则执行以下命令设置Hadoop用户名: export HADOOP_USER_NAME=hbase 进入Spark
图2 maven工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean compile命令进行编译。
操作步骤 进入ZooKeeper实例页面: MRS3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > ZooKeeper > 实例”。
修改映射关系后,若想使之在spark-beeline中生效,需要重启Spark服务,若想使之在Hive beeline中生效,需要退出beeline重新进入,若想使之在Presto服务中生效,需要重启Presto服务。
恢复数据后可能导致元数据与业务数据无法匹配,HDFS进入安全模式且HDFS服务启动失败。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HDFS NameNode元数据。
单击集群名称,进入集群详情页面。 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 在集群详情页的“概览”页签,单击委托右侧的“管理委托”选择创建的委托名称,例如“mrs_ecs_obs”,单击“确定”进行绑定。
集群内节点业务IP获取方式如下: 登录MapReduce服务管理控制台,选择“现有集群”,选中当前的集群并单击集群名,进入集群信息页面。在“节点管理”中查看安装客户端所在的节点IP。 keytab路径。
进入客户端配置文件解压路径“FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles\HDFS\config”,获取表1中相关配置文件。
单击右上角“配置”,进入静态资源池配置向导。 在“系统资源调整基数”分别修改参数“CPU(%)”和“Memory(%)”。 修改“系统资源调整基数”将限制服务能够使用节点的最大物理CPU和内存资源百分比。
请前往IAM,单击“委托”按钮,进入委托页面,将鼠标放置委托名称上,在弹窗中获取委托唯一标识码。获取方法,请参见获取委托名称和ID。
Loader组件 MapReduce组件 Oozie组件 Opentsdb组件 Presto组件 Ranger组件 Spark组件 Storm组件 Tez组件 YARN组件 HetuEngine组件 ZooKeeper组件 OBS 2.0支持 MapReduce服务 大数据是人类进入互联网时代以来面临的一个巨大问题
27001 DBService服务不可用 ALM-27003 DBService主备节点间心跳中断 ALM-27004 DBService主备数据不同步 ALM-27005 数据库连接数使用率超过阈值 ALM-27006 数据目录磁盘空间使用率超过阈值 ALM-27007 数据库进入只读模式
在服务概览页面单击Spark WebUI后的链接地址,可进入History Server页面。 单击待查看的App ID,您可以查看Spark Streaming作业的状态。 图5 查看Spark Streaming作业状态 父主题: 数据分析