检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JVM_ARGS="$JVM_ARGS -Dfastjson.parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Controller 服务。 sh /opt/Bigdata/om-server/om/sbin/restart-controller.sh 在主OMS节点查看进程。
Hive服务状态为故障如何处理 可能原因 DBservice服务不可用会导致Hive服务状态为Bad。 HDFS服务不可用会导致Hive服务状态为Bad。 ZooKeeper服务不可用会导致Hive服务状态为Bad。 LDAP/KrbServer服务不可用会导致Hive服务状态为Bad。
NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其namespace内协调HDF
ALM-50402 JobGateway服务不可用 告警解释 系统按60秒周期性检测组件JobGateway的服务状态。当检测到组件JobGateway服务异常时产生该告警。 当检测到组件JobGateway服务恢复时告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 50402
ALM-13000 ZooKeeper服务不可用(2.x及以前版本) 告警解释 系统每30秒周期性检测ZooKeeper服务状态,当检测到ZooKeeper服务不可用时产生该告警。 ZooKeeper服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除 13000 致命
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
1:21005,192.168.0.2:21005 Redis部署方式 Redis部署方式,当前仅支持“Cluster”。 Redis类型数据连接需配置该参数。 Cluster Redis服务器列表 Redis实例的连接信息,格式为“IP地址:端口”,多个实例之间通过逗号分隔。 Redis类型数据连接需配置该参数。
登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“ECS BMS”,授权ECS或BMS调用OBS服务,如图2所示。 “持续时间”选择“永久”并单击“下一步”。
ID”,若为-1表示未匹配到策略。 action:表示执行的操作权限,对应策略中的“Permissions”中勾选的操作权限。 access:表示执行的操作,各个组件支持的access各不相同。 Admin Ranger上操作审计信息,例如安全访问策略的创建/更新/删除、组件权限策略的创建/删除、role的创建/更新/删除等。
r支持配置多个FTP服务器操作数据,单击“添加”可增加多行FTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 FTP服务器的IP FTP服务器的IP地址。 ftpName FTP服务器端口 FTP服务器的端口号。 22 FTP用户名 访问FTP服务器的用户名。 root
请准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。 请确保服务器的NTP服务状态正常,否则将导致本章节操作失败。 修改MRS集群NTP服务器对系统的影响 更换NTP服务器是高危操作,更换后集群时间可能将会变化。 更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。
different version %s than that in driver %s."。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库,具体可参考配置华为开源镜像仓。 编包并运行程序 在IntelliJ IDEA中,打开Maven工具窗口。 在IDEA主页面,选择“View->Tool
MRS对接LakeFormation云服务 LakeFormation服务概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 通过Ranger为MRS集群内用户绑定LakeFormation角色 父主题: 周边云服务对接
登录Manager集群页面时报错“You have no right to access the page” 问题现象 访问集群管理页面报错: You have no right to access the page. 原因分析 当前登录的用户没有访问Manager的权限。 “/
多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。
DBService服务异常。 Yarn服务异常。 Mapreduce服务异常。 环境故障:网络异常,Loader服务无法与其依赖的内部服务通信,无法提供服务。 软件故障:Loader服务无法正常运行。 处理步骤 检查ZooKeeper服务状态。 登录MRS集群详情页面,选择“组件管理”。
自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。” 图1 添加访问MRS Manager的安全组规则
到破坏,导致Oozie服务不可用。 HDFS服务异常或者Oozie存储在HDFS中的数据遭到破坏时,导致Oozie服务不可用。 Yarn服务异常,导致Oozie服务不可用。 Nodeagent进程故障,导致Oozie服务不可用。 处理步骤 查询Oozie服务健康状态码。 在FusionInsight
活等问题。 针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为
NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其namespace内协调HDF