检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致
告警属性 告警ID 告警级别 是否自动清除 16045 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除,会导致在默认数据仓库中创建库、创建表失败,影响业务正常使用。
告警属性 告警ID 告警级别 是否自动清除 12075 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight
由于集群磁盘容量不足,会影响到HDFS的数据写入,HDFS磁盘空间使用率超过阈值,因此导致HDFS服务异常。HDFS服务异常则会导致Spark、Hive和Yarn服务不可用。 根据该集群出现磁盘容量不足产生Spark、Hive和Yarn服务不可用的报警,扩容磁盘后不再告警,可以判断是磁盘容量不足引起HDFS功能故障所导致。
MRS服务是否支持安全删除的能力? 问: MRS服务是否支持安全删除(删除后防止非法恢复)的能力? 答: MRS集群目前仅支持恢复用户备份的数据,即MRS服务的删除都是安全删除。 父主题: 周边生态对接类
四种状态除了取决于Hive本身服务的可用性(会用简单的SQL来检测Hive服务的可用性),还取决于Hive服务所依赖的其他组件的服务状态。 Hive实例分为Hiveserver和Metastore两种,健康状态有Good,Concerning ,Unknown三种状态,这三种状态是通
servers Kafka的Broker实例业务IP和端口。 192.168.12.25:21005 specific_jars “客户端安装目录/Flink/flink/lib/flink-connector-kafka-*.jar”包路径,建议写全路径。 说明: 当作业需要以
--hive-partition-key 创建分区 --hive-partition-value 导入数据库指定分区 --hive-home 指定hive安装目录 --hive-import 表示操作是从关系型数据库导入到hive中 --hive-overwrite 覆盖hive已有数据 --create-hive-table
应用示例 创建MRS集群 扩容集群 缩容集群 新增作业 终止作业 删除集群
告警属性 告警ID 告警级别 是否自动清除 12070 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,
告警属性 告警ID 告警级别 是否自动清除 14027 重要 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Failed Volumes 故障的磁盘列表。 对系统的影响 上
preduce-client-hs/HistoryServerRest.html 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤
进入客户端目录,加载环境变量并认证用户: cd /客户端安装目录 source ./bigdata_env source ./Spark2x/component_env MRS 3.3.0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHisto
--hive-partition-key 创建分区 --hive-partition-value 导入数据库指定分区 --hive-home 指定Hive安装目录 --hive-import 表示操作是从关系型数据库导入到Hive中 --hive-overwrite 覆盖Hive已有数据 --create-hive-table
告警属性 告警ID 告警级别 是否自动清除 16048 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Tez或者Spark库路径不存在,会影响Hive on
登录FusionInsight Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查集群是否安装了Doris组件,且是否创建了UDF函数 咨询用户或者检查Doris是否有使用自定义函数功能。 连接Doris,执行以下命令查询是否有自定义函数:
ode节点所属机架,保证各个机架上的DataNode数量大致相等。重启HDFS服务生效。 服务在重启过程中将不可用。另外,依赖该服务的上层服务也将受到影响。 选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 在“基本信息”区域,单击“NameNode(主)”,进入HDFS
待操作集群的名称 > 服务 > HBase”,单击“HMaster(主)”,打开该HBase实例的WebUI,查看Region Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录,设置环境变量。 cd 客户端安装目录 source
由于主备Master节点时间未同步导致ZooKeeper服务不可用 问题背景与现象 MRS集群ZooKeeper服务无法启动,出现ZooKeeper服务不可用告警。 原因分析 以root用户登录主、备Master节点,执行ntpq -p命令查看两节点时间未同步。 解决办法 以ro
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录,默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下: flume-client-1/flume: total 7672