检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12200 密码即将过期 告警解释 系统每天凌晨1点开始检测当前系统中用户密码是否即将过期,如果用户密码即将过期(默认小于5天)则发送告警。 当系统中用户密码距离过期的时间大于等于5天(默认),告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别
ython应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark.RDD(Resilient Distributed Dataset
Sqoop任务运行成功,但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤 进入Sqoop的安装目录下查找文件。 进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/install/FusionInsight-Sqoop-1
使用并发的标记-清理GC算法减少GC暂停时间。 运行pyspark建议 运行pyspark应用时,不能使用集群自带的python环境,需要用户自行安装python环境,并将python相关依赖包打包上传到HDFS。 父主题: Spark应用开发规范
ALM-20002 Hue服务不可用 告警解释 系统按60秒周期性检测Hue服务状态。当Hue服务不可用时产生该告警。 当Hue服务恢复时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 20002 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名
ALM-38006 Kafka未完全同步的Partition百分比超过阈值 告警解释 系统每60秒周期性检测Kafka服务未完全同步的Partition数占Partition总数的百分比,当连续3次检测到该比率超出阈值(默认50%)时产生该告警。 平滑次数为1,未完全同步的Par
ython应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark.RDD(Resilient Distributed Dataset
提供Spark的各种功能,如连接Spark集群,创建RDD,累积量和广播量等。它的作用相当于一个容器。 SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。 JavaRDD:用于在java应用中定义JavaRDD的类,功能类似于scala中的RDD(Resilient
ython应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark.RDD(Resilient Distributed Dataset
原因分析 用户登录Master节点执行命令之前,未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。 执行source 客户端安装目录/bigdata_env命令,设置环境变量。 执行hdfs命令即可成功使用HDFS客户端。 父主题: 使用HDFS
ALM-50401 JobServer中等待执行的任务数超过阈值 告警解释 系统每30秒周期性检测提交到JobServer的作业数量,当等待执行的作业数量超过800时,触发该告警。 告警属性 告警ID 告警级别 是否可自动清除 50401 紧急(默认阈值为900) 重要(默认阈值为800)
ALM-18025 Yarn被终止的任务数超过阈值 告警解释 告警模块按60秒周期检测Yarn root队列上被终止的应用的数量,当root队列上该监控周期内新增的被终止的应用的数量超过50,且连续发生3次以上时,触发该告警。 告警属性 告警ID 告警级别 是否自动清除 18025
目录),“/var/log/Bigdata/dbservice/scriptlog/gaussdbinstall.log”(gaussDB安装日志),“/var/log/gaussdbuninstall.log”(gaussDB卸载日志)。 HA:“/var/log/Bigdat
ALM-18026 Yarn上运行失败的任务数超过阈值 告警解释 告警模块按60秒周期检测Yarn root队列上失败的应用的数量,当root队列上该监控周期内新增的运行失败的应用的数量超过50时,且连续发生3次以上,触发该告警。 告警属性 告警ID 告警级别 是否自动清除 18026
ALM-20002 Hue服务不可用(2.x及以前版本) 告警解释 系统按60秒周期性检测Hue服务状态。当Hue服务不可用时产生该告警。 当Hue服务恢复时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 20002 致命 是 告警参数 参数名称 参数含义 ServiceName
ALM-29016 Impalad实例亚健康 告警解释 MRS 3.1.5版本:系统每60秒周期性检测Impalad的Hive Server2 HTTP端口(28000)是否响应curl请求,当返回结果不正确(连续2次检测超过20秒)时产生该告警,当curl请求在20秒内正确响应时,告警恢复。
为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 问题 FusionInsight版本中,在客户端采用yarn-client模式运行Spark应用,然后从Yarn的页面打开该应用的Web UI界面,出现下面的错误: 从YARN ResourceManager的日志看到:
1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤
录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时,支持Failover或负载均衡工作模式。 父主题: Hue
周边生态对接类 MRS是否支持对DLI服务的业务表进行读写操作? OBS是否支持ListObjectsV2协议? MRS集群内的节点中可以部署爬虫服务吗? MRS服务是否支持安全删除的能力? 如何使用PySpark连接MRS Spark? HBase同步数据到CSS为什么没有映射字段?