检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
return code 2 from ... 这个报错return code2说明是在执行mapreduce任务期间报错导致任务失败。 原因分析 进入Yarn原生页面查看MapReduce任务的日志看到报错是无法识别到压缩方式导致错误,看文件后缀是gzip压缩,堆栈却报出是zlib方式。
count(column_name) from table_name”。 JDBC超时限制 Hive提供的JDBC实现有超时限制,默认是5分钟,用户可以通过java.sql.DriverManager.setLoginTimeout(int seconds)设置,seconds的单位为秒。 UDF管理
2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls
'ConcurrentMarkSweep' had collection(s): count=1 time=63924ms | JvmPauseMonitor.java:189 分析NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namendoe-XXX.l
重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。
重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。
/etc/hadoop/conf/secure</value></property> NA 可以将多个版本的MapReduce tar包上传至HDFS。不同的“mapred-site.xml”文件可以指向不同的位置。用户在此之后可以针对特定的“mapred-site.xml”文
重启受影响的服务或实例观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机D状态和Z状态进程数过高时,无法创建新的业务进程,可能会导致并发任务处理变慢、业务延迟。
更新Yarn服务队列的配置且不重启服务时,选择“更多 > 刷新队列”更新队列使配置生效。 配置Flume参数“flume.config.file”时,支持“上传文件”和“下载文件”功能。上传配置文件后旧文件将被覆盖,再下载文件只能获取新文件。如果未保存配置并重启服务,那么新文件设置未生效,请及时保存配置。 修改服
次检测到cep资源异常时,产生该告警。 当HA检测到cep资源正常后,告警恢复。 cep资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环境上启动新的cep资源,告警恢复。该告警用于提示用户,Manager主备倒换的原因。 告警属性 告警ID 告警级别
次检测到fms资源异常时,产生该告警。 当HA检测到fms资源正常后,告警恢复。 fms资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环境上启动新的fms资源,告警恢复。该告警用于提示用户,Manager主备倒换的原因。 告警属性 告警ID 告警级别
基于分区的任务黑名单异常如何处理 问题 Map&Reduce任务失败,并且故障节点数与集群总节点数的比值低于“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-threshold”配置的黑名单阈值,为什么Ma
MySQL链路任务启动时如何从指定位置抓取数据 现象描述 MySQL链路任务启动时,可以从指定位置抓取数据,本章节主要介绍如何获取指定位置参数。 图1 启动任务 处理步骤 使用工具或者命令行连接MySQL数据库(本示例使用Navicat工具连接)。 执行以下命令。 SHOW MASTER
dbservice_serviceCheck.log 服务检查脚本运行日志 dbservice_processCheck.log 进程检查脚本运行日志 backup.log 备份恢复操作运行日志(需执行DBService备份恢复操作) checkHaStatus.log HA检查日志
ALM-14010 NameService服务异常 告警解释 系统每180秒周期性检测NameService服务状态,当检测到NameService服务不可用时产生该告警。 NameService服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 14010 重要
对于不同类型的应用,希望以不同方式处理AM重启的事件。MapReduce类应用的目标是不丢失任务,但允许丢失当前运行的Container。但是对于长周期的YARN服务而言,用户可能并不希望由于AM的故障而导致整个服务停止运行。 YARN支持在新的ApplicationAttempt启动时,保留
正在重启的MetaStore实例无法对外提供服务,该实例上正在执行的SQL任务可能失败。 等待MetaStore实例重启完成后,查看该告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Hive”。
Start Action 功能描述 流程任务的执行入口,每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad"/>
End Action 功能描述 流程任务执行的终点,每个流程任务有且仅有一个该节点。 参数解释 End Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name end活动的名称 样例代码 <end name="end"/> 父主题: Oozie样例代码说明