检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HBase应用输出运行日志 功能介绍 将HBase客户端的日志单独输出到指定日志文件,与业务日志分开,方便分析定位HBase的问题。 如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RF
在任务运行过程中,重启YARN,本地日志不被删除。 在任务完成,日志归集失败后定时清除日志前,重启YARN,本地日志不被删除。 回答 NodeManager有重启恢复机制,详情请参见: https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop
因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。 遇到如上情况,需要登录Hive客户端,
配置Spark事件队列大小 配置场景 Spark中见到的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等,记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中,Dr
配置HBase应用输出运行日志 功能介绍 将hbase client的日志单独输出到指定日志文件,与业务日志分开,方便分析定位hbase的问题。 如果进程中已经有log4j的配置,需要将hbase-example\src\main\resources\log4j.properties中RFA与RFAS
集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群
配置HBase应用输出日志 功能介绍 将HBase客户端的日志单独输出到指定日志文件,与业务日志分开,方便分析定位HBase的问题。 如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RF
out或者stderr访问到executor日志页面。 不修改配置项查看日志处理步骤 查看运行完成任务日志 在Spark2x原生页面最上方有一个按钮,可以查看汇聚后任务日志:AggregatedLogs 图2 AggregatedLogs 查看运行中的任务日志 在Spark2x原生页面,通过“Jobs
r2节点上为主备部署,同一时刻只有一个节点上运行该进程,首先确认节点上是否有该进程,如果有该进程则进行重启操作。 分别登录Master1节点和Master2节点,执行以下命令确认当前节点是否存在该进程。当有输出时则进程存在。 ps -ef | grep "/opt/executor"
GaussDB A提供了core文件管理特性,对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时,会产生该告警。 该章节适用于MRS 3.1.5及之后版本。 MRS 3.3.1及之后版本,告警名称从“发生core
ClickHouse的mutation任务长时间未执行完成 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统每隔5分钟检测一次mutation任务,当检测到有正在执行的mutation任务且运行时间大于等于阈值slow_mutation_cost_time时,系统产生告警;当没有检测到正在运行的m
当Manager报“ALM-12066 节点间互信失效”告警,或者发现节点间无ssh互信时,可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息,执行ps -ef|grep ssh-agent找到ssh-agent进程,并kill该进程等待该进程自动重启。
配置Spark事件队列大小 配置场景 Spark中的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等,记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中,Driv
在任务运行过程中,重启YARN,本地日志不被删除。 在任务完成,日志归集失败后定时清除日志前,重启YARN,本地日志不被删除。 回答 NodeManager有重启恢复机制,详情请参见: MRS 3.2.0之前版本:https://hadoop.apache.org/docs/r3.1.1/hado
示错误问题。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。 解决方法 推荐使用Google Chrome浏览器71及其以上版本。 父主题: Spark2x常见问题
配置HBase应用输出日志 功能介绍 将HBase客户端的日志单独输出到指定日志文件,与业务日志分开,方便分析定位HBase的问题。 如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RF
集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群
示错误问题。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。 解决方法 推荐使用Google Chrome浏览器71及其以上版本。 父主题: Spark故障排除
大于或等于要写入数据的Hive数据源分区表所有分区列distinct的count值的乘积。 distinct的count值举例: 结果表“t2”有“col1”,“col2”和“col3”三列,查询结果数据如下所示: col1 col2 col3 A 100 5 C 103 4 B 101
因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。 遇到如上情况,需要登录Hive客户端,