检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业日志由MRApplicationMaster产生,详细记录了作业启动时间、运行时间,每个任务启动时间、运行时间、Counter值等信息。此日志内容被HistoryServer解析以后用于查看作业执行的详细信息。 任务日志记录了每个运行在Container中的任务输出的日志信息。默认情况下,任
定制、导出监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。 单击“导出”,导出当前查看的指标数据。 父主题: 管理MRS集群节点
无法获取当前配置状态。 单击组件名称,进入组件详情页面,可查看该组件的详细运行信息。 图2 查看集群组件详情 单击“实例”,可查看服务内各角色实例的详细运行信息。 角色实例列表包含了该服务中所有的角色在集群中的实例情况,列表可显示每个实例的运行状态、配置状态、实例对应的主机以及相关的IP地址信息等。
ons.html。 ELB负载均衡 基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。当其中一台Doris后端节点发生故障时,ELB通过故障转移方式正常对外提供服务,详细操作请参见配置通过ELB访问Doris集群。
配置DBService备份任务超时时间 操作场景 针对DBService备份任务执行的默认超时时间为2小时,在DBService中数据量过大时,任务执行时间会超过2小时导致备份任务执行失败。 该操作指导用户调整DBService备份任务的超时时间。 前提条件 DBService服务运行正常。 操作步骤
expression”表示任务自动停止的时间,默认值为空,表示不自动停止正在运行的Balancer任务。以“0 5 * * 6”为例,则表示在每周六的5点停止正在运行的Balancer任务。仅在启用自动执行Balance功能时有效。 修改此参数时,表达式介绍如表1所示。支持“*”表示连续的时间段。 修改自动
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情,以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
块丢失 查看原生页面Datanode Information发现显示的DataNode节点数和实际的相差10个节点。 图2 查看DataNode节点数 查看DateNode运行日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-主机名.log”,发现如下错误信息。
产生Yarn队列资源不足告警时正在运行的资源队列如何查看? 问: 产生“ALM-18022 Yarn队列资源不足”告警时,正在运行的资源队列可以在哪查看? 答: Yarn资源队列可以登录Manager界面,选择“集群 > 服务 > Yarn > ResourceManager(主)”,登录Yarn的原生页面进行查看。
区域右上角的下拉菜单,选择“定制 > GC”,勾选“MetaStore的GC时间” ,单击“确定”,查看GC时间是否大于12秒。 是,执行4。 否,执行7。 图2 定制MetaStore的GC时间 查看JVM的当前配置 在FusionInsight Manager首页,选择“集群
Coordinator进程垃圾收集时间超出阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每30s周期性采集Presto Coordinator进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Coordinator进程GC时间小于或等于告警阈值时,告警清除。
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
Worker进程垃圾收集时间超出阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警;当Worker进程GC时间小于或等于告警阈值时,告警清除。
l”的两条记录,第一条记录为开始编译时间,第二条记录为结束编译时间。 根据SQL变慢前后的审计记录可判断是否是HiveServer编译变慢。 图1 HiveServer正在运行的SQL 访问HDFS变慢 方法一: 查看HiveServer运行日志“/var/log/Bigdata
查看Spark任务日志失败 问题现象 任务运行中查看日志失败。 任务运行完成,但是查看不到日志。 原因分析 问题1:可能原因是MapReduce服务异常。 问题2:可能原因如下: Spark的JobHistory服务异常。 日志太大,NodeManager在做日志汇聚的时候出现超时。
hdfs://hacluster/user/test.jar 确认作业配置信息,单击“确定”,完成作业的新增。 作业提交成功中,可在作业列表中查看作业运行状态及执行结果,等待作业状态变为“已完成”,可查看相关程序分析结果。 通过集群客户端提交作业 安装MRS集群客户端,具体操作可参考安装MRS集群客户端。 MRS
停止所有角色”停止告警节点的所有服务。 如果告警节点时间比主OMS节点NTP服务时间慢,校正告警节点的系统时间。校正告警节点的系统时间后,选择“更多 > 启动所有角色”启动告警节点的服务。 如果告警节点时间比主OMS节点NTP服务时间快,等待相应时间差,校正告警节点的系统时间。校正完成后,选择“更多 >
-u数据库登录用户 -p数据库登录用户密码 -PELB前端端口 -hELB公网IP地址 ELB前端端口即为8.a配置的前端端口号。 ELB公网IP地址为5中查看到的地址。 执行以下命令可查看FE节点连接状态: show frontends; 可正常查询即表示通过ELB访问Doris成功。 父主题:
ALM-45335 Presto Worker1进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker1进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Worker1进程GC时间小于或等于告警阈值时,告警清除。 告警属性 告警ID
ALM-45336 Presto Worker2进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker2进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Worker2进程GC时间小于或等于告警阈值时,告警清除。 告警属性 告警ID