检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
true,表示使用keytab文件登录 false,表示使用密码登录。 true client.principal 使用keytab认证方式时,访问Loader服务的用户规则。 普通模式或者密码登录方式,则不需要设置该参数。 loader/hadoop client.keytab.file
导致某个场景下任务持续执行失败。 可能原因 可能存在某个BE的异常点导致任务触发场景下失败任务增长。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > 异常 > 是否存在某种类型的任务的失败的次数有增长趋势
http://wiki.apache.org/hadoop/ConnectionRefused 回答 在Spark中有个定期线程,通过连接RM监测AM的状态。由于连接RM超时,就会报上面的错误,且一直重试。RM中对重试次数有限制,默认是30次,每次间隔默认为30秒左右,每次重试时都会报上面
取消正在运行的planfile,同样需要使用绝对路径。 在客户端执行此命令时,用户需要具备supergroup权限。可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有supergroup权限的用户,再在客户端中执行此命令。 表3只说明了命令接口的含义及使用方法,实际每个
的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 在弹性公网IP页面为弹性云服务器申请和绑定弹性公网IP,具体请参考为弹性云服务器申请和绑定弹性公网IP。 配置安全组出入规则,具体请参考配置安全组规则。 下载客户端程序。
可能原因 节点同时运行的进程过多,需要扩展pid_max值。 处理步骤 扩展pid_max值。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机IP地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。
ger和组件的WebUI。 可能原因 ACS进程异常。 处理步骤 检查ACS进程是否异常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。
bigdata.thriftServer.useHdfsCollect参数设置为true时,将结果数据保存到HDFS中,但JobHistory原生页面上Job的描述信息无法正常关联到对应的SQL语句,同时spark-beeline命令行中回显的Execution ID为null,为解决JDBCServer
=512M GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置,如需配置,用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群 > 待操作集群的名称 > 服务 > Yarn >
meNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下: 在FusionInsight Manager页面中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”,并在搜索框中输入参数名称。 表1 配置参数 参数 描述 默认值 dfs
检查SlapdServer进程连接数是否过多。 登录FusionInsight Manager,选择“集群 > 服务 > LdapServer”进入LdapServer概览页面。 观察SlapdServer进程连接数图表,并根据实际业务场景评估,适当降低进程连接数。 图1 SlapdServer进程连接数图表 等待约2分钟查看告警是否自动恢复。
告警”,查看“告警ID”为“50211”的“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 服务 > Doris > 实例”,单击告警上报的FE,进入实例“图表”页面。 左侧图表分类选择“JVM”,查看FE进程的“老年代GC耗时累计值”是否大于3秒。 是,执行3。 否,执行5。 选择“集群 > 服务 >
单击服务列表中的某个服务,切换到“配置”页签。 选择“全部配置”,左边菜单栏中展开角色实例的菜单,单击所需修改的角色所对应的“日志”。 搜索各项参数,获取参数说明,在参数配置页面勾选所需的日志级别或修改日志文件大小。日志文件大小需填写单位“MB”。 系统会根据配置的日志大小自动清理日志,如果需要保存更多的信息请设置
高才进行熔断。 配置Hive SQL防御规则 登录FusionInsight Manager,选择“集群 > SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Hive的SQL防御规则。 Hive SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。
根据实际服务的使用情况在“系统设置 > 阈值配置”中更改告警阈值。 等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行2。 判断是否为系统盘。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机名称和磁盘分区信息。 登录告警节点。 执行df -h命令,查看系统磁盘分区的使用信息。并通过2
主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态和Z状态。 处理步骤 查看D状态和Z状态进程。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录产生告警主机,用户密码为安装前用户自定义,请咨询系统管理员,执行su
整个数据处理的效率和质量。 可能原因 节点宕机。 网络故障。 处理步骤 确认网络健康状态。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看附加信息中的描述信息。明确具体发生告警源IP地址及目标IP,并记录两个IP地址。 登录告警上报节点
meNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下: 在FusionInsight Manager页面中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”,并在搜索框中输入参数名称。 表1 配置参数 参数 描述 默认值 dfs
通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Doris > 配置 > 全部配置”。 选择“FE(角色) > 自定义”,在参数文件“fe.conf”中添加自
安装好客户端,详情请参见集群内节点使用MRS客户端章节,登录安装客户端的节点。 集群外部节点:用户可以将客户端安装在集群外部节点上,详情请参见集群外节点使用MRS客户端章节,登录安装客户端的节点。 使用Spark客户端 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。