检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ication Queues”中查看root队列是否资源用满。 是,执行3。 否,执行4。 对Yarn服务的NodeManager实例进行扩容。扩容后,查看告警是否消除。 是,处理完毕。 否,执行6。 检查队列最大资源容量和AM最大资源百分比 查看pending任务对应的队列的资源是否用满。
Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。 原因分析 用户提交拓扑失败,可能原因客户端侧问题或者Storm侧问题。 查看Storm状态。 对于MRS 3.x之前的版本集群:登录MRS Manager,在MRS
Manager支持统一管理集群的客户端安装信息,用户下载并安装客户端后,界面可自动记录已安装(注册)客户端的信息,方便查询管理。 同时系统支持手动添加、修改未自动注册的客户端信息(如历史版本已安装的客户端)。 本章节仅适用于MRS 3.x及以后版本。 查看已安装的集群客户端 登录FusionInsight
GeneratedClass$SpecificUnsafeProjection" grows beyond 64 KB 回答 在开启钨丝计划(即tungsten功能)后,Spark对于部分执行计划会使用codegen的方式来生成Java代码,但JDK编译时要求Java代码中的每个函数的长
Hadoop组件交互的接口,致力让用户通过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。 前提条件 已安装Hue组件。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。
Password cannot be null if SASL is enabled异常 问题 运行Spark的应用启用了ExternalShuffle,应用出现了Task任务丢失,原因是由于java.lang.NullPointerException: Password cannot
GeneratedClass$SpecificUnsafeProjection" grows beyond 64 KB 回答 在开启钨丝计划(即tungsten功能)后,Spark对于部分执行计划会使用codegen的方式来生成Java代码,但JDK编译时要求Java代码中的每个函数的长
题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight Manager。 选择“运维 > 日志 > 在线检索”。 图1 在线检索 根据所需查询日志分别填写表1各参数,用户可以根据需要选择所需查阅日志时长,也可以单击自定义“开始时间”和“结束时间”。
使用BulkLoad工具批量导入HBase数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限和HDFS的操作权限:
集群短暂的不可用。 可能原因 相关进程发生crash。 处理步骤 以下解析查看core文件堆栈信息的操作有可能会涉及到用户的敏感数据,开发或运维人员必须在获得用户授权的情况下才能进行操作。 告警所产生的core文件系统默认保留72小时,文件保存超时或者大小超过设定值后会被系统自动
创建MRS集群数据备份任务 Manager支持在界面上创建备份任务,运行备份任务对指定的数据进行备份。 创建数据备份任务(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 备份管理 > 创建”。 图1 创建备份任务 设置“备份对象”为“OMS”或需要备份数据的集群。
检查告警阈值配置或者平滑次数配置是否合理。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 > FE的内存使用率 (FE)”。 单击“平滑次数”后的编辑按钮,基于实际使用情况,修改平滑次数配置项,单击“确定”。
的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服务的情况下足够公平,但如果用户执行的I/O操作较多,相比I/O操作较少的用户,将获得更多的服务。在这种情况下,FIFO有失公平并且会导致延迟增加。 图1 基于FIFO调用队列的NameNode请求处理
当集群版本为MRS 3.1.2-LTS.3、MRS 3.2.0-LTS.1时,可参考数据盘扩容(手动扩容)进行数据盘扩容。 使用磁盘扩容后所选节点下所有数据盘将扩容至目标容量。 约束条件 仅支持扩大容量,不支持缩小容量。 数据盘最大扩容至32T。 本地盘不支持扩容。 系统盘不支持扩容。
Tez或者Spark在HDFS上库路径被删除。 处理步骤 检查Tez和Spark库路径。 以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令,检查“hdfs://hacluster/user/{用户名}/.Trash/Current/ ”目录下是否存在该tezlib或者sparklib目录。
的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服务的情况下足够公平,但如果用户执行的I/O操作较多,相比I/O操作较少的用户,将获得更多的服务。在这种情况下,FIFO有失公平并且会导致延迟增加。 图1 基于FIFO调用队列的NameNode请求处理
打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 若内存使用率超过阈值,对内存进行扩容。 执行命令free -m | grep Mem\: |
fo.cfg 由于配置了密码信息,执行完升级后建议尽快删除client-info.cfg文件。 升级执行完成后确认结果。确保客户端升级无误后执行sh client_batch_upgrade.sh -c,确认升级结果。 如果客户端升级后存在问题,可以执行sh client_batch_upgrade
Serdes.Long())); } // 用户自己申请的机机账号keytab文件名称 private static final String USER_KEYTAB_FILE = "请修改为真实keytab文件名"; // 用户自己申请的机机账号名称 private static
阈值范围(85%),当检测到Hive数据仓库空间使用率超过阈值范围时产生该告警。 当Hive数据仓库空间使用率小于或等于阈值时,告警恢复。用户可通过增加仓库容量或释放部分已使用空间的方式降低仓库空间使用率。 告警属性 告警ID 告警级别 可自动清除 16001 严重 是 告警参数