检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ResourceManager进行主备切换后,任务中断后运行时间过长 问题 在MapReduce任务运行过程中,ResourceManager发生主备切换,切换完成后,MapReduce任务继续执行,此时任务的运行时间过长。 回答 因为ResourceManager HA已启用,但是Work-preserving
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题: Hive企业级能力增强
ResourceManager进行主备切换后,任务中断后运行时间过长 问题 在MapReduce任务运行过程中,ResourceManager发生主备切换,切换完成后,MapReduce任务继续执行,此时任务的运行时间过长。 回答 因为ResourceManager HA已启用,但是Work-preserving
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题: Hive企业级能力增强
JDBCServer长时间运行导致磁盘空间不足 用户问题 连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上,在运行一段时间以后会出现Core节点的数据盘被占满的情况。 问题现象 客户连接Spark的JDBCServer服务提交spark-sql任
以root用户登录记录的管理IP地址,并执行df -lh命令,查看磁盘占用率为100%的挂载目录,例如“${BIGDATA_DATA_HOME}/kafka/data1”。 进入该目录,执行du -sh *命令,查看该目录下各文件夹的大小。查看是否存在除“kafka-logs”目录外的其他文件,并判断是否可以删除或者迁移。
根据实际安装目录修改。 购买ELB并配置对接ClickHouse 购买ELB并获取其私有IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录“弹性负载均衡器”控制台,在“负载均衡器”界面单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面,“实例规格类型”选择“共享型”,“
配置HiveMetaStore客户端连接负载均衡 操作场景 Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。
定制、导出监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。 单击“导出”,导出当前查看的指标数据。 父主题: 管理MRS集群节点
查看MRS集群运行状态 MRS支持创建多个集群,集群购买数量受弹性云服务器数量限制。用户可以通过管理控制台查看所有MRS集群运行状态。 查看MRS集群运行状态 登录MRS管理控制台。 选择“现有集群”,进入集群列表页面。 集群列表默认按创建时间顺序排列,集群列表参数说明如表1所示。
查看Flink应用运行结果 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
CDL任务运行一段时间后发生“104”或“143”报错 现象描述 CDL任务运行一段时间后,Yarn任务失败,并返回状态码“104”或“143”。下图为返回状态码“143”: 可能原因 抓取到Hudi中的一批数据量过大,导致任务内存不足。 处理步骤 登录FusionInsight
ClickHouse的mutation任务长时间未执行完成 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统每隔5分钟检测一次mutation任务,当检测到有正在执行的mutation任务且运行时间大于等于阈值slow_mutation_cost_time时,系统产生告警;当没有检测到正在运行的muta
新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是,HDFS Balancer工具用于DataNode节点间的数据均衡,而HDFS DiskBalancer用于单个DataNode节点上各磁盘之间的数据均衡。 长时间运行的集群会因
Hue界面中查看到未知Job在运行 用户问题 用户查到Hue上有未知的Job在运行。 问题现象 MRS集群创建好后, Hue上查到有Job在运行 ,并且该Job并不是用户主动提交的。 原因分析 此Job为Spark服务启动之后,系统自身连接JDBC的一个默认任务,是常驻的。 处理步骤
单击“保存”保存配置。单击“实例”,勾选所有Hive实例,选择“更多 > 重启实例”,输入当前用户密码,单击“确定”重启所有Hive实例。 父主题: Hive负载均衡
mapreduce.per.task.max.splits”,“值”为具体设定值,一般尽量设置大,修改后重启所有Hive实例。 父主题: Hive负载均衡
ZooKeeper > 实例”查看。 “hiveserver2_zk”为3中参数“hive.server2.zookeeper.namespace”设置的具体设定值。 系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。 “hive/hadoop
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。“hive/hadoop.<系统域名>”为用户名,用户名所包含的系统域名所有字母为小写。 父主题: Hive负载均衡
的MetaStore实例。 配置隔离时,考虑可用性,建议组件最少配置两个MetaStore实例。 前提条件 集群已安装Hive服务,且服务运行正常。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”,搜索配