检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 查看HMaster日志信息(“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”),出现如下异常,The DiskSpace quota of /hbase is exceeded。 解决办法 通过后台使用df -h命令查看数据盘目录
HDFS显示磁盘空间不足,其实还有10%磁盘空间 问题背景与现象 出现“HDFS磁盘空间使用率超过阈值”告警。 查看HDFS页面,查看磁盘空间使用率非常高。 原因分析 HDFS中配置了dfs.datanode.du.reserved.percentage参数:每个磁盘的保留空间所
Permission denied 执行ll /java安装路径/JDK/jdk/bin/java命令查看该文件执行权限信息正常。 原因分析 执行mount | column -t查看挂接的分区状态,发现java执行文件所在的挂载点的分区状态是“noexec”。当前环境中将安装MRS
MRS集群弹性伸缩策略创建完成后,用户可以在MRS管控台查看、修改、删除、开启和关闭弹性伸缩策略。 查看已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略右边单击“查看”按钮。 图1 查看弹性伸缩策略 修改已有弹性伸缩策略
IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志
IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即logs目录下的日志文件:clickhouse-example
IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志
问题背景与现象 在退服DataNode过程中,一直提示退服失败。 原因分析 查看退服失败报错日志,日志中显示总计1564个块,有一个块一直没法被备份。 登录集群Master节点,进入HDFS客户端,执行hdfs fsck /命令查看损坏的块,并记录文件路径。 例如:/tmp/hive-scra
IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即logs目录下的日志文件:clickhouse-example
算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame), 并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark
xml”,配置方式参考使用Hue提交Oozie Hive2作业。 单击Oozie编辑器右上角的。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
到HBase? 问: MRS是否支持通过Hive的HBase外表将数据写入到HBase? 答: 不支持。 Hive on HBase只支持查询,不支持更改数据。 父主题: 应用开发类
单击“查询历史记录”,可查看SparkSql运行情况,支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 查看执行结果 在“SparkSql”的执行区,默认显示“查询历史记录”。 单击结果查看已执行语句的执行结果。 管理查询语句 单击“保存的查询”。
端口未对外开放。 浮动IP配置错误。 一次性查询大量的数据,导致查询耗时长,占用了Hue中Hive的链接,导致Hue访问出现异常。 排查思路 在浏览器所在的本地机器,通过命令行执行telnet指令,查看端口是否开放。 在Hue所在节点执行ifconfig,查看配置的浮动IP是否生效。 恢复该故障大概需要10分钟。
支持Topic的个数,受限于进程整体打开的文件句柄数(现场环境一般主要是数据文件和索引文件占用比较多)。 可通过ulimit -n命令查看进程最多打开的文件句柄数; 执行lsof -p <Kafka PID>命令,查看当前单节点上Kafka进程打开的文件句柄(会继续增加); 权衡当前需要创建的Topic创建完成后,
务运行成功。 原因分析 出错的集群有两个HiveServer实例,首先查看其中一个HiveServer日志发现里面的报错与客户端中的错误一样均是Error:Invalid OperationHandler,查看另一个HiveServer发现在出错的时间段此实例有如下类似START
Streaming任务,确认有数据输入后,发现没有任何处理的结果。打开Web界面查看Spark Job执行情况,发现如下图所示:有两个Job一直在等待运行,但一直无法成功运行。 图1 Active Jobs 继续查看已经完成的Job,发现也只有两个,说明Spark Streaming都没有触发数据计算的任务(Spark
支持Topic的个数,受限于进程整体打开的文件句柄数(现场环境一般主要是数据文件和索引文件占用比较多)。 可通过ulimit -n命令查看进程最多打开的文件句柄数; 执行lsof -p <Kafka PID>命令,查看当前单节点上Kafka进程打开的文件句柄(会继续增加); 权衡当前需要创建的Topic创建完成后,
计费项 购买MRS集群的费用包含两个部分: MRS服务管理费用 您可以在“费用中心 > 账单管理 > 费用账单”里筛选如下内容查看费用详情。 图1 查看MRS服务管理费用 如果集群版本类型为“LTS版”:按“MRS-LTS服务费用”进行筛选。 如果集群版本类型为“普通版”: 20
者“运行异常”的链接查看,或者在作业运行日志中查看。 处理步骤 使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警”,单击“告警ID”为“45616”所在行的,在定位信息中查看发生该告警的任务名称。