正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
urity-examples”文件夹中的Scala、Spark Streaming等多个样例工程。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图2 Quick Start
本视频将分别为您介绍查看告警和事件信息及配置告警阈值的操作。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 通过管理控制台查看与清除告警 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 单击“告警管理”,在告警列表查看告警信息。 告警列表每页默认显示最近的十条告警。
ues(保持源RDD的分区方式,这与map不同); 对单个RDD重排,如sort、partitionBy(实现一致性的分区划分,这个对数据本地性优化很重要); 对单个RDD基于key进行重组和reduce,如groupByKey、reduceByKey; 对两个RDD基于key进
多租户相关模型: 多租户相关模型如下图所示。 图1 多租户相关模型 图1中涉及的概念如表1所示。 表1 相关概念说明 概念 说明 用户 用户是拥有用户名,密码等账号信息的自然人,是大数据集群的使用者。 图中有三个不同的用户:用户A、用户B和用户C。 角色 角色是承载一个或多个权限的载体。权限是限
删除“/sys/fs/cgroup/cpuset/hadoop-yarn/”路径下cpuset.cpus文件中设置的所有CPU。 操作步骤 登录Manager系统。选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”。 在左侧导航栏选择“NodeManager > 自定义”,找到yarn-site
在“GC_OPTS”中查看 “-Xmx”配置的大小,并判断节点内存是否够用。 节点内存是否够用可根据实际环境进行判断,例如可使用以下方法: 以root用户登录告警上报的实例的IP地址,执行free -g命令,查看“free”列的“Mem”值即为节点可用内存,如下示例中节点可用内存为4G。
NameNode和DataNode之间的网络断连或者繁忙。 NameNode负荷过高。 处理步骤 查看DataNode是否故障。 在集群节点使用客户端,执行hdfs dfsadmin -report命令,可以查看Dead datanodes项对应的数量显示以及处于故障状态的DataNode信息。
否,执行5。 图1 数据目录磁盘空间使用率 等待2分钟查看告警是否自动恢复。 是,处理完毕。 否,执行5。 检查磁盘是否有误写入的大文件 以omm用户登录DBService主管理节点。 执行以下命令,查看数据目录磁盘空间下超过500MB的文件,检查该目录下是否有误写入的大文件存在。 source
GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置,如需配置,用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,单击“全部配置”,单击“NodeManager
/flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。
HColumnDescriptor("info"), "age", ValueType.String); 相关操作 使用命令创建索引表。 您还可以通过TableIndexer工具在已有用户表中创建索引。 <table_name>用户表必须存在。 hbase org.apache.hadoop.hbase.hindex
HColumnDescriptor("info"), "age", ValueType.String); 相关操作 使用命令创建索引表。 您还可以通过TableIndexer工具在已有用户表中创建索引。 <table_name>用户表必须存在。 hbase org.apache.hadoop.hbase.hindex
GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置,如需配置,用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群 > 服务 > Yarn > 配置”,单击“全部配置”,单击“NodeManager
告警阈值配置或者平滑次数配置不合理。 CPU配置无法满足业务需求,CPU使用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > LdapServer > 其他 >
HColumnDescriptor("info"), "age", ValueType.String); 相关操作 使用命令创建索引表。 您还可以通过TableIndexer工具在已有用户表中创建索引。 <table_name>用户表必须存在。 hbase org.apache.hadoop.hbase.hindex
HColumnDescriptor("info"), "age", ValueType.String); 相关操作 使用命令创建索引表。 您还可以通过TableIndexer工具在已有用户表中创建索引。 <table_name>用户表必须存在。 hbase org.apache.hadoop.hbase.hindex
删除“/sys/fs/cgroup/cpuset/hadoop-yarn/”路径下cpuset.cpus文件中设置的所有CPU。 操作步骤 登录Manager系统。选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”。 在左侧导航栏选择“NodeManager
Hive使用HDFS容量上限过小。 HDFS空间不足。 部分数据节点瘫痪。 处理步骤 扩展系统配置。 分析集群HDFS使用情况,增加HDFS分配给Hive使用的容量上限。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”,选择“全部配置”,然后查找“hive
/flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 堆栈信息日志(MRS 3.2.0及以后版本) threadDump-<DATE>
会影响DataNode为集群中其他NameNode提供服务。 DataNode HDFS集群的工作节点。根据客户端或者是元数据节点的调度存储和检索数据,定期向元数据及客户端发送所存储的文件块的列表。 文件块 HDFS中存储的最小逻辑单元。每个HDFS文件由一个或多个文件块存储。所有的文件块存储在DataNode中。