检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
Submitting tokens for job: job_1456738266914_0006 13405 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Kind: HDFS_DELEGATION_TOKEN, Service
例如，选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息，请参见购买弹性云服务器。
单击“HSFabric”，选择“实例配置”，查看“server.port”的值，默认为“29900”。 192.162.157.32:29900 远端地址信息 远端MRS集群的HetuEngine服务负责对外通信的HSFabric实例的主机IP地址及端口号。
主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode非堆内存使用率过高，会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的非堆内存不足。
表1 多CPU内核设置 配置 描述 参数 默认值 Server/Client 影响 备注 节点容器槽位数 如下配置组合决定了每节点任务(map、reduce)的并发数。
主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode堆内存使用率过高，会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的堆内存不足。 处理步骤 清除无用文件。
主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内存溢出导致Hive服务不可用。
主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ResourceManager进程的垃圾回收时间过长，可能影响该ResourceManager进程正常提供服务。
已获取运行状态的Oozie服务器主机名，如“10-1-130-10”。 已获取Yarn ResourceManager主节点IP，如“10.1.130.11”。 操作步骤 以客户端安装用户登录安装Oozie客户端的节点。 执行以下命令，获取安装环境信息。
若通过ZooKeeper的方式访问Hive，需要修改本地hosts文件，添加1中为节点绑定的公网IP和主机名的映射。
已获取运行状态的Oozie服务器主机名，如“10-1-130-10”。 已获取Yarn ResourceManager主节点IP，如“10.1.130.11”。 操作步骤 以客户端安装用户登录安装Oozie客户端的节点。 执行以下命令，获取安装环境信息。
主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 上报DataNode块数超过阈值告警时，表示该DataNode节点上块数太多，继续写入可能会由于磁盘空间不足导致写入HDFS数据失败。
主机名 产生告警的主机名。 对系统的影响 HBase可用内存不足，可能会造成节点重启。在节点重启过程中，该节点上的读写请求时延会变大或者失败。 可能原因 该节点HBase服务堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。
80% Flume Flume堆内存使用率 24006 Flume Server堆内存使用率超过阈值 堆内存溢出可能导致服务崩溃。 95.0% Flume直接内存使用率 24007 Flume Server直接内存使用率超过阈值 直接内存溢出可能导致服务崩溃。
主机名 产生告警的主机名。 NameService名 产生告警的NameService名称。 对系统的影响 如果主NameNode数据目录的FsImage没有更新，则说明HDFS元数据合并功能异常，需要修复。如不修复，HDFS在运行一段时间后，Editlog会一直增长。
客户端安装路径/Yarn/config/mapred-site.xml”配置文件中“mapreduce.map.java.opts”和“mapreduce.reduce.java.opts”参数，分别加入调试命令“-agentlib:jdwp=transport=dt_socket,server
然后查找“hive.server.session.control.maxconnections”，调大该配置项的数值。
查看server.log发现如下日志抛出java.io.IOException: Too many open files in system。 图3 日志异常 通过lsof命令查看当前节点Kafka进程句柄使用情况，发现占用的句柄数达到了47万。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
