检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
节点同时运行的进程过多，需要扩展“pid_max”值。 系统环境异常。 处理步骤 扩展pid_max值。 打开MRS集群详情页面，在实时告警列表中，单击此告警。在“告警详情”区域，获取告警所在主机IP地址。 登录告警节点。 执行命令cat /proc/sys/kernel/pid_ma
properties”文件中配置，以配置SpoolDir Source+File Channel+Kafka Sink为例。 在安装Flume客户端的节点执行以下命令，根据实际业务需求，可参考Flume业务配置指南在Flume客户端配置文件“properties.properties”中配置并保存作业。
类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。 通过HQL完成海量结构化数据分析。
run(DataXceiverServer.java:137) at java.lang.Thread.run(Thread.java:745) 如果某个DataNode日志中打印“Too many open files”，说明该节点文件句柄不足，导致打开文件句柄失败，然后就会重试往其他DataNode节点写数据，最终表现为写文件很慢或者写文件失败。
2000毫秒，即同步限定时间为300*2000ms=600s。 可能存在以下场景，在ZooKeeper中创建的数据过大，需要大量时间与leader同步，并保存到硬盘。在这个过程中，如果ZooKeeper需要运行很长时间，则需确保没有其他监控应用程序kill ZooKeeper而判断其服务停止。
Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘，则在每个磁盘配置一个Spark的localDir，这将有效分散Shuffle文件的存放，提高磁盘I/O的效率。如果只有一个磁盘，配置了多个目录，性能提升效果不明显。
动成功的时间点为准，终点以集群删除时间为准。 MRS集群从创建到启动需要一定时长，计费的起点是创建成功（即集群的状态由初始的“启动中”更新为“运行中”）的时间点，而非创建时间。您可以在现有集群列表的所在集群“创建时间”列查看集群创建成功的时间点。 例如，您在8:45:30购买了一
户可以在MRS控制台页面打开Manager管理页面。 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”，在集群列表中单击指定的集群名称，进入集群信息页面。 单击“前往 Manager”，打开“访问MRS Manager页面”。 若用户创建集群时已经绑定弹性公网IP，如图1所示：
可能原因 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 增大文件句柄数。 登录MRS集群详情页面，选择“告警管理”。 在实时告警列表中，单击此告警。在“告警详情”区域，获取告警所在主机IP地址。 使用PuTTY工具，以root用户登录告警所在主机。 执行命令ulimit -n，查看当前系统最大句柄设置数。
密码复杂度要求： 密码字符长度为16～32位。 至少需要包含大写字母、小写字母、数字、特殊字符`~!@#$%^&*()-_=+|[{}];,<.>/?中的3种类型字符。 不可与当前密码相同。 显示如下结果，说明修改成功： Modify kerberos server password successfully
[1, 3, 5, 7, 9, 2, 4] (1 row) array_except(x, y) → array 描述：返回去重后的在x中但不在y中的元素数组。 select array_except(array [1,3,5,7,9],array [1,2,3,4,5]); _col0
选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务，查找并记录作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application
选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务，查找并记录作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application
2000毫秒，即同步限定时间为300*2000ms=600s。 可能存在以下场景，在ZooKeeper中创建的数据过大，需要大量时间与leader同步，并保存到硬盘。在这个过程中，如果ZooKeeper需要运行很长时间，则需确保没有其他监控应用程序kill ZooKeeper而判断其服务停止。
Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘，则在每个磁盘配置一个Spark的localDir，这将有效分散Shuffle文件的存放，提高磁盘I/O的效率。如果只有一个磁盘，配置了多个目录，性能提升效果不明显。
Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘，则在每个磁盘配置一个Spark的localDir，这将有效分散Shuffle文件的存放，提高磁盘I/O的效率。如果只有一个磁盘，配置了多个目录，性能提升效果不明显。
文件系统无法正常写入。 可能原因 磁盘小文件过多。 系统环境异常。 处理步骤 磁盘小文件过多。 登录MRS集群详情页面，选择“告警管理”。 在实时告警列表中，单击此告警。在“告警详情”区域，获取告警所在主机地址和磁盘分区。 使用PuTTY工具，以root用户登录告警所在主机。 执行命令df -i
lume Agent的用户。 是，执行3。 否，使用chown命令修改文件属主为运行Flume Agent的用户，执行2.d 查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行3。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。
解决操作系统日志转储配置问题。 补丁兼容关系 包含1.7.1.5及之前发布的所有补丁解决的问题。 注意事项 由于1.7.1 集群的健康检查中存在一项误报，而补丁安装前会进行集群的健康检查。从而导致客户第一次提交安装补丁后，提示集群异常，补丁安装终止。在确认报错是误报后，客户可以再
解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码，导致任务卡住问题 Hive中增加自研的接口 解决map.xml无法读取的问题 Hive har特性优化 解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
