检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“服务”中勾选待操作集群的Flink服务。 在“主机”中勾选对应角色所在的主机，单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。 本工具主要有如下两个功能： 扫描表中有多少低于用户设定阈值的小文件，返回该表目录中所有数据文件的平均大小。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的MonitorServer。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“Controller”，单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
shuffle操作时SASL认证的超时时间。单位：秒。 120s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s
shuffle操作时SASL认证的超时时间。单位：秒。 120s spark.shuffle.io.connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s
生成客户端会占用大量的磁盘IO，不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。 配置待安装客户端节点的NTP时间同步，使节点时间与MRS集群时间同步。 登录MRS服务管理控制台，在集群列表单击MRS集群名称，进入MRS集群详情页面。 单击“节点管理”，展开Maste
provider中，一旦某进程中的一个NameNode发生故障，在同一进程中的所有HDFS client实例都会尝试再次连接NameNode，导致应用长时间等待超时。 当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时，会对系统造成负担。为了避免这种负担，MRS集群搭载了NameNode
规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。 本工具主要有如下两个功能： 扫描表中有多少低于用户设定阈值的小文件，返回该表目录中所有数据文件的平均大小。
用户”。 在要修改信息的用户所在行，单击“修改”。 根据实际情况，修改对应参数。 修改用户的用户组，或者修改用户的角色权限，最长可能需要3分钟时间生效。 MRS 3.1.2及之后版本： 用户不能修改自己的密码策略绑定关系（admin用户除外）。 被锁定的用户不能修改密码策略绑定关系。
> 下载”。 在“服务”中勾选“OMS”下的“Controller”模块，单击“确认”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
登录华为云MRS管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面，查看右上角任务。
登录华为云MRS管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面，查看右上角任务。
0条），在缓存有效时间（默认24小时）内，执行这条SQL时会直接从缓存中获取改写后的SQL，而不是重新对SQL进行改写。 可在计算实例中添加自定义参数“rewrite.cache.timeout”和“rewrite.cache.limit”分别设置缓存有效时间和最多能保存的改写SQL的条数。
10-196-115-2 (694/153378) 单个任务运行时间超过6分钟，从而导致连接超时问题，最终使得任务失败。 将参数中的核数设置为1，“--executor-cores 1”，任务正常完成，单个任务处理时间在合理范围之内(15秒左右)。 16/02/29 02:24:46
使用Hive加载HDFS数据并分析图书评分情况 应用场景 MRS离线处理集群，可对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。 离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。
每进行一次实例负载采集间隔的时间。单位：秒。 10 扩容阈值 当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值，实例自动启动扩容操作。 0.9 扩容量 当实例启动扩容时，每次扩容的Worker数量。 1 扩容决策周期 决策实例是否需要扩容的时间周期。单位：秒。 200 扩容超时时间 扩容操作的超时时间。单位:秒。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
