检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“1”。 此策略只影响“人机”用户。 密码失效提前提醒天数 5 表示提醒密码失效到密码真正失效的天数,提前一段时间提醒密码即将失效。设置后,若集群时间和该用户密码失效时间的差小于该值,则说明用户进入密码失效提醒期。用户登录Manager时会提示用户密码即将过期,是否需要修改密码。
state.backend.cold 指定冷数据状态后端存储,当前仅支持“hbase”。 hbase table.exec.state.ttl 数据状态变化的超时时间。 table.exec.state.cold.enabled为true时:表示热数据的超期时间,超过该值热数据将成为冷数据。
> 日志 > 下载”。 在“服务”中勾选“Controller”,单击“确定”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
clean.residual.tmp.dir.init.delay 文件清理的初始延迟时间,单位min 5 spark.clean.residual.tmp.dir.period.delay 文件清理的间隔时间,单位min 10 父主题: Spark Core企业级能力增强
创建MRS集群用户 默认情况下,系统只有一个用户“admin”具有Manager最高操作权限。管理员应根据实际业务场景需要,通过Manager创建新用户并指定其操作权限以满足业务使用。 MRS 3.x及之后版本,FusionInsight Manager最大支持50000个用户(包括系统内置用户)。
规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件,会消耗NameNode大量内存,还会大幅降低读写性能,延长作业运行时间。因此,小文件问题是制约Hadoop集群规模扩展的关键问题。 本工具主要有如下两个功能: 扫描表中有多少低于用户设定阈值的小文件,返回该表目录中所有数据文件的平均大小。
provider中,一旦某进程中的一个NameNode发生故障,在同一进程中的所有HDFS client实例都会尝试再次连接NameNode,导致应用长时间等待超时。 当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时,会对系统造成负担。为了避免这种负担,MRS集群搭载了NameNode
登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面,查看右上角任务。
登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面,查看右上角任务。
用户”。 在要修改信息的用户所在行,单击“修改”。 根据实际情况,修改对应参数。 修改用户的用户组,或者修改用户的角色权限,最长可能需要3分钟时间生效。 MRS 3.1.2及之后版本: 用户不能修改自己的密码策略绑定关系(admin用户除外)。 被锁定的用户不能修改密码策略绑定关系。
> 下载”。 在“服务”中勾选“OMS”下的“Controller”模块,单击“确认”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
10-196-115-2 (694/153378) 单个任务运行时间超过6分钟,从而导致连接超时问题,最终使得任务失败。 将参数中的核数设置为1,“--executor-cores 1”,任务正常完成,单个任务处理时间在合理范围之内(15秒左右)。 16/02/29 02:24:46
0条),在缓存有效时间(默认24小时)内,执行这条SQL时会直接从缓存中获取改写后的SQL,而不是重新对SQL进行改写。 可在计算实例中添加自定义参数“rewrite.cache.timeout”和“rewrite.cache.limit”分别设置缓存有效时间和最多能保存的改写SQL的条数。
使用Hive加载HDFS数据并分析图书评分情况 应用场景 MRS离线处理集群,可对海量数据进行分析和处理,形成结果数据,供下一步数据应用使用。 离线处理对处理时间要求不高,但是所处理数据量较大,占用计算存储资源较多,通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的Flume。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
GC次数。 12 GC时间 JDBCServer2x的总GC时间 JDBCServer2x的总GC时间。 12000ms JobHistory2x的总GC时间 JobHistory2x的总GC时间。 12000ms IndexServer2x的总GC时间 IndexServer2x的总GC时间。
下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择对应的主机。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 确认告警已无影响,可手工清除告警。 参考信息
_Client.tar 操作场景 在Linux上安装客户端。 操作步骤 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间),时间差小于5分钟。 MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。 下载MapReduce客户端程序到客户端机器中。
limit配置来设置最小文件大小。用户可以将该配置设置为“0”,以强制新数据写入新的文件组,或设置为更高的值以确保新数据被“填充”到现有小的文件组中,直到达到指定大小为止,但其会增加摄取延迟。 为能够支持快速摄取的同时不影响查询性能,引入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。
dfs -rm -r 文件或目录路径命令。确认删除无用的文件后,等待文件在垃圾站中超过保留时间后(NameNode的配置参数“fs.trash.interval”指定了垃圾站中数据的保留时间),检查本告警是否清除。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。