检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.history.retainedApplications HistoryServer缓存的Spark应用数,当需要缓存的应用个数超过此参数值时,HistoryServer会回收最先缓存的Spark应用。 50 父主题: Spark2x常见问题
已添加关联了HDFS存储资源的租户。 管理租户目录 进入租户管理页面。 通过MRS管理控制台操作:在MRS管理控制台单击待操作的集群,在集群详情页,单击“租户管理”。 通过Manager操作(MRS 3.x及之后版本集群):在Manager页面单击“租户资源”。 通过Manager操作(MRS
REFRESH TABLE 语法 REFRESH TABLE table_name 描述 用于刷新TABLE元数据缓存。 示例 refresh table fruit; REFRESH 父主题: HetuEngine辅助命令语法
HDFS支持集群掉电自动恢复 操作场景 HDFS数据写入磁盘时会先写入操作系统缓存,当操作系统缓存写入完成后则认为数据写入完成,缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电,则缓存的数据就会丢失,造成HDFS丢块现象。在HDFS启动时如果有丢块,那么HDFS会进入安全模式,无法自动恢复。
REFRESH SCHEMA 语法 REFRESH SCHEMA schema_name 描述 用于刷新SCHEMA元数据缓存。 示例 refresh schema default; REFRESH 父主题: HetuEngine辅助命令语法
中的多个资源集合(每个资源集合是一个租户),具有分配和调度资源(资源包括计算资源和存储资源)的能力。 特性优势 合理配置和隔离资源 租户之间的资源是隔离的,一个租户对资源的使用不影响其他租户,保证了每个租户根据业务需求去配置相关的资源,可提高资源利用效率。 测量和统计资源消费 系
ALM-12069 aos资源异常 告警解释 HA每81秒周期性检测Manager的AOS资源。当HA连续2次检测到AOS资源异常时,产生该告警。 当HA检测到AOS资源正常后,告警恢复。 AOS资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环
开启Succinct Trie特性 操作场景 Succinct Trie特性优化了HFile Block结构,开启后可以减少缓存空间的使用,降低缓存数据驱逐率,提升缓存命中率,适用于频繁读取数据的场景,优化了数据读取性能。 本章节内容仅适用于MRS 3.3.1及之后版本。 开启Succinct
ALM-12103 executor资源异常 告警解释 HA每30秒周期性检测Manager的executor资源。当HA连续2次检测到executor资源异常时,产生该告警。 当HA检测到executor资源正常后,告警恢复。 executor资源为单主资源,一般资源异常会导致主备倒换,看到
ALM-12073 cep资源异常 告警解释 HA每60秒周期性检测Manager的cep资源。当HA连续2次检测到cep资源异常时,产生该告警。 当HA检测到cep资源正常后,告警恢复。 cep资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环
ALM-12074 fms资源异常 告警解释 HA每60秒周期性检测Manager的fms资源。当HA连续2次检测到fms资源异常时,产生该告警。 当HA检测到fms资源正常后,告警恢复。 fms资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环
ALM-12068 acs资源异常 告警解释 HA每80秒周期性检测Manager的ACS资源。当HA连续2次都检测到ACS资源异常时,产生该告警。 当HA检测到ACS资源正常后,告警恢复。 ACS资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主
ALM-12071 httpd资源异常 告警解释 HA每120秒周期性检测Manager的httpd资源。当HA连续10次检测到httpd资源异常时,产生该告警。 当HA检测到httpd资源正常后,告警恢复。 httpd资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本
ALM-12075 pms资源异常 告警解释 HA每55秒周期性检测Manager的pms资源。当HA连续3次检测到pms资源异常时,产生该告警。 当HA检测到pms资源正常后,告警恢复。 pms资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环
Yarn模式下动态资源调度 操作场景 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JDBCServer),若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。
MemArtsCC是一款面向存算分离架构的分布式计算侧缓存系统,采用极轻量化的架构设计,部署在计算侧的集群中,通过智能预取远端对象存储上的数据提供高速缓存能力,从而来加速计算任务执行。 MemArtsCC在存储层面将远端对象存储(OBS)上的对象进行切片,并建立索引,大幅提升缓存数据的读取性能。通过ZooK
单击主机列表中指定的主机名称。 单击“资源贡献排名”。 “指标”中选择主机的关键指标,MRS Manager将显示过去1小时内指标的资源分布情况。 配置资源分布 在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“资源贡献排名配置”。 修改资源分布的显示数量。最大
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式,从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统
单击“导出”,导出当前查看的指标数据。 查看主机资源概况 该操作仅适用于MRS 3.x及之后版本。 登录到FusionInsight Manager页面,选择“主机 > 资源概况”。 查看分布信息。 在“分布”页签,可查看集群的资源分布监控,默认显示1小时的监控数据。用户可单击自定义时间区间。 图1 资源分布概况 单
调度器切换完成后,Capacity调度器中“资源容量”为“0”的租户队列在Superior调度器中分配不到资源,提交到该租户队列的任务会执行失败。建议在Capacity调度器中不要将租户队列的“资源容量”配置为“0”。 调度器切换完成后,在观察期内,不允许对资源池、Yarn节点标签(Label