检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全部配置”, 选择“ConfigNode > 系统”,将参数“GC_OPTS”中“-Xmx”的值参考以下说明进行调大,并保存配置。 “-Xmx”的值默认2G。 如果该告警偶然发生,参数“GC_OPTS”中“-Xmx”的值按照0.5倍速率调大。如果该告警频繁发生,“GC_OPTS”中“-Xmx”的值按照1倍速率调大。
Manager页面,具体请参见访问MRS Manager,然后选择“服务管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
行了优化和提升。 系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的,单节点故障不影响系统整体运行;而以集中模式运作的管理节点可能出现的单点故障,就成为整个系统可靠性的短板。 MRS对所有业务组件的管理节点都提供了类似的双机的机制,包括Manager、HDFS
Core节点扩容可能存在扩容节点完成,但节点上存在启动失败的实例的情况,现象如下: Core节点已经扩容完成,节点管理页面可以看到新扩容的节点: 任务管理中有添加节点的任务失败或部分成功: 若IAM用户已同步,可在组件管理观察到存在未启动角色。 若未同步,可在集群Manager页面观察到存在未启动角色。 处理扩容后状态异常的Core节点
10及之前版本,登录MRS Manager页面,然后选择“服务管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
frozen tables in 数据库名称; 查询冻结表的冻结分区 查询冷冻分区: show frozen partitions 表名; 默认元数据库冻结分区类型只支持int、string、varchar、date、timestamp类型。 外置元数据库只支持Postgres数据
conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在,则手动添加该参数项。 表1 参数说明 参数 描述 默认值 spark.task.maxFailures task retry次数。 4 spark.yarn.max.executor.failures
TopologyBuilder builder = new TopologyBuilder(); // 分隔符格式,当前采用“|”代替默认的“,”对tuple中的field进行分隔 // HdfsBolt必选参数 RecordFormat format
map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小,默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
资源”,勾选“NameNode内存使用详情”。查看直接内存使用情况。 查看NameNode使用的直接内存是否已达到NameNode设定的最大直接内存的90%(默认阈值)。 是,执行4。 否,执行8。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS
定制NodeManager内存使用率 查看NodeManager使用的直接内存是否已达到NodeManager设定的最大直接内存的90%(默认阈值)。 是,执行4。 否,执行9。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Yarn
Agent > Flume堆内存使用率”,单击“确定”。 图1 Flume堆内存使用率 查看Flume使用的堆内存是否已达到Flume设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称
确定”。 图1 RangerAdmin直接内存使用率 查看RangerAdmin使用的直接内存是否已达到RangerAdmin设定的阈值(默认值为最大直接内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
UserSync堆内存使用率”,单击“确定”。 图1 UserSync堆内存使用率 查看UserSync使用的堆内存是否已达到UserSync设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
TagSync堆内存使用率”,单击“确定”。 图1 TagSync堆内存使用率 查看TagSync使用的堆内存是否已达到TagSync设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
PolicySync堆内存使用率”,单击“确定”。 图1 PolicySync堆内存使用率 查看PolicySync使用的堆内存是否已达到PolicySync设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
PolicySync非堆内存使用率”,单击“确定”。 图1 PolicySync非堆内存使用率 查看PolicySync使用的非堆内存是否已达到PolicySync设定的阈值(默认值为最大非堆内存的90%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务> Ranger
(backport #40725) (#40751)。 特性说明:StarRocks BE实例滚动重启能力支持后,重启时需要在StarRocks实例管理页面进行滚动重启实例操作。 父主题: MRS 3.3.0.3.1补丁说明
性能下降的现象。 图2 多点分割 HBase开源增强特性:连接数限制 过多的session连接意味着过多的查询和MR任务跑在HBase上,这会导致HBase性能下降以至于导致HBase拒绝服务。通过配置参数来限制客户端连接到HBase服务器端的session数目,来实现HBase过载保护。
set SERDEPROPERTIES ('latestversion'='1669082252132'); 需要退出当前session,重新连接后执行查询。该方式已尽可能恢复客户数据,一般现网情况下,如断电场景segment数据文件也会存在不可恢复情况。 场景二:当前批次的Carbondata数据文件和