检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12099 发生core dump 告警解释 GaussDB A提供了core文件管理特性,对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时,会产生该告警。 该章节适用于MRS 3.1.5及之后版本。 MRS
运行Manager应用报错“illegal character in path at index” 问题 运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题: Manager应用开发常见问题
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数及时自动转储,便于管理审计日志信息。 若用户未配置审计日志转储,当审计日志达到十万条,系统自动将这十万条审计日志保存到文件中。保存路径为主管理节点的“${BI
群的时间),时间差小于5分钟。 MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。 下载MapReduce客户端程序到客户端机器中。 登录MRS Manager系统。 选择“服务管理 > 下载客户端”,下载客户端程序到客户端机器。 解压缩客户端
Core节点扩容可能存在扩容节点完成,但节点上存在启动失败的实例的情况,现象如下: Core节点已经扩容完成,节点管理页面可以看到新扩容的节点: 任务管理中有添加节点的任务失败或部分成功: 若IAM用户已同步,可在组件管理观察到存在未启动角色。 若未同步,可在集群Manager页面观察到存在未启动角色。 处理扩容后状态异常的Core节点
schema sf2 原因分析 Presto中创建schema需要Hive的管理者权限,当前用户权限不足。 处理步骤 MRS Manager界面操作: 方法一: 登录MRS Manager页面,选择“系统设置 > 用户管理”。 在对应用户所在行的“操作”列,单击“修改”。 单击“选择并绑定
集群组件安装、集群扩容、集群缩容、升级Master节点规格功能不可用。 集群的运行状态、告警、事件无法监控。 集群详情页的节点管理、组件管理、告警管理、文件管理、作业管理、补丁管理、租户管理功能不可用。 Manager页面、各组件的Web站点无法访问。 再次开启通信安全授权,集群状态会恢复为“运行
MRS支持将集群中所有部署角色的节点,按管理节点、控制节点和数据节点进行分类,分别计算关键主机监控指标在每类节点上的变化趋势,并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控,历史监控平均周期约为5分钟。 用户可在MRS管理控制台或者Manager界面中查看集群整体的资源概况。
gent。服务端对应着FlumeServer实例,直接部署在集群内部。而客户端部署更灵活,可以部署在集群内部,也可以部署在集群外。它们之间没有必然联系,都可以独立工作,并且提供的功能是一样的。 Flume客户端需要单独安装,支持将数据直接导到集群中的HDFS和Kafka等组件上。
transport”:默认为“nio”方式,表示netty的传输方式,有“nio”和“epoll”两种方式。 经验总结 数据倾斜 当数据发生倾斜(某一部分数据量特别大),虽然没有GC(Gabage Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。
回结果或把RDD数据写到存储系统中。Actions是触发Spark启动计算的动因。 图2 RDD操作示例 RDD看起来与Scala集合类型没有太大差别,但数据和运行模型大相迥异。 val file = sc.textFile("hdfs://...") val errors = file
行了优化和提升。 系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的,单节点故障不影响系统整体运行;而以集中模式运作的管理节点可能出现的单点故障,就成为整个系统可靠性的短板。 MRS对所有业务组件的管理节点都提供了类似的双机的机制,包括Manager、HDFS
数据库异常。 处理步骤 检查主备管理节点的数据库状态。 以root用户分别登录主备管理节点,用户密码为安装前用户自定义,请咨询系统管理员,执行su - ommdba命令切换到ommdba用户,执行gs_ctl query命令。查看回显是否显示以下信息。管理节点的主备状态及对应IP地址可在FusionInsight
(backport #40725) (#40751)。 特性说明:StarRocks BE实例滚动重启能力支持后,重启时需要在StarRocks实例管理页面进行滚动重启实例操作。 父主题: MRS 3.3.0.3.1补丁说明
r类似,都运行在NodeManager(NM)上(本文中忽略未管理的AM)。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行,ResourceManager(RM)会关闭ApplicationAttempt中管理的所有Container,其中包括当前在NM上运行的所有Con
当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”)
Kudu应用开发常用概念 Table Kudu Table可以创建为内部表或外部表,其中内部表由Impala管理,而外部表不由Impala管理,但可以通过Impala进行查询。 Table有schema和primary key属性,且可以划分为多个tablet。 Tablet T
MRS 1.8.0版本之前未开启Kerberos认证的集群不支持访问权限细分。只有开启Kerberos认证才有角色管理权限,MRS 1.8.0及之后版本的所有集群均拥有角色管理权限。 MRS 2.1.0及之前版本:在MRS Manager页面选择“系统设置”>“配置”>“权限配置”查询。
当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”)