检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ResourceManager(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“ResourceManager内存使用率”。查看堆内存使用情况。 图1 定制ResourceManager内存使用率 查看ResourceManager使用的堆内存是否已达到ResourceManager设定的最大堆内存的95%。
待操作集群的名称 > HDFS”修改阈值。 当HDFS NameNode非堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
该Topic的Partition均匀分布到各个磁盘。 观察一段时间,检查告警是否清除。 告警清除,操作结束。 告警没有清除,重复执行5~6三次。重复执行次数达到上限,执行8。 观察一段时间,检查告警是否清除。 是,操作结束。 否,执行9。 收集故障信息。 在FusionInsight
API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language,类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层,吸收了Hive的DDL命令。为MapReduce提供读写接口,提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HC
待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。 如果是跨补丁版本升级,需要重启的组件为各版本重启组件的合集。 表1 重启组件 集群当前补丁版本 目标补丁版本 重启的组件 MRS 3.3.1-LTS.1 MRS 3.3
dir”可获取,例如/srv/BigData/journalnode/hacluster/current),查看序号从第一步获取到的序号开始的edits文件,看是否有不连续的情况(即前一个edits文件的最后一个序号和后一个edits文件的第一个序号不是连续的,如下图中的edits_000000000
SESSION RESET SESSION DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA DESCRIBE INPUT DESCRIBE OUTPUT EXPLAIN EXPLAIN ANALYZE REFRESH
Hue故障排除 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 集群未安装Hive服务时Hue原生页面无法正常显示 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue
Hive组件可以使用Java(JDBC和HCatalog)、Python、Python3接口进行应用开发,要准备的开发和运行环境分别如下表所示。 表1 JDBC/Hcatalog开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows系统或Linux系统。
组件管理类 MRS集群中安装的组件能否删除? 如何查看MRS集群各组件配置文件路径? Hive服务运行状态为亚健康是否会影响上层业务? 如何获取MRS集群ZooKeeper的IP地址和端口?
准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。
每个YARN容器最大分配内存(MB) -1 表示当前队列内单个YARN容器可分配的最大内存,默认为-1,表示取值范围内不限制。 最多运行任务数 -1 表示当前队列最多同时可执行任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。 每个用户最多运行任务数 -1 表示每个用户在当前
查看JobHistory进程的GC时间是否大于12秒。 是,执行1.e。 否,执行2。 单击“组件管理 > Spark > 服务配置 > 全部配置 > JobHistory > 默认”。将“SPARK_DAEMON_MEMORY”参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。
数量超过自定义阈值(默认150)时,系统产生此告警。 当系统检测到的数量减少到阈值以下时,告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29011 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名
ve_factor阈值,系统产生告警。 当本地磁盘剩余空间高于move_factor阈值时,告警自动消除。 告警属性 告警ID 告警级别 是否可自动清除 45452 重要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。
Hue常见问题 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue(MRS
则可以使用MapPartitions,按每个分区计算结果,如 rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
则可以使用MapPartitions,按每个分区计算结果,如 rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境: Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK