检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此,Spark在此基础上进行了功能增强。如图1所示,在HistoryServer页面添加“AggregatedLogs”页签,可以通过“logs”链接查看聚合的日志。 图1 聚合日志显示页面
备份。 商用 缩容指定节点 2 下线MRS 1.8.10版本 请选择MRS 1.9.2版本进行购买。 商用 MRS组件版本一览表 3 下线MRS 2.1.0版本 请选择MRS 3.0.5版本进行购买。 商用 MRS组件版本一览表 2020年11月 序号 功能名称 功能描述 阶段 相关文档
访问MRS Manager(MRS 3.x之前版本) 操作场景 MRS 3.x之前版本集群使用MRS Manager对集群进行监控、配置和管理,用户可以在MRS控制台页面打开Manager管理页面。 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”,在集群
MRS是否支持升级集群内组件的内核版本? 问: MRS是否支持升级集群内组件的内核版本? 答: MRS不支持单独升级集群内组件的内核版本,如需体验新版本MRS集群所支持组件的特性内容,建议删除当前集群之后重新创建集群。 MRS组件版本信息请参见MRS组件版本一览表。 父主题: 升级补丁类
使用CarbonData(MRS 3.x及之后版本) CarbonData数据类型概述 CarbonData表用户权限说明 使用Spark客户端创建CarbonData表 CarbonData数据分析 CarbonData性能调优 CarbonData常见配置参数 CarbonData语法参考
使用Hue(MRS 3.x及之后版本) 访问Hue WebUI界面 使用Hue WebUI操作Hive表 创建Hue操作任务 使用Hue WebUI典型场景 Hue常用配置参数 Hue日志介绍 Hue常见问题
MS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 输入需要更新配置的组件名,组件名之间使用“,”分隔。如需更新所有组件配置,可直接单击回车键。
在告警详情中,查看该告警的主机名称与服务名称。 在“告警管理”页面,查看是否有ALM-12006 节点故障(2.x及以前版本)产生。 是,执行1.c。 否,执行1.d。 按ALM-12006 节点故障(2.x及以前版本)提供的步骤处理该告警。 登录告警节点,查看告警角色所在安装
生成过多的小数据文件,可能会影响HDFS的使用性能。 如果“table_blocksize”值太大,数据查询时索引匹配的block数据量较大,导致读取并发度不高,从而降低查询性能。 一般情况下,建议根据数据量级别来选择大小。例如:GB级别用256,TB级别用512,PB级别用1024。
从零开始使用CarbonData MRS 3.x之前版本参考本章节,MRS 3.x及后续版本请参考使用CarbonData(MRS 3.x及之后版本)。 本章节介绍使用Spark CarbonData的基本流程,所有任务场景基于spark-beeline环境。CarbonData快速入门包含以下任务:
DROP TABLE productdb.productSalesTable; 执行以下命令查询表是否被删除: SHOW TABLES; 父主题: 使用CarbonData(MRS 3.x之前版本)
进入组件管理页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight
当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题: 使用CarbonData(MRS 3.x及之后版本)
修改集群内组件的服务端配置后,建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响正常使用。 操作视频 本视频将以MRS 3.1.0版本集群为例为您介绍手动安装及使用客户端的操作方法。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 前提条件 待安装客户端节点为集群外节点时,该节点必须能
223,372,036,854,775,807。 Decimal 默认值是(10,0),最大值是(38,38)。 说明: 当进行带过滤条件的查询时,为了得到准确的结果,需要在数字后面加上BD。例如,select * from carbon_table where num = 1234567890123456
访问FusionInsight Manager(MRS 3.x及之后版本) 操作场景 MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问FusionInsight
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
恢复Manager数据 查看备份数据位置。 在MRS Manager,选择“系统设置 > 备份管理”。 在任务列表指定任务的“操作”列,单击“更多 > 查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息:
文件。 如果需要查看指定时间范围的监控指标对应的分布曲线图,请单击“查看”,界面将显示用户自定义时间范围内选定指标的分布曲线图。 用户需要了解服务和主机关键监控指标中最高、最低或平均监控数据形成的曲线,即资源分布情况时,可以在MRS Manager上查看,支持查询1小时以内的监控数据。
JDK版本不匹配导致启动spark-sql和spark-shell失败 问题背景与现象 JDK版本不匹配导致客户端启动spark-sql、spark-shell失败。 原因分析 在Driver端打印异常如下: Exception Occurs: BadPadding 16/02/22