检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper常用配置参数 参数入口: 请参考修改集群服务配置参数,进入ZooKeeper“全部配置”页面。在搜索框中输入参数名称。 表1 参数说明 配置参数 说明 默认值 skipACL 是否跳过ZooKeeper节点的权限检查。
例如,“版本号_数据源_任务执行时间.tar.gz”。 “LocalHDFS”:表示备份文件保存在当前集群的HDFS目录。 选择此参数值,还需要配置以下参数: “源端路径”:表示备份文件在HDFS中保存的完整路径。
页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID,页面将跳转到该应用的SparkUI页面。 通过Spark日志获取应用程序运行情况。 您可以查看Spark日志了解应用运行情况,并根据日志信息调整应用程序。
MRS 3.x及之后版本,选择“集群 > 服务 > Hive”,在服务“概览”页面右上角单击“更多”,查看“启用Ranger鉴权”是否置灰。 是,执行2。 否,执行7。
例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。
例如,“版本号_数据源_任务执行时间.tar.gz”。 “LocalHDFS”:表示备份文件保存在当前集群的HDFS目录。 选择此参数值,还需要配置以下参数: “源端路径”:表示备份文件在HDFS中保存的完整路径。
使用新创建的用户登录Manager页面。 MRS3.x之前版本,登录集群的Manager界面,选择“系统设置 > 用户管理”,在已增加用户所在行的“操作”列,选择“更多 > 下载认证凭据”。
处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。
执行grep '\.queues' capacity-scheduler.xml -A2找到配置的所有队列,并检查队列和Manager页面上看到的队列是否一一对应。 root-default在Manager页面隐藏,在页面看不到属于正常现象。
例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。
原因分析 进入Yarn原生页面查看MapReduce任务的日志看到报错是无法识别到压缩方式导致错误,看文件后缀是gzip压缩,堆栈却报出是zlib方式。
单击“UDF管理”进入UDF管理页面。 单击“添加UDF”,在“本地Jar文件”参数后选择并上传本地已准备好的UDF jar文件。 填写UDF名称以及描述信息后,单击“确定”。
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的HiveServer,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > GC”,勾选“HiveServer的GC时间” ,单击“确定
熔断规则running_0004,SQL执行时长包括Driver侧执行时间和Job运行时间,当SQL运行阻塞在Driver侧,尽管超过了熔断阈值,但是也无法取消job。此现象在存算分离场景下,INSERT OVERWRITE操作大量分区中可能出现。
这将用于排序数据,存储列页面等。单位是MB。
Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束 问题 Spark执行应用时上报如下类似错误并导致应用结束。 2016-
ALM-17007 Oozie进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测Oozie进程的垃圾回收(GC)占用时间,当检测到Oozie进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。垃圾回收(GC)时间小于阈值时,告警恢复。 告警属性 告警ID
具体场景如下: 在FusionInsight Manager页面上添加user1用户,给予用户admin权限,执行下列操作: set role admin;add jar /home/smartcare-udf-0.0.1-SNAPSHOT.jar;create database
例如,“数据存放路径/LocalBackup/备份任务名_任务创建时间/数据源_任务执行时间/版本号_数据源_任务执行时间.tar.gz”。 “LocalHDFS”:表示备份文件保存在当前集群的HDFS目录。
ResourceManager进行主备切换后,任务中断后运行时间过长 问题 在MapReduce任务运行过程中,ResourceManager发生主备切换,切换完成后,MapReduce任务继续执行,此时任务的运行时间过长。 回答 因为ResourceManager HA已启用,但是