检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在分组模式下执行应用,当HDFS上的part文件为空时,发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。如果文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。
配置Spark Executor退出时执行自定义代码 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 通过配置如下参数可以实现Executor退出时执行自定义代码。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值
JDBCServer2x:4040 SparkResource2x:0 IndexServer2x:22901 spark.ui.retainedJobs 在垃圾回收之前Spark UI和状态API记住的job数。 1000 spark.ui.retainedStages 在垃圾回收之前Spark
该告警。 告警属性 告警ID 告警级别 可自动清除 43010 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 JDBCServer进程堆内存使用率过
对系统的影响 重置密码需要停止并重启服务,服务在此期间无法访问。 重置组件数据库用户密码 在FusionInsight Manager界面,选择“集群 > 服务”。 单击待重置数据库用户密码的服务名称,例如“Kafka”,然后在服务概览页面中单击“停止服务”。 在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。
-1000 | RMAppAttemptImpl.java:1253 回答 打开FusionInsight Manager页面,看到Yarn服务的业务IP地址为192网段。 从Yarn的日志看到,Yarn读取的Spark Web UI地址为http://10.120.169.53:
新创建用户修改完密码后无法登录Ranger 问题 使用新建用户登录Ranger页面,为什么在修改完密码后登录报401错误? 回答 由于UserSync同步用户数据有时间周期,默认是5分钟,因此在Manager上新创建的用户在用户同步成功前无法登录Ranger,因为Ranger的D
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户,登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够,需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger
【Spark WebUI】访问JobHistory中某个应用的原生页面时页面显示错误 用户问题 提交一个Spark应用,包含单个Job百万个Task。应用结束后,在JobHistory中访问该应用的WebUI页面,浏览器会等待较长时间才跳转到应用WebUI页面,若10分钟内无法跳转,则页面会显示Proxy
Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。
配置多并发客户端连接JDBCServer 操作场景 JDBCServer支持多用户多并发接入,但当并发任务数量较高的时候,默认的JDBCServer配置将无法支持,因此需要进行优化来支持该场景。 操作步骤 设置JDBCServer的公平调度策略。 Spark默认使用FIFO(First
retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,在左侧的导航列表中,单击“JobHistory2x > 界面”,配置如下参数。 表1 参数说明
用户未删除Ranger策略上的“{OWNER}”权限。 处理步骤 使用admin用户登录FusionInsight Manager,选择“集群 > 服务 > Ranger”,单击“RangerAdmin UI”右侧的超链接进入Ranger WebUI界面。 在Ranger WebUI界面,单击右上角用户名,选择“Log
nt_lost?repair=true ( 192.168.67.78为异常的BE节点IP地址,29986为BE的HTTP Server的服务端口,可在Manager的Doris配置界面搜索“webserver_port”查看。 执行以下命令,获取DetailCmd。 show tablet
二进制函数和运算符 二进制运算符 || 运算符执行连接。 二进制函数 length(binary) → bigint 返回binary的字节长度。 select length(x'00141f');-- 3 concat(binary1, ..., binaryN) → varbinary
及_字符。 步骤四:准备应用程序及数据 MRS集群创建成功后,可获取集群客户端内的wordcount样例程序进行运行,也可准备上层业务自行开发的大数据应用程序并上传至集群。本指南以运行MRS集群客户端内的wordcount样例程序为例进行介绍,需先准备wordcount样例程序运行所需的数据文件。
> 阈值配置 > 服务 > Yarn”修改阈值。当Yarn ResourceManager堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 18008 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
该告警。 告警属性 告警ID 告警级别 可自动清除 43011 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 JDBCServer进程非堆内存使用率
健康检查时,误将JDBCServer Kill 问题 健康检查方案中,在并发执行的语句达到线程池上限后依然会导致健康检查命令无法执行,从而导致健康检查程序超时,然后把Spark JDBCServer进程Kill。 回答 当前JDBCServer中存在两个线程池HiveServer
在分组模式下执行应用,当HDFS上的part文件为空时,发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。若文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。