检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm集群信息较多超过系统默认Thrift传输大小的设置。 原因分析 查看Storm服务状态及监控指标: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Storm”,查看当前Storm状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight
ost和Port,如下图所示。 其中Host为获取的Worker运行的主机IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图3 配置参数 当改变Port端口号时,在WORKER_GC_OPTS中追加的调试参数也要跟着改变,比如Port设置为8011,对应的调试参数则变更为-Xdebug
ost和Port,如下图所示。 其中Host为获取的Worker运行的主机IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图3 配置参数 当改变Port端口号时,在WORKER_GC_OPTS中追加的调试参数也要跟着改变,比如Port设置为8011,对应的调试参数则变更为-Xdebug
采集MRS集群服务堆栈信息 为了满足实际业务的需求,集群管理员可以在Manager中采集指定角色或实例的堆栈信息,保存到本地目录,并支持下载。 采集内容包括: jstack栈信息。 jmap -histo堆统计信息。 jmap -dump堆信息快照。 对于jstack和jmap-histo信息,支持连续采集以便对比。
用于增加、删除、修改及查询Kerberos组件认证账户信息。 组件运行用户 hdfs Hdfs@123 HDFS系统管理员,用户权限: 文件系统操作权限: 查看、修改、创建文件 查看、创建目录 查看、修改文件属组 查看、设置用户磁盘配额 HDFS管理操作权限: 查看webUI页面状态 查看、设置HDFS主备状态
通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此,Spark在此基础上进行了功能增强。如图1所示,在HistoryServer页面添加“AggregatedLogs”页签,可以通过“logs”链接查看聚合的日志。 图1 聚合日志显示页面
查看MRS节点引导操作执行记录 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息。
队列如何查看? 问: 产生“ALM-18022 Yarn队列资源不足”告警时,正在运行的资源队列可以在哪查看? 答: Yarn资源队列可以登录Manager界面,选择“集群 > 服务 > Yarn > ResourceManager(主)”,登录Yarn的原生页面进行查看。 具体
盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数及时自动转储,便于管理审计日志信息。 若用户未配置审计日志转储,当审计日志达到十万条,系统自动将这十万条审计日志保存到文件中。保存路径为主管理节点的“${BI
单击右上角的设置日志的起始收集时间“开始时间”和“结束时间”。 单击“下载”完成日志下载。 下载的日志压缩包中会包括对应开始时间和结束时间的拓扑信息,方便查看与定位。 拓扑文件以“topo_<拓扑结构变化时间点>.txt”命名。文件内容包括节点IP、节点主机名以及节点所安装的服务实例(OMS节点
协议未加密数据可能存在安全风险,建议使用SFTP。 本章节适用于MRS 3.x及以后版本。 以omm用户登录主管理节点。 用户只需在主管理节点执行此操作,不支持在备管理节点上配置定时备份。 执行以下命令,切换目录。 cd ${BIGDATA_HOME}/om-server/om/sbin
访问Tez WebUI查看任务执行结果 Tez WebUI界面提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 前提条件 当前MRS集群已安装Yarn服务的TimelineServer实例。 登录Tez WebUI界面 登录Manager系统
TezUI界面无法查看Yarn日志 问题 登录Tez WebUI界面,单击Logs跳转yarn日志界面失败,无法加载数据。 回答 Tez WebUI跳转Yarn Logs界面时,目前是通过hostname进行访问,需要在windows机器,配置hostname到ip的映射。具体方法为:
通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误 问题背景与现象 在MRS上提交的SparkStreaming流式作业执行一段时间后,查看Yarn WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException:
通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此,Spark在此基础上进行了功能增强。如图1所示,在HistoryServer页面添加“AggregatedLogs”页签,可以通过“logs”链接查看聚合的日志。 图1 聚合日志显示页面
如何查看哪个ZooKeeper实例是Leader 问题 如何查看ZooKeeper实例的角色是Leader还是Follower? 回答 登录集群Manager管理界面,选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称,进入对应实例的详情页面。
如何查看哪个ZooKeeper实例是Leader 问题 如何查看ZooKeeper实例的角色是Leader还是Follower? 回答 登录集群Manager管理界面,选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称,进入对应实例的详情页面。
通过Yarn WebUI查看作业日志时提示“Could not access logs page!” 问题背景与现象 登录Yarn WebUI界面查看作业日志“Logs”,然后单击“Local logs”,界面提示“Could not access logs page!”。 原因分析
访问Tez WebUI查看任务执行结果 Tez提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装Yarn服务的TimelineServer实例。 使用介绍 登录Manager系统,具体请参见访问FusionInsight
管理消息 进入Kafka服务页面: 登录FusionInsight Manager,然后选择“集群 > 服务 > Kafka”。 单击“实例”,查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考