检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh命令,查看集群中的HDFS版本号。 根据版本号确认开源组件的端口号,查询开源组件的端口号可参考开源组件端口列表,获取对应版本的HDFS端口号。 执行netstat -anp|grep ${port}命令,查看组件的默认端口号是否存在。 如果不存在,说明用户修改了默认的端口号。请修改为默认端口,再重新连接HDFS。
29860 HSBroker服务侦听的端口号。 server.port(HSConsole) 29880 29880 HSConsole服务侦听的端口号。 server.port(HSFabric) 29900 29900 HSFabric服务侦听的端口号,用于跨域连接。 gateway
安装客户端(2.x及之前版本) MRS集群创建成功后,用户可自行安装集群客户端,用于连接集群内组件服务端,进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。 集群内组件的服务端配置修改后,也建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响部分功能的正常使用。
定位信息 告警的详细信息。 操作 当告警可手动清除时,单击“清除告警”进行处理。 需要查看告警详情时,单击“查看帮助”进行查看(MRS 3.x及之后版本支持)。 单击“高级搜索”显示告警搜索区域,设置查询条件后,单击“搜索”,查看指定的告警信息。单击“重置”清除输入的搜索条件。 “起止时
选择“集群 > 客户端管理”,在客户端管理界面查看是否存在待操作的客户端。 是,执行3。 否,单击“添加”,根据界面提示配置待添加客户端的相关信息,单击“确定”。然后执行3。 在待更新的客户端后的“操作”列单击“更新”。 如果需要批量更新客户端,请勾选待更新的客户端(客户端的安装“用户”必须相同)后,选择“更多
g。 原因分析 通过查看RegionServer日志(/var/log/Bigdata/hbase/rs/hbase-omm-xxx.log)。 使用lsof -i:21302(MRS1.7.X及以后端口号是16020)查看到pid,然后根据pid查看到相应的进程,发现Regio
PASSWD -d hivemeta 执行以下命令可以查看Hive元数据库中的所有元数据表: \d+ 执行q退出查看元数据表页面。 执行以下命令可以查看元数据表中的数据: select * from 表名; DBServer主节点的IP地址可登录Manager界面,选择“集群 > 服务
择需要查看的时间)。 单击“查看”可以查看相应时间区间的监控数据。 MRS Manager在“服务概览”显示各个服务的“健康状态”和“角色数”。 单击曲线图表上侧的图标,可显示具体的指标说明信息。 自定义监控指标报表。 单击“定制”,勾选需要在MRS Manager显示的监控指标
配置具备表select权限的用户可查看表结构 操作场景 使用Hive建表时,其他用户被授予select权限后,支持通过show create table查看表结构。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
查看已安装的MRS集群客户端 FusionInsight Manager支持统一管理集群的客户端安装信息,用户下载并安装客户端后,界面可自动记录已安装(注册)客户端的信息,方便查询管理。 同时系统支持手动添加、修改未自动注册的客户端信息(如历史版本已安装的客户端)。 本章节仅适用于MRS
问题1:确认MapReduce服务是否正常,如果异常,尝试重启服务。如果还是不能恢复,需要查看后台JobhistoryServer日志。 问题2:依次排查可能的情况: 查看Spark的JobHistory是否运行正常; 通过查看yarn的app详情页面,确认日志文件是否过大,如果日志汇聚失败,页面的“Log
“操作结果”:表示用户操作的结果,包含“成功”、“失败”和“未知”。 “内容”:表示用户操作的具体执行信息。 单击“高级搜索”,在审计日志搜索区域中,设置查询条件,单击“搜索”,查看指定类型的审计日志。单击“重置”清除输入的搜索条件。 “开始时间”和“结束时间”表示时间范围的开始时间和结束时间,可以搜索此时间段内产生的告警。
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录,默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下: flume-client-1/flume: total 7672
查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录,默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下: flume-client-1/flume: total 7672
该解决办法以20051端口被占用为例,20050端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机,执行命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。 约2分钟后,再次执行命令:netstat
查看历史MRS集群信息 用户可以通过MRS管理控制台查看当前账号下已删除或者退订的MRS集群,了解云服务集群创建情况。 查看历史集群信息 登录MRS管理控制台。 选择“历史集群”,可查看已删除的历史集群信息。 单击集群名称,进入集群基本信息页面,可查看集群的配置信息、部署的节点信
实例”,单击需要查看日志的实例名称,进入实例状态页面。 在“日志”区域,单击要查看的日志文件名称,即可在线预览对应日志内容。 在“主机”页面单击主机名称,在主机详情页面的“实例”区域,也可查看该主机上所有角色实例的日志文件。 日志内容默认最多显示100行,可单击“加载更多”按钮查看更多日志
流处理任务,提供的是Hadoop体系的组件和流式处理组件。 自定义:全量自定义组件组合的MRS集群,MRS 3.x及之后版本支持此类型。 集群ID 集群的唯一标识,创建集群时系统自动赋值,不需要用户设置。 创建时间 显示集群创建的时间。 可用区 集群工作区域下的可用区,创建集群时设置。
查看Flume客户端监控信息 集群外的Flume客户端也是端到端数据采集的一环,与集群内Flume服务端一起都需要监控,用户通过FusionInsight Manager可以对Flume客户端进行监控,可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。
如何查看指定Yarn任务的日志? 以root用户登录主Master节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。