检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业操作:在管理控制台创建作业、停止作业和删除作业。 数据操作:IAM用户任务、新增用户、新增用户组等操作。 查看云服务操作日志 登录MRS管理控制台。 单击“操作日志”,查看日志详情。 日志列表默认按时间顺序排列,时间最近的日志显示在最前端。 日志信息中的各字段说明如表1所示。 表1
监控指标转储失败会影响上层管理系统无法获取到MRS Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 联系运维人员查看MRS Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系运维人员恢复网络连接,然后检查告警是否恢复。
问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过以下步骤来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。 确认配置项“jobmanager
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见申请弹性公网IP。
实例”,单击需要查看日志的实例名称,进入实例状态页面。 在“日志”区域,单击要查看的日志文件名称,即可在线预览对应日志内容。 在“主机”页面单击主机名称,在主机详情页面的“实例”区域,也可查看该主机上所有角色实例的日志文件。 日志内容默认最多显示100行,可单击“加载更多”按钮查看更多日志
查看Spark任务日志失败 问题现象 任务运行中查看日志失败。 任务运行完成,但是查看不到日志。 原因分析 问题1:可能原因是MapReduce服务异常。 问题2:可能原因如下: Spark的JobHistory服务异常。 日志太大,NodeManager在做日志汇聚的时候出现超时。
servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(开启kerberos认证模式端口),那么修改该端口为9092(没有开启kerberos认证模式端口)。 检查网络是否正常,确保当前机器能够正常访问Kafka集群。
在“客户端类型”选择“完整客户端”。 在“下载路径”选择“远端主机”。 将“主机IP”设置为ECS的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。 “存放路径”最多可以包含256个字符。 “登录用户”设置为“root”。
定制、查看组件级别监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。 查看角色实例监控。 在组件列表中单击服务指定名称。 单击“实例”,查看组件内的各角色实例状态。 支持在列表右上角筛选相同角色
登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址 登录Coordinator角色所在主实例节点确认该地址为网卡:eth0:PRESTO。 Presto服务端口:非安全集群为7520;安全集群为7521;
xxx 指定审计日志转储后存放的SFTP服务器,建议使用基于SSH v2的SFTP服务,否则存在安全风险。 SFTP端口 22 指定审计日志转储后存放的SFTP服务器连接端口。 保存路径 /opt/omm/oms/auditLog 指定SFTP服务器上保存审计日志的路径。 SFTP用户名
单击“Doris”,选择“实例”页签,即可查看FE实例的业务IP地址。 将云服务器的“业务端口”都设置为Doris FE服务的MySQL协议查询连接端口,默认为“9030”,可在Doris组件的服务配置页面搜索“query_port”查看。 单击“下一步:确认配置”确认配置。 确
通过管理控制台查看集群事件 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“告警管理 > 事件”查看事件信息。 单击“全部导出”。在弹框内选择保存类型,单击“确定”可导出事件。 通过Manager查看集群事件 MRS 3
查看Storm拓扑日志 操作场景 用户需要查看Storm拓扑在worker进程中的执行情况时,需要查看worker中关于拓扑的日志。如果需要查询拓扑在运行时数据处理的日志,提交拓扑并启用“Debug”功能后可以查看日志。仅启用Kerberos认证的流集群支持该场景,且用户需要是拓
开源组件端口列表 修改组件运行用户密码 如何提交作业 运行MapReduce作业 运行Spark作业 运行SparkSql作业 运行HiveSql作业 运行Flink作业 如何监控集群 查看MRS云服务操作日志 查看和定制集群监控指标 导出服务日志 管理服务和主机监控 查看及导出审计日志
Hive WebHCat接口介绍 以下示例的IP为WebHCat的业务IP,端口为安装时设置的WebHCat HTTP端口。 需要在安装客户端的机器上进行kinit认证操作后才可执行示例操作。 以下示例均为https协议的示例,若要使用http协议,需要执行以下操作: 将REST
配置具备表select权限的用户可查看表结构 操作场景 使用Hive建表时,其他用户被授予select权限后,支持通过show create table查看表结构。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。
ink中,Web服务器是JobManager的一个模块,和JobManager共进程。默认情况下,web服务器监测的端口是8081,用户可以在配置文件“flink-conf.yaml”中配置“jobmanager.web.port”来修改监测端口。 使用Netty和Netty路由器库来处理REST请求和解析URL。
告警解释 根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。 告警属性