云服务器内容精选

  • 通过管理控制台查看组件监控 登录 MRS 控制台。 选择“现有集群”,单击集群名称进入集群详情页面。 在“概览”页签单击“ IAM 用户同步”右侧的“单击同步”进行IAM用户同步。 在MRS集群详情页面,单击“组件管理”。 查看组件监控。 单击列表中指定服务名称,查看服务状态及指标信息。 定制、查看组件级别监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。 查看角色实例监控。 在组件列表中单击服务指定名称。 单击“实例”,查看组件内的各角色实例状态。 支持在列表右上角筛选相同角色的全部实例。单击“高级搜索”,在角色搜索区域中设置搜索条件,单击“搜索”,查看指定的角色信息。单击“重置”清除输入的搜索条件。支持模糊搜索条件的部分字符。 单击列表中指定角色实例名称,查看角色实例状态及指标信息。 定制、查看监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。
  • 监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件,并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数,使集群内各监控指标数据保存到指定的FTP服务器,与第三方系统进行对接。 FTP协议未加密数据可能存在安全风险,建议使用SFTP。转储服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。 Manager支持采集当前管理的集群内所有监控指标数据,采集周期有30秒、60秒和300秒三种。监控指标数据在FTP服务器保存时,会根据采集周期分别保存在不同的监控文件中。 表1 监控指标数据文件说明 监控指标数据 描述 采集周期 30s周期:默认采集周期为30s的实时指标。 60s周期:默认采集周期为60s的实时指标。 300s周期:非30s、60s采集的所有指标。 文件名格式 MRS 3.x及之后版本: metric_监控指标数据采集的周期_文件创建时间.log 如:metric_60_20160908085915.log、metric_300_20160908085613.log MRS 3.x之前版本: 集群名称_metric_监控指标数据采集的周期_文件创建时间.log 文件内容格式(以MRS 3.x版本为例) 集群ID|集群名称|显示名称|服务名称|指标ID|采集时间|采集主机@m@子指标|单位|指标值 示例: 实际的文件中不存在对应的文件格式标题。 1|xx1|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-146|KB/s|309.910 1|xx1|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-152|KB/s|72.870 2|xx2|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-163|KB/s|100.650 第三方系统从上报的文件内容中解析出指标ID后,可以通过查询位于主备 OMS 节点的“ FusionInsight 安装路径/om-server/om/etc/om/all-shown-metric-zh_CN”指标全集文件获取指标详细信息,该文件包含了所有指标的详细信息,内容如下(以MRS 3.x版本为例): 实时指标ID,5分钟指标ID,指标名称,指标采集周期(秒),是否默认采集,指标所属服务,指标所属角色 00101,10000101,JobHistoryServer非堆内存使用量,30,false,Mapreduce,JobHistoryServer 00102,10000102,JobHistoryServer非堆内存分配量,30,false,Mapreduce,JobHistoryServer 00103,10000103,JobHistoryServer堆内存使用量,30,false,Mapreduce,JobHistoryServer 00104,10000104,JobHistoryServer堆内存分配量,30,false,Mapreduce,JobHistoryServer 00105,10000105,阻塞线程数,30,false,Mapreduce,JobHistoryServer 00106,10000106,运行线程数,30,false,Mapreduce,JobHistoryServer 00107,10000107,GC时间,30,false,Mapreduce,JobHistoryServer 00110,10000110,JobHistoryServer的CPU使用率,30,false,Mapreduce,JobHistoryServer ... 解析指标ID说明: 针对采集周期为30s/60s的指标,参考该指标说明文件的是第1列,即实时指标ID即可找到对应的指标说明。 针对采集周期为300s的指标,参考该指标说明文件对应的第2列,即5分钟指标ID即可找到对应的指标说明。 部分字段说明: 实时指标ID:指标的采集周期为30s/60s的指标ID,一个独立的指标项只可能存在30s或者60s的实时指标项。 5分钟指标ID:指标对应的5分钟(300s)的指标ID。 指标采集周期(秒):主要是针对实时指标的采集周期,可选值为30或60。 指标所属服务:指标所属的服务名名称,标明指标所属的服务类型,如HDFS、HBase等。 指标所属角色:指标所属的角色名名称,标明指标所属的实际角色类型,如JobServer、RegionServer等。
  • 配置MRS集群监控指标数据转储(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“监控指标转储配置”。 表3介绍转储参数。 表3 转储参数 参数名称 参数说明 是否必选 监控指标转储开关 指定是否打开监控指标数据对接功能。 是 FTP IP地址 指定监控指标数据对接后存放监控文件的FTP服务器。 是 FTP端口 指定连接FTP服务器的端口。 是 FTP用户名 指定登录FTP服务器的用户名。 是 FTP密码 指定登录FTP服务器的密码。 是 保存路径 指定监控文件在FTP服务器保存的路径。 是 转储时间间隔(秒) 指定监控文件在FTP服务器保存的周期,单位为秒。配置完成后,系统会按照指定的时间间隔,将文件定期上传到对应的FTP服务器。 是 转储模式 指定监控文件发送时使用的协议。可选协议为“FTP”和“SFTP”。 是 SFTP服务公钥 指定FTP服务器的公共密钥,“模式”选择“SFTP”时此参数生效。建议配置公共密钥,否则可能存在安全风险。 否 单击“确定”,设置完成。