华为云首页用户手册

MAPREDUCE服务 MRS-MRS服务如何对接云日志服务？:操作步骤

时间：2024-08-01 09:41:11

MAPREDUCE服务 MRS

操作步骤

在 MRS 主机上安装ICAgent，详情请参考：安装ICAgent（华为云主机）。

首次安装先安装一台服务器，然后按照继承批量安装的方式安装其他所有主机。
创建主机组，把1中已安装的ICAgent的主机加到主机组里面。
1. 在云日志服务管理控制台，单击“主机管理”，进入主机管理页面，单击右上角“新建主机组”。
2. 在弹出的新建主机组页面，输入“主机组名称”，选择主机类型“Linux主机”或“Windows主机”。
3. 在列表中选择需要加入该主机组的主机，单击“确定”，完成主机组的创建。
  - 可以通过主机名称或主机IP对列表进行过滤，也可以单击“批量搜索主机IP”，并在弹出的搜索框中输入多个主机IP，进行批量搜索。
  - 当列表中没有所需主机时，单击“安装ICAgent”，在弹出的页面安装指引完成主机安装。
创建日志组。
1. 登录云日志服务管理控制台，在“日志管理”页面单击“创建日志组”。
2. 在“创建日志组”页面中，输入日志组名称，名称需要满足如下要求：
  - 只支持输入英文、数字、中文、中划线、下划线及小数点。
  - 不能以小数点、下划线开头或以小数点结尾。
  - 长度为1-64个字符。
3. 在“企业项目”处选择业务需要的企业项目，也可单击“查看企业项目”，在企业项目管理页面查看全部企业项目。
4. 输入“日志存储时间”，如果不设置，系统默认存储时间为30天。日志组创建后，日志存储时间支持修改。
  云日志服务的计费单位为日志使用量，免费额度为500MB/月，包括日志读写、日志存储和日志索引，超过免费额度后将按照日志使用量进行收费。
5. 单击“确定”，完成日志组的创建。
  - 在“日志管理”页面中，可以查看日志组名称、日志存储时间、创建时间、创建类型和标签（支持修改）。单击日志组操作列的“修改”可修改日志组名称和日志存储时间。
  - 单击日志组名称，可跳转到日志流详情页面。
创建日志流。
1. 在云日志服务管理控制台，单击日志组名称对应的下拉按钮。
2. 单击展开页面左上角的“创建日志流”，输入日志流名称，名称需要满足如下要求：
  - 只支持输入英文、数字、中文、中划线、下划线及小数点。
  - 不能以小数点、下划线开头或以小数点结尾。
  - 长度为1-64个字符。
3. 在“企业项目”处选择业务需要的企业项目，也可单击“查看企业项目”，在企业项目管理页面查看全部企业项目。
4. 单击“确定”，完成日志流的创建。
  在日志流页面中，可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。
  
  可以给不同的组件设置不同的日志流进行区分。
主机接入。
1. 在云日志服务管理控制台，单击“日志接入”。
2. 在“全部分类”页签单击“云主机E CS ”。
3. 在“选择日志流”中，“所属日志组”和“所属日志流”选择创建的日志组和日志流名称，单击“下一步”。
4. 在“选择主机组（可选）”中勾选2创建的主机组，单击“下一步”。
5. 在“采集配置”中，输入“采集配置名称”和“路径配置”，单击“下一步”。
  路径配置：
  - 采集路径可以配置多条，单击“添加采集路径”可以添加采集路径。
  - 采集路径不能重复配置，即同一主机下的同一路径，即使跨日志组和日志流，也只能配置一次。
  - 采集路径支持递归路径，**表示递归5层目录。
  - 采集路径支持模糊匹配，匹配目录或文件名中的任何字符。
  - 采集路径如果配置的是目录，示例：/var/logs/，则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。
  例如，配置如下采集路径：
  
  Yarn任务日志路径：
  
  /srv/BigData/*/nm/containerlogs/**/container-localizer-syslog
  
  /srv/BigData/*/nm/containerlogs/**/directory.info
  
  /srv/BigData/*/nm/containerlogs/**/launch_container.sh
  
  /srv/BigData/*/nm/containerlogs/**/prelaunch.err
  
  /srv/BigData/*/nm/containerlogs/**/prelaunch.out
  
  /srv/BigData/*/nm/containerlogs/**/stderr
  
  /srv/BigData/*/nm/containerlogs/**/stdout
  
  /srv/BigData/*/nm/containerlogs/**/syslog*
  
  /srv/BigData/*/nm/containerlogs/**/*.log
  
  HDFS服务全部日志：
  
  /var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log
  
  /var/log/Bigdata/audit/hdfs/jn/SecurityAuth.audit
  
  /var/log/Bigdata/hdfs/*/
  
  其他组件可以参考HDFS服务日志进行配置。
6. “索引配置”直接跳过并提交。
  
  如果需要配置“索引配置”请参考《云日志服务》相关章节。
查看日志。
1. 在云日志服务管理控制台，单击“日志管理”。
2. 在“日志组名称”中单击创建的日志组名称，可查看当前日志组的相关日志。