云服务器内容精选

  • 请求示例 更新项目id为408972e72dcd4c1a9b033e955802a36b的防火墙id为22c4a5db-504c-471f-8187-5192bc11de0b的防火墙的日志配置,lts日志配置为关闭,流日志、访问控制日志、攻击日志设置为关闭。 https://{Endpoint}/v1/408972e72dcd4c1a9b033e955802a36b/cfw/logs/configuration?fw_instance_id=22c4a5db-504c-471f-8187-5192bc11de0b&enterprise_project_id=default { "fw_instance_id" : "22c4a5db-504c-471f-8187-5192bc11de0b", "lts_enable" : 0, "lts_log_group_id" : "20282428-a8f9-4e75-8246-165e64cf8ba8", "lts_attack_log_stream_enable" : 0, "lts_access_log_stream_enable" : 0, "lts_flow_log_stream_enable" : 0 }
  • URI PUT /v1/{project_id}/cfw/logs/configuration 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID, 可以从调API处获取,也可以从控制台获取。项目ID获取方式 表2 Query参数 参数 是否必选 参数类型 描述 fw_instance_id 是 String 防火墙id,可通过防火墙ID获取方式获取。 enterprise_project_id 否 String 企业项目ID,用户根据组织规划企业项目,对应的ID为企业项目ID,可通过如何获取企业项目ID获取,用户未开启企业项目时为0
  • 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。可通过如何获取用户Token获取。 表4 请求Body参数 参数 是否必选 参数类型 描述 fw_instance_id 是 String 防火墙id,可通过防火墙ID获取方式获取 lts_enable 是 Integer 是否开启LTS,1表示是,0表示不是 lts_log_group_id 是 String LTS日志分组id,可通过查询LTS( 云日志 服务)下查询账号下所有日志组接口获得,通过返回值中的log_groups.log_group_id(.表示各对象之间层级的区分)获得 lts_attack_log_stream_id 否 String 攻击日志流id,可通过查询LTS(云日志服务)下查询指定日志组下的所有日志流接口获得,通过返回值中的log_streams.log_stream_id(.表示各对象之间层级的区分)获得 lts_attack_log_stream_enable 否 Integer 是否开启攻击日志流,1表示是,0表示不是 lts_access_log_stream_id 否 String 访问控制日志流id,可通过查询LTS(云日志服务)下查询指定日志组下的所有日志流接口获得,通过返回值中的log_streams.log_stream_id(.表示各对象之间层级的区分)获得 lts_access_log_stream_enable 否 Integer 是否开启访问控制流,1表示是,0表示不是 lts_flow_log_stream_id 否 String 流量日志id,可通过查询LTS(云日志服务)下查询指定日志组下的所有日志流接口获得,通过返回值中的log_streams.log_stream_id(.表示各对象之间层级的区分)获得 lts_flow_log_stream_enable 否 Integer 是否开启流量日志,1表示是,0表示不是
  • 安装方式说明 ICAgent有两种安装方式,请按照您的场景进行选择。 表1 安装方式 方式 适用场景 首次安装 该服务器上未安装过ICAgent。 在服务器上执行ps -aux | grep icagent命令,查看没有ICAgent进程,则确认没有安装过ICAgent。 首次安装(Linux环境) 首次安装(Windows环境) 继承安装(Linux环境支持) 您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,对于没有安装ICAgent的其他多个服务器,您可以采用该安装方式。 继承安装(Linux环境) 继承批量安装(Linux环境)
  • 继承批量安装(Linux环境) 如果您有多个服务器需要安装ICAgent,其中一个服务器已经通过首次安装方式装好了ICAgent,且该服务器“/opt/ICAgent/”路径下存在ICAgent的安装包ICProbeAgent.tar.gz,对于没有安装ICAgent的服务器,可以通过该方式对服务器进行一键式继承批量安装。 批量安装的服务器需同属一个VPC下,并在同一个网段中。 批量安装功能依赖python3.*版本,如果安装时提示找不到python请在服务器上安装python版本后重试。
  • 安装ICAgent的限制说明 Linux环境:ICAgent支持的Linux操作系统,请参考Linux操作系统。 Windows环境:仅支持在如下64位系统的Windows环境中安装ICAgent。 Windows Server 2016 R2 Datacenter Windows Server 2016 R2 Standard Windows Server 2016 Datacenter English Windows Server 2016 R2 Standard English Windows Server 2012 R2 Datacenter Windows Server 2012 R2 Standard Windows Server 2012 Datacenter English Windows Server 2012 R2 Standard English Windows Server 2008 R2 Enterprise Windows Server 2008 R2 Standard Windows Server 2008 Enterprise English Windows Server 2008 R2 Standard English Windows环境不支持在云日志服务主机管理界面对ICAgent进行升级和卸载操作。如果需要使用新版本,请先卸载旧版本ICAgent,再安装新版本ICAgent。请在ICAgent安装包解压目录下,双击执行“ICAgent安装包解压目录\ICProbeAgent\bin\manual\win\uninstall.bat”脚本,当显示“ICAgent uninstall success”时,表示卸载成功。
  • 日志应用 在日志管理页面的日志总览下方,支持多种日志应用,即LTS提供开箱即用的日志仪表盘模板,用户接入即可进行日志的快速分析,主要有如下几个应用: ELB日志中心:支持ELB日志接入LTS和ELB仪表盘模板。详情请参考ELB仪表盘模板(共享型)。 APIG日志中心:支持APIG日志接入LTS和APIG仪表盘模板。详情请参考APIG仪表盘模板。 VPC日志流中心:支持VPC日志接入LTS和VPC仪表盘模板。详情请参考VPC仪表盘模板。 CFW日志中心:支持CFW日志接入LTS和CFW仪表盘模板。详情请参考CFW仪表盘模板。 CTS 日志中心:支持CTS日志接入LTS,暂不支持CTS仪表盘模板,支持CTS接入LTS。详情请参考 云审计 服务CTS接入LTS。 多账号日志汇聚中心:支持您将多个账号下的日志流复制到指定的账号中,实现多账号日志的集中存储和分析。详细请参考设置多账号日志汇聚。
  • 资源统计 在日志资源统计页面,支持查看资源统计、资源详情。日志资源统计是对日志进行分类统计及日志数据的可视化展示,统计日志资源的数据量仅供参考。 登录云日志服务控制台。 在日志总览下方,单击资源统计旁边的“相关明细”,进入日志资源统计详情页面。 资源统计主要展示日志资源数据,默认展示时间为1周(相对)的日志资源数据,您可以根据业务需要选择时间范围。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 在资源统计下方,查看资源统计数据: 目前华北-北京一、华北-北京二、华南-广州-友好用户环境、华南-深圳、华北-乌兰察布一、西南-贵阳一、华东-上海二、华东-青岛局点已全部开启日志转储计费功能。 读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率。 索引流量-标准型日志流:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)后,才能搜索日志,在日志写入数据库时一次性收取流量费用。 标准存储量:日志标准存储量为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始日志数据大小。 标准存储量统计是指在选定时间范围内最新的存储总量。 原始日志流量:原始日志数据的大小。 基础转储流量:开启日志转储计费功能后,才会显示基础转储流量。日志转储不需要字段映射,转储算力消耗少,例如转储OBS/DMS/DIS。 高级转储流量:开启日志转储计费功能后,才会显示高级转储流量。日志转储需要字段映射,转储算力消耗较多,例如转储DWS/ DLI 。 在资源详情下方,查看Top100的日志组资源统计和Top100的日志流资源统计。根据选择的时间范围,支持表格或柱状图展示每日标准存储量(GB)、每日索引流量-标准型日志流(GB)、每日读写流量(GB)、每日基础转储流量 (GB)、每日高级转储流量 (GB)的数据。 新创建的日志组/日志流,需间隔至少1小时才能进行资源统计。 单击Top100中的日志组名称,可查询该日志组下的日志流资源统计。 单击,可下载日志组资源统计和日志流资源统计。 下载的日志组资源统计和日志流资源统计文件为. CS V格式。
  • 前提条件 CCE集群已安装ICAgent并且已创建相关节点自定义标识的主机组(如果不满足,配置CCE接入LTS时会自动检查修复)。 首次使用 AOM 2.0的用户,请参考开通AOM2.0授权使用AOM2.0,进入AOM2.0控制台后,请参考云服务授权授予云日志服务 (LTS)、云容器引擎 (CCE)等云服务数据的访问权限。 在“主机”页面,选择“CCE集群”,在搜索框选择目标集群,单击“升级ICAgent”,详细操作请参考升级ICAgent。 已关闭采集容器标准输出到AOM的开关。 开启“ICAgent诊断开关”用于查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控,请参考设置ICAgent日志采集开关。
  • 使用限制 支持容器引擎为Docker的CCE集群节点。详情请查看云容器引擎(CCE)。 支持使用Containerd作为容器引擎的CCE集群节点(ICAgent 5.12.130及以上版本)。 支持 CCE Turbo 集群(ICAgent 5.12.130及以上版本)。 容器内的日志目录如果已挂载到主机目录上,将无法通过配置容器文件路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep "Storage Driver" 如果选择日志流时,采集方式为采集到集中日志流时,则必须已创建CCE集群。
  • 批量设置多个接入配置 支持同时批量设置多个接入配置,操作简单,不用重复配置即可快速完成多个场景的接入配置 在“接入管理”页面,单击“批量接入”,进入配置详情页面,请参考表6。 表6 批量接入设置 类型 操作 说明 基本配置 接入类型 选择云容器引擎 CCE-应用日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考步骤4:采集配置进行设置。 一个接入配置设置完成后,单击“应用于其他接入配置”即可将该接入配置复制到其他接入配置。 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在“接入管理”下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击启用或禁用按钮。接入配置状态禁用后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现时间偏差,请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击“校验”,提示“时间格式和字段value匹配成功”则表示校验成功。 -
  • 示例 常见的时间标准、示例及对应的时间表达式如下表3。 表3 示例 示例 时间表达式 时间标准 2022-07-14T19:57:36+08:00 yyyy-MM-dd'T'HH:mm:ssXXX 自定义 1548752136 %s 自定义 27/Jan/2022:15:56:44 dd/MMM/yyyy:HH:mm:ss 自定义 2022-08-15 17:53:23+08 yyyy-MM-dd HH:mm:ssX 自定义 2022-08-05T08:24:15.536+0000 yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-20T10:04:03.204000Z yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-22T06:52:08Z yyyy-MM-dd'T'HH:mm:ssZ 自定义 2022-07-24T10:06:41.000 yyyy-MM-dd'T'HH:mm:ss.SSS 自定义 [2022-12-11 15:05:07.012] [yyyy-MM-dd HH:mm:ss.SSS] 自定义 Monday, 02-Jan-06 15:04:05 MST EEEE, dd-MMM-yy HH:mm:ss Z RFC850 Mon, 02 Jan 2006 15:04:05 MST EEE, dd MMM-yyyy HH:mm:ss Z RFC1123 02 Jan 06 15:04 MST dd MMM yy HH:mm Z RFC822 02 Jan 06 15:04 -0700 dd MMM yy HH:mm Z RFC822Z 2023-01-02T15:04:05.999999999Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339Nano 2023-01-02T15:04:05Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339 2022-12-11 15:05:07 yyyy-MM-dd HH:mm:ss 自定义
  • 创建主机组(自定义标识) 选择自定义标识主机组类型时,需要提前规划好需要添加标识的主机。 单击右上角“新建主机组”。 在弹出的新建主机组页面,输入“主机组名称”,主机组类型选择“自定义标识”,主机类型选择“Linux主机”或“Windows主机”。 单击,输入自定义标识信息。 最多可添加10个自定义标识。 单击“确定”,主机组自定义标识创建完成后,请参考5将主机加入自定义标识主机组。 执行以下操作创建custom_tag文件,用来保存主机标签。 登录主机执行“cd /opt/cloud”命令,若提示没有/opt/cloud目录,执行“mkdir /opt/cloud/”命令创建/opt/cloud目录。若有/opt/cloud目录,在cloud目录下,执行“mkdir lts”创建lts目录。 继续执行“chmod 750 lts”,修改lts目录权限。 在lts目录下执行“touch custom_tag”,创建custom_tag文件 。 继续执行“chmod 640 custom_tag;vi custom_tag”命令,修改custom_tag权限并打开该文件。 按i进入insert模式,键入自定义标识后,按ESC键,“:wq!”保存退出即可。 支持以下两种方式将主机加入到自定义标识主机组: 表1 添加方式 类型 方式1(推荐使用) 方式2 Linux主机 在主机里/opt/cloud/lts目录下的custom_tag文件中,查看该主机的标识,然后将该主机的标识,添加为主机组自定义标识,就可以将主机加入到该主机组下。例如:在主机里/opt/cloud/lts目录下的custom_tag文件中,查看该主机的标识为test1,创建主机组的自定义标识为test1,即将该主机加入到主机组下。 在主机里/opt/cloud/lts目录下的custom_tag文件中,添加主机组自定义标识,可以将主机加入到该主机组下。例如:主机组的自定义标识为test,则在custom_tag文件中填写test,就可以将主机加入到该主机组下。 当添加了多个自定义标识时,在主机里/opt/cloud/lts目录下的custom_tag文件中,任意填写一个自定义标识,就可以将主机加入到该主机组下。 Windows主机 在主机里C:\opt\cloud\lts目录下的custom_tag文件中,查看该主机的标识,然后将该主机的标识,添加为主机组自定义标识,就可以将主机加入到该主机组下。例如:在主机里C:\opt\cloud\lts目录下的custom_tag文件中,查看该主机的标识为test1,创建主机组的自定义标识为test1,即将该主机加入到主机组下。 在主机里C:\opt\cloud\lts目录下的custom_tag文件中,添加主机组自定义标识,可以将主机加入到该主机组下。例如:主机组的自定义标识为test,则在custom_tag文件中填写test,就可以将主机加入到该主机组下。 当添加了多个自定义标识时,在主机里C:\opt\cloud\lts目录下的custom_tag文件中,任意填写一个自定义标识,就可以将主机加入到该主机组下。
  • 云服务接入LTS概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称 日志类型 文档链接 仪表盘 1 AOM 应用运维管理 全量日志 应用运维管理AOM接入LTS - 2 APIG API网关 网关访问日志(APIG) API网关APIG接入LTS APIG监控中心 APIG访问中心 APIG秒级监控 3 AstroZero Astro轻应用 Astro轻应用 Astro轻应用接入 - 4 BMS 裸金属服务器 全量日志 裸金属服务BMS文本日志接入LTS - 5 CBH 云堡垒机 操作日志 云堡垒机CBH 接入LTS - 6 CCE 云容器引擎 用户应用日志 CCE管理面日志 云容器引擎CCE应用日志接入LTS - 7 CDN 内容分发网络 访问日志(CDN) 内容分发网络CDN接入LTS CDN用户分析 CDN错误分析 CDN热门资源 CDN基础数据 8 CFW 云防火墙 攻击日志(CFW攻击日志) 访问日志(CFW访问控制日志) 流量日志(CFW流量日志) 云防火墙CFW接入LTS - 9 CTS 云审计服务 云服务管理面操作日志(CTS) 云审计服务CTS接入LTS - 10 DCS 分布式缓存服务 审计日志(DCS审计日志) 分布式缓存服务DCS接入LTS DCS审计日志中心 11 DDS 文档数据库服务 审计日志(DDS审计日志) 错误日志(DDS错误日志) 慢日志(DDS慢日志) 文档数据库服务DDS接入LTS DDS审计日志中心 12 DDoS防护 AAD DDoS防护 AAD 全量日志 DDoS防护 AAD接入LTS - 13 DMS 分布式消息服务Kafka版 DMS重平衡日志 分布式消息服务Kafka版接入LTS - 14 DRS 数据复制服务 访问日志 数据复制服务DRS接入LTS - 15 DWS 数据仓库 服务 CN节点日志 DN节点日志 操作系统messages日志 审计日志 数据仓库服务 GaussDB (DWS)接入LTS - 16 ECS 弹性云服务器 全量日志(ICAgent采集文本日志) 云主机ECS文本日志接入LTS - 17 ELB 弹性负载均衡 7层访问日志(ELB) 弹性负载均衡 ELB接入LTS ELB监控中心 ELB访问中心 ELB秒级监控 18 ER 企业路由器 全量日志(ER企业路由器) 企业路由器ER接入LTS - 19 FunctionGraph 函数工作流 函数执行日志 函数工作流FunctionGraph接入LTS - 20 GaussDB 云数据库 GaussDB 审计日志(GAUSSV5审计日志) 云数据库GaussDB接入LTS - 21 GES 图引擎服务 审计日志 图引擎服务GES接入LTS - 22 GaussDB for MySQL 云数据库 GaussDB for MySQL 错误日志(GAUSSDB_MYSQL错误日志) 慢日志(GAUSSDB_MYSQL慢日志) 云数据库GaussDB(for MySQL)接入LTS - 23 GeminiDB Redis 云数据库 GeminiDB Redis 慢日志(GeminiDB Redis慢日志) 云数据库GeminiDB接入LTS - 24 GeminiDB Mongo 云数据库 GeminiDB Mongo 错误日志(GeminiDB Mongo错误日志) 慢日志(GeminiDB Mongo慢日志) 云数据库GeminiDB Mongo接入LTS - 25 GeminiDB Cassandra 云数据库 GeminiDB Cassandra 慢日志(GeminiDB Cassandra慢日志) 云数据库GeminiDB Cassandra接入LTS - 26 HiLens 华为HiLens 设备日志 华为HiLens接入LTS - 27 IoTDA 设备接入 设备运行日志 设备接入IoTDA 接入LTS - 28 ModelArts ModelArts 运行日志 AI开发平台 ModelArts接入LTS - 29 MRS MapReduce服务 全量日志(ICAgent采集文本日志) MapReduce服务MRS接入LTS - 30 RDS for MySQL 云数据库 RDS for MySQL 错误日志(MYSQL错误日志) 慢日志(MYSQL慢日志) 云数据库RDS for MySQL接入LTS - 31 RDS for PostgreSQL 云数据库 RDS for PostgreSQL 错误日志(POSTGRESQL错误日志) 慢日志(POSTGRESQL慢日志) 云数据库RDS for PostgreSQL接入LTS - 32 RDS for SQLServer 云数据库RDS for SQL Server 错误日志(SQLSERVER错误日志) 云数据库RDS for SQLServer接入LTS - 33 ROMA Connect 应用与 数据集成平台 网关访问日志 应用与数据集成平台ROMA Connect接入LTS - 34 Live 视频直播 访问日志 视频直播Live接入LTS - 35 SMN 消息通知 服务 消息传输日志(SMN) 消息通知服务SMN接入LTS - 36 SecMaster 安全云脑 全量日志 安全云脑SecMaster接入LTS - 37 ServiceStage 应用管理与运维平台 ServiceStage容器应用日志 ServiceStage容器应用日志接入LTS - 38 ServiceStage 应用管理与运维平台 ServiceStage云主机日志 ServiceStage云主机日志接入LTS - 39 VPC 虚拟私有云 VPC流日志(VPC) 虚拟私有云VPC 接入LTS VPC流日志 40 WAF Web应用防火墙 攻击日志 访问日志 Web应用防火墙WAF接入LTS - 父主题: 使用云服务接入LTS