云服务器内容精选

  • 批量设置多个接入配置 支持同时批量设置多个接入配置,操作简单,不用重复配置即可快速完成多个场景的接入配置 在“接入管理”页面,单击“批量接入”,进入配置详情页面,请参考表6。 表6 批量接入设置 类型 操作 说明 基本配置 接入类型 选择云容器引擎 CCE-应用日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考步骤4:采集配置进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 步骤6:完成接入配置 在接入规则页签,则会生成一条接入配置信息。 单击接入配置名称可进入详情页面,查看该接入配置详细信息。 单击接入配置操作列的“编辑”重新修改接入配置信息。 单击接入配置操作列的“标签管理”即可添加标签。 单击接入配置操作列的“复制”复制一条新的接入配置信息。 单击接入配置操作列的“删除”即可删除接入配置信息。 单击接入配置操作列的“采集诊断”,可查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控。
  • 前提条件 CCE集群已安装ICAgent并且已创建相关节点自定义标识的主机组(如果不满足,配置CCE接入LTS时会自动检查修复)。 首次使用 AOM 2.0的用户,请参考开通AOM2.0授权使用AOM2.0,进入AOM2.0控制台后,请参考云服务授权授予 云日志 服务 (LTS)、云容器引擎 (CCE)等云服务数据的访问权限。 在“主机”页面,选择“CCE集群”,在搜索框选择目标集群,单击“升级ICAgent”,详细操作请参考升级ICAgent。 已关闭采集容器标准输出到AOM的开关。 开启“ICAgent诊断开关”用于查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控,请参考设置ICAgent日志采集开关。
  • 使用限制 支持容器引擎为Docker的CCE集群节点。详情请查看云容器引擎(CCE)。 支持使用Containerd作为容器引擎的CCE集群节点(ICAgent 5.12.130及以上版本)。 支持 CCE Turbo 集群(ICAgent 5.12.130及以上版本)。 容器内的日志目录如果已挂载到主机目录上,将无法通过配置容器文件路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep "Storage Driver" 如果选择日志流时,采集方式为采集到集中日志流时,则必须已创建CCE集群。
  • 日志应用 在日志管理页面的日志总览下方,支持多种日志应用,即LTS提供开箱即用的日志仪表盘模板,用户接入即可进行日志的快速分析,主要有如下几个应用: ELB日志中心:支持ELB日志接入LTS和ELB仪表盘模板。详情请参考ELB仪表盘模板。 APIG日志中心:支持APIG日志接入LTS和APIG仪表盘模板。详情请参考APIG仪表盘模板。 VPC日志流中心:支持VPC日志接入LTS和VPC仪表盘模板。详情请参考VPC仪表盘模板。 CFW日志中心:支持CFW日志接入LTS和CFW仪表盘模板。详情请参考CFW仪表盘模板。 CTS 日志中心:支持CTS日志接入LTS,暂不支持CTS仪表盘模板,支持CTS接入LTS。详情请参考 云审计 服务CTS接入LTS。 多账号日志汇聚中心:支持您将多个账号下的日志流复制到指定的账号中,实现多账号日志的集中存储和分析。详细请参考设置多账号日志汇聚。
  • 资源统计 在日志资源统计页面,支持查看资源统计、资源详情。日志资源统计是对日志进行分类统计及日志数据的可视化展示,统计日志资源的数据量仅供参考。 高级版入口仅支持白名单用户使用,在LTS控制台配置中心的“配额设置”页面,开启“可观测For LTS”,即可使用高级版功能。详细请参考设置LTS日志采集配额和使用量预警。 基础版:查看日志资源统计及日志详情数据的可视化展示。 高级版:查看不同日志组或日志流的资源用量明细和用量Top排序。 可观测功能仅支持华北-北京四、华东-上海一、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用,如有需要,请提交工单,其他区域暂不支持申请开通。 登录云日志服务控制台。 在日志总览下方,单击资源统计旁边的“详情-基础版”,进入日志资源统计详情页面。 资源统计主要展示日志资源数据,默认展示时间为1周(相对)的日志资源数据,您可以根据业务需要选择时间范围。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 在资源统计下方,查看资源统计数据: 目前华北-北京一、华北-北京二、华南-广州-友好用户环境、华南-深圳、西南-贵阳一、华东-上海二、华东-青岛、华北-乌兰察布一局点已全部开启日志转储计费功能。 开启日志转储计费功能后,才会显示基础转储流量和高级转储流量。 读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率。 索引流量-标准型日志流:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)后,才能搜索日志,在日志写入数据库时一次性收取流量费用。 标准存储量:日志标准存储量为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始日志数据大小。 标准存储量统计是指在选定时间范围内最新的存储总量。 原始日志流量:原始日志数据的大小。 基础转储流量:日志转储不需要字段映射,转储算力消耗少,例如转储OBS/DMS/DIS。 高级转储流量:日志转储需要字段映射,转储算力消耗较多,例如转储DWS/ DLI 。 在资源详情下方,查看Top100的日志组资源统计和Top100的日志流资源统计。根据选择的时间范围,支持表格或柱状图展示每日标准存储量(GB)、每日索引流量-标准型日志流(GB)、每日读写流量(GB)、每日基础转储流量 (GB)、每日高级转储流量 (GB)的数据。 新创建的日志组/日志流,需间隔至少1小时才能进行资源统计。 单击Top100中的日志组名称,可查询该日志组下的日志流资源统计。 单击,可下载日志组资源统计和日志流资源统计。 下载的日志组资源统计和日志流资源统计文件为. CS V格式。 返回日志总览页面,单击资源统计旁边的详情-高级版,在弹出的页面查看资源用量明细和用量Top排序。 日志组ID或日志流ID中带有__default__是属于AOM的日志。 在“资源用量明细”页签:查看不同日志组和日志流的原始日志流量、索引流量、写流量等信息。 在“用量Top排序”页签:查看Top日志组和Top日志流的原始日志流量、索引流量、写流量等信息。
  • 批量设置多个接入配置 支持同时批量设置多个接入配置,操作简单,不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面,单击“批量接入”,进入配置详情页面,请参考表4。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型 选择裸金属服务BMS-文本日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考步骤3:采集配置进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 配置超额采集 当日志超过每月免费赠送的额度(500M)时,超过的部分将按需收费。如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在配置中心进行设置。 该开关默认为开启状态,开启后表示当日志超过免费赠送的额度(500M)时,继续采集日志,超过的部分按需收费。 云日志服务的计费依据为日志使用量,包括日志读写、日志索引和日志存储。超过免费额度后,如果关闭日志采集开关,将无法再进行日志读写和索引,同时也不再产生日志读写和索引费用。关闭日志采集开关后,超额部分的日志继续存储在LTS,LTS收取日志存储费用,系统将根据配置的日志存储时间老化日志,日志老化后将不再产生任何费用。 云日志服务与 应用运维管理 的日志采集开关为同步状态,即如果您在应用运维管理服务关闭了“超额继续采集日志”开关,则云日志服务的开关也同步关闭。 登录云日志服务控制台。 左侧导航选择“配置中心”,进入“配额设置”页面。 选择关闭“超额继续采集日志”。 关闭后表示当日志超过每月免费赠送的额度(500M)时,将暂停采集日志。 开启“可观测For LTS”,推荐开启,开启后LTS的日志资源统计数据将投递到lts-system/lts-resource-traffic,您可以查看分钟级用量明细、配置自定义告警策略。 可观测功能仅支持华北-北京四、华东-上海一、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用,如有需要,请提交工单,其他区域暂不支持申请开通。
  • 自定义模板 在“选择模板”下,选择“自定义模板”,选择已有的结构化模板。自定义模板主要来源有以下两种: 在配置正则分析、JSON、分隔符或Nginx方式时,单击左下角的“另存为模板”,系统会弹出“另存模板”页面,输入模板名称,单击“确定”,保存自定义模板。该模板会在“自定义模板”下的模板列表展示。 新增结构化模板,具体操作如下: 在“选择模板”下,选择“自定义模板”,单击“新增结构化模板”。 在“新增结构化模板”页面中,选择正则分析、JSON、分隔符或Nginx方式,进行配置。 配置完成后输入模板名称,单击“确定”,完成自定义模板的保存,会在“自定义模板”下的模板列表展示。
  • 创建日志组 登录云日志服务控制台。 进入“日志管理”页面,单击“创建日志组”。 在“创建日志组”页面中,参考表1填写日志组相关信息。 表1 日志组参数说明 参数 说明 日志组名称 日志组名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 日志采集后,将发送到对应的日志组中的日志流。如果日志较多,需要分门别类,建议您给日志组做好命名,方便后续快速查找日志。 企业项目 选择业务需要的企业项目,也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 说明: 企业项目需要开通后才能使用,请参考如何开通企业项目。 日志存储时间(天) 日志组的存储时间,即日志上报到LTS后日志存储的时间。 日志数据默认存储30天,可以在1~365天之间设置。 云日志服务LTS 根据配置的日志存储时间定时清理日志内容,例如日志存储时间为30天,上报到LTS的日志只保存30天,30天后开始删除日志内容。 说明: 目前白名单用户的日志存储时间支持1095天,如有需要,请提工单申请。详细操作请参考提交工单。 创建日志组免费,使用阶段按照日志量收费,详细请参考价格计算器。 标签 按照业务需求对不同的日志组添加对应的标签。单击“添加标签”,分别填写标签键key和标签值value,开启应用到日志流。 如需添加多个标签可重复该步骤,最多支持添加20个标签。 如需删除标签可单击标签操作列的。 标签键长度不能超过128个字符;标签值长度不能超过255个字符。 标签键名称不可重复。 如果配置转储时使用了该标签,删除标签后,请同步修改转储配置信息。 说明: 若您的组织已经设定云日志服务的相关标签策略,则需按照标签策略规则为日志组、日志流、日志接入、主机组添加标签。标签如果不符合标签策略的规则,则可能会导致日志组、日志流、日志接入、主机组创建失败,请联系组织管理员了解标签策略详情。标签策略详细介绍请参考标签策略概述,标签管理详细介绍请参考标签管理。 备注 自定义填写备注信息,字符长度0-1024个字符。 单击“确定”,日志组创建成功,即可在日志组列表下方生成一条日志组信息。 在日志组列表中,可以查看日志组名称、标签、日志流数量等信息。 单击日志组名称,可跳转到日志流详情页面。 并发创建时,可能会偶现创建个数超过限制。
  • 日志搜索的常用操作 日志搜索的常用操作有分享日志、刷新等操作,具体参考表1。 表1 常用操作 操作 说明 创建快速查询 单击按钮,创建快速查询。 查看仪表盘 单击按钮,在弹出来的仪表盘页面中,可查看已创建的仪表盘。 添加告警 单击按钮,在弹出的页面中,支持新建告警规则。 分享日志 单击复制当前日志搜索页面的链接,用于分享搜索日志。 刷新日志 单击对日志进行刷新,有两种方式刷新方式:手动刷新和自动刷新。 手动刷新:单击“手动刷新”,可直接对日志进行刷新。 自动刷新:选择自动刷新的间隔时间,将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。 复制 单击复制日志内容。 查看上下文 单击查看日志上下文。 说明: 支持选择简洁模式查看日志上下文。支持下载上下文内容。 更多操作 单击进入该时间段的日志详情页,查看更多日志信息。 在“扩展字段”页签,查看字段名称、字段值,在对应字段操作列,支持对该字段进行添加到查询、从查询中排除、字段存在、字段不存在、隐藏的方式搜索日志。 在“json格式”页签,查看日志的json格式。 在“上下文日志”页签,支持设置查询行数、过滤字段、下载日志、简洁模式等操作。 换行/取消换行 单击按钮,搜索的日志内容将换行显示。若不需要换行,单击按钮,取消换行。 说明: 默认开启换行按钮。 下载日志 该功能仅支持白名单用户使用,如有需要,请提交工单申请开通。 鼠标悬浮在按钮上,单击“下载日志”,在弹出的下载日志页面中支持“本地下载”和“前往创建转储”。 本地下载:将日志文件直接下载到本地,单次下载支持最大2,000万条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地。 前往创建转储:通过OBS转储任务下载日志文件,单次下载支持最大2,000万条日志。单击“前往创建转储”,跳转至配置转储页面,详细请参考日志转储至OBS。 鼠标悬浮在按钮上,单击“日志下载历史”,在日志下载历史页面,支持查看、下载、删除日志下载记录。 全部折叠/全部展开 单击设置日志内容展示的行数。若不需要展示日志内容,再单击一次按钮即可关闭展示的日志内容。 说明: 默认不折叠。折叠后,默认显示2行,最多支持展示6行。 JSON设置 鼠标悬浮在按钮上,单击“JSON设置”,在弹出的JSON设置页面中,设置格式化显示。 说明: 默认开启格式化,JSON默认展开层级为2层。若日志包含多个反斜杠,当日志展示为json格式时,会丢失一个反斜杠,因为json解析会将第一个反斜杠作为转义符处理。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。 日志折叠设置 鼠标悬浮在按钮上,单击“日志折叠设置”,在弹出的日志折叠设置页面中,设置长日志字符个数。 日志超过设置的长日志字符个数时,超出字符将被隐藏,单击“展开”按钮可查看全部内容。 说明: 默认开启自动折叠长日志,字符个数默认为400个。 日志时间展示 鼠标悬浮在按钮上,单击“日志时间展示”,在弹出的日志折叠设置页面中,设置是否展示毫秒、是否展示时区。 说明: 默认开启展示毫秒。 虚拟滚动设置 鼠标悬浮在按钮上,单击“虚拟滚动设置”,在弹出的虚拟滚动设置页面中,设置是否开启虚拟滚动、填写缓冲区大小。 说明: 虚拟滚动可以避免或减少滚动时卡顿的情况,提升操作体验,防止页面卡死。 滚动时数据会重新渲染,一定程度上影响数据流畅性。 缓冲区决定同时加载的数据量大小,缓冲区越大,同时加载的数据越多,但滚动性能会越差。 不可见字段列表 该列表展示版面设置中配置的不可见性字段。 当日志流未配置版面设置时,将不显示按钮。 当日志内容为“CONFIG_FILE”且未配置版面设置时,不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。
  • 日志搜索分析 在云日志服务管理控制台,单击“日志管理”。 在日志组列表中,单击日志组名称前对应的按钮。 在日志流列表中,单击日志流名称,进入日志详情页面。 在“统计图表”页签,在右上角选择时间范围,可以查看原始日志和统计图表。在搜索框由搜索语句和SQL分析语句组成,两者通过管道符|联动,详细请参考SQL函数。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 交互式搜索分析,适用于生成简单的分析语句,如果您需要使用更多的函数或者嵌套查询,请手动输入SQL语句。 单击搜索框前面的按钮,进入交互式搜索分析页面。 选择日志搜索的内容和条件。支持添加关联关系或添加组。 设置完成后,支持预览搜索语句。 在 日志分析 下方,进行添加指标和分组排序。通过统计函数计算出想要的指标信息,然后基于选定的字段进行分组排序。 设置完成后,单击“确定”,即可在搜索框快速生成分析语句。
  • 数据组织形式 管道符特性针对特定的数据组织形式,对于云日志服务而言,管道符特性的数据主要由两部分构成,一部分是结构化数据,一部分是原始日志。示例如下: {"id": 1, "name": "Bob", "job": "java", "age": 21, "sal": 8000, "gender": "female", "_log": "name: Bob, job: java, age: 21, sal: 8000, gender: female"} 其中:“id”,“name”,“job”,“age”,“sal”和“gender”是结构化数据的字段,“_log”是原始日志字段。
  • 单个producer性能基线 上报日志时,请参考如下参数的测试性能基线,若超出基线值,可能会导致日志上报异常。 totalSizeInBytes:524288000 ioThreadCount:8 maxBlockMs:0 batchSizeThresholdInBytes:524288 batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为15MB/s,速率为1.5w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,使用多个producer上报日志,分摊流量,以保障SDK处于正常上报状态。 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。 如果maxBlockMs大于0时,SDK处于阻塞状态,阻塞时间为maxBlockMs,可能会造成SDK发送日志处于阻塞状态。
  • 使用说明 当用户修改权限后,权限信息在一天后生效。 SDK支持跨云/本地上报日志,当前仅支持华北-北京四、华东-上海一、华南-广州、西南-贵阳一。使用详情见Appender配置参数说明表中的“enableLocalTest”参数,当该参数为true时,上报日志规格为单个机器200次/秒(即每秒只能发送200次,每次批量发送数量/大小详情见参数“batchSizeThresholdInBytes、batchCountThreshold、lingerMs”)。 支持将logback.xml变为logback-spring.xml(SpringBoot),且读取springProfile中的配置。 支持读取logback.xml、logback-spring.xml中的自定义标签。 通过SDK上报日志到LTS的时间相距当前时间不超过2天,否则上报日志会被LTS删除。