检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志搜索与分析(默认推荐) 日志搜索与分析概述 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 分析LTS日志 SQL分析语法介绍
String IC结构化解析类型包括 :SINGLE_LINE 单行全文,MULTI_LINE 多行全文,REGEX 单行正则,MULTI_REGEX 多行正则,SPLIT 分隔符,JSON JSON解析,NGINX nginx解析, COMPOSE组合解析 demo_log 否 String
(其中pathFile为默认的必传字段,其余字段可选) custom_key_value Map<String,String> 自定义键值对:配置日志接入规则时,可以配置自定义键值对规则,上报日志后,每条日志数据的标签数据中将会有用户自定义的键值对字段,键值对数量不超过20 键的长度限制为128,允许的字符有a-zA-Z0-9_-
用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。 典型的跳板机配置是2vCPUs | 4GB,每台跳板机可以支持约30MB/s的流量转发,您可以根据自身的日志流量配置合理数量的跳板机,多台跳板机配置ELB进行流量分发。
DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
ion的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。 典型的跳板机配置是2vCPUs
ServiceStage容器应用日志接入LTS ServiceStage云主机日志接入LTS 自建K8s应用日志接入LTS ICAgent结构化解析规则说明 父主题: 日志接入
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号
如何转储云审计服务CTS的日志? 云审计CTS与LTS进行系统对接后,系统自动在云日志服务控制台创建日志组和日志流,如果需要将CTS的日志转储至OBS中,您需要进行以下操作: 在云审计服务管理控制台,单击左侧导航栏中的“追踪器”。 单击追踪器“system”操作列的“配置”。 进入基本信息页面,单击下一步。
单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。
ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据,比如统计1天内所有URI请求404的错误条数;分析1周内的UV(
以dt_parse函数为代表的智能转换函数可以接收Unix时间戳、日期时间对象以及日期时间字符串等不同类型的参数,实现智能转换。 专用函数 智能转换函数无法满足用户的全部需求。如对于用户自定义的特殊日期格式,dt_parse等智能转换函数无法自动解析日志,需要使用dt_strptime函数来进行解析指定格式。
本文介绍了LTS服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可能会导致兼容性问
采集路径配置错误的话,修改采集路径。例如采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。更多关于日志采集路径的说明请参见:配置日志采集规则。 LTS控制台上的“配置中心 > IC
单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。
日志搜索与分析是运维中不可或缺的一环。日志接入成功后,云日志服务(LTS)支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度和
应用场景2:安全合规 大型企业的每个业务部门都有独立的云账户实现资源隔离,每个业务部门的运维人员需要依赖日志监控告警实现故障定位分析,同时集团安全部门需要统一监控日志,因此多账号的统一日志管理成为企业痛点: 分业务独立运维:客户每个业务模块都有一个独立的账号做资源隔离,依赖日志服务
scala:220) 日志内容 记录了具体的日志信息,可能是描述性的文本、错误消息、堆栈跟踪等。 starting 日志位置 默认情况下,Kafka的系统日志文件可能位于Kafka安装目录的logs子目录下,但具体位置可能会因配置而异。以下是一些常见的方法用于找到Kafka的系统日志文件位置: 查看Kafka安装目录。
服务器”页面,“高级配置”中选择“现在配置”,在“委托”中选择已创建的委托名称。待剩余参数配置完成后,单击“立刻购买”即可。 在管理信息下方的“委托”后,单击,选择已创建的委托名称,单击即可生效。更多关于委托的信息,请参见委托其他账号管理资源。 父主题: 主机管理
统计指定字段最小值,P50: 统计指定字段50%的值,P75: 统计指定字段75%的值,P90: 统计指定字段90%的值,P95: 统计指定字段95%的值,P99: 统计指定字段99%的值。 P系列统计类型是将数字排序后取xx%位置的值作为统计结果。 日志统计是针对符合条件的日志进行操作,执行过程中会