检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分业务独立运维:客户每个业务模块都有一个独立的账号做资源隔离,依赖日志服务配置监控告警,快速分析发现故障并定位根因。 安全部门统一监控日志:客户使用多账号管理体系,每个业务部门有一个独立的账号,安全部门需要汇聚所有日志到一个账号,并存储180天以上来满足法规要求。 基于云日志服务LTS可以实现:
即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基于转储
错误日志(error_log):错误日志记录了Nginx服务器在处理请求过程中遇到的错误和警告信息。通过查看错误日志,您可以定位到问题的源头,从而进行故障排除。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至
"facility": 1, "time_local": "10/Jun/2019:11:32:16 +0800", "status": 200 } 使用e_regex函数将request字段解析成request_method、request、http_version。 e_regex("request"
返回从start到end索引的数组。 mv_to_string函数 通过str指定分隔符连接arr所有元素。 string_to_mv函数 使用指定的分隔符str2将str1拆分为数组 mv_offset函数 返回所提供的基于0的索引处的数组元素。 mv_ordinal函数 返回所提供的基于1的索引处的数组元素。
除了上述两种主要的日志类型外,ElasticSearch还提供了其他类型的日志,如弃用日志(用于记录已弃用的功能或配置)、访问日志(记录所有查询请求的详细信息)等。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至
条日志。 前提条件 已创建日志组和日志流。 已完成安装ICAgent(区域内主机)。 已配置日志采集规则。 查看LTS实时日志 如果您正在使用实时查看功能,请停留在实时查看页面,请勿切换页面。如果离开实时查看页面,实时查看功能将会停止,重新开启后上一次查看的实时日志将不会显示。
条日志。 前提条件 已创建日志组和日志流。 已完成安装ICAgent(区域内主机)。 已配置日志采集规则。 查看LTS实时日志 如果您正在使用实时查看功能,请停留在实时查看页面,请勿切换页面。如果离开实时查看页面,实时查看功能将会停止,重新开启后上一次查看的实时日志将不会显示。
NS记录:指定哪个DNS服务器负责解析某个域名的查询。 SOA记录:包含关于DNS区域的信息,如区域管理员的电子邮件地址和区域的序列号。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至
正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系统默认命名field1、field2、field3等。 是 是 JSON格式 智能提取字段名称,可定义别名。 是 是 分隔符 默认名称f
beAgent/internal/TRACE。 不涉及。 日志丢失/日志重复 采集器使用多种机制保证日志采集的可靠性,尽可能保证数据不丢失,但在如下场景可能导致日志丢失或日志重复。 日志文件未使用CCE提供的logPolicy轮转策略。 日志文件轮转速度过快,如1秒轮转一次。 系
入方向规则源地址198.19.128.0/17,端口范围为1-65535,目的地址为全放开,目的端口为9011。 目前此功能仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 日志转储至DMS 在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。 在“日志转储”页面右上角,单击“配置转储”。
解析或云端结构化解析。 ICAgent结构化解析是在采集侧做结构化,支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,推荐使用ICAgent结构化解析的方式,更多内容请参考ICAgent结构化解析规则说明。 云端结构化解析是通过不同的日志提取方式将日志流中的日志进
正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系统默认命名field1、field2、field3等。 是 是 JSON格式 智能提取字段名称,可定义别名。 是 是 分隔符 默认名称f
解析或云端结构化解析。 ICAgent结构化解析是在采集侧做结构化,支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,推荐使用ICAgent结构化解析的方式,更多内容请参考ICAgent结构化解析规则说明。 云端结构化解析是通过不同的日志提取方式将日志流中的日志进
差1min30s),建议优先使用ICAgent结构化方式上报日志,云端结构化方式会引起日志时间乱序严重从而导致无法在统计周期内处理日志,使得统计结果存在偏差。 前提条件 目前此功能在邀测中,支持华北-北京四、华北-乌兰察布一局点,针对白名单用户内测使用,后续将全网开放,敬请期待!
ignore:直接忽略。 strict:直接报错,丢弃此条日志数据。 replace(默认值):使用半角问号(?)替换无法识别部分。 xmlcharrefreplace:使用对应XML字符替换无法识别部分。 ignore_multi_fields Num 否 指定单个返回参数的值的个数。
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。
参数说明 参数名称 参数类型 是否必填 说明 Integer_or_negative Number 是 传入偏移量。如果需要传入负数,请使用op_neg(positive) 。例如-1用op_neg(1)表示。 返回结果 返回偏移后的时间。 函数示例 测试数据 { "time":
工作负载(选全部工作负载使用“ALL_DEPLOYMENTS”)。 说明: 自动映射时需要罗列出每个工作负载。 namespace 是 String 命名空间。 files 是 Array of AomMappingfilesInfo objects 日志详细(全部日志使用“ALL_FILES”)。