检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LTS的核心价值 云日志服务提供多种接入方式实现海量日志接入LTS,支持日志搜索引擎、SQL分析引擎、日志加工引擎,详细请参考图1。 端云全场景日志接入:40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚,满足全场景客户丰富的日志接入需求。 海量日志存储搜索:百亿日志
Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 500 InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 503
日志流(LogStream)是日志读写的基本单位,日志组中可以创建日志流,将不同类型的日志分类存储,方便对日志进一步分类管理。例如,您可以将操作日志、访问日志等接入不同的日志流,查询日志时可以进入对应的日志流快速查看日志。1个日志组中最多可以创建100个日志流。 支持区域: 全部 创建日志流
"LTS.0001", "error_msg" : "Project verify error." } 状态码:500 表明服务端能被请求访问到,但是服务内部出错。 { "error_code" : "LTS.2021", "error_msg" : "Failed to
选true时,开启跨云后用户能通过公网(仅支持华北-北京四、华东-上海一、华南-广州、西南-贵阳一)访问(建议调测使用)。 选false时,关闭跨云后用户是通过华为云当前区域主机访问。 boolean 选填 false 日志上报LogItem类参数说明。 单次上报条数小于4096条,且小于5M。
选true时,开启跨云后用户能通过公网(仅支持华北-北京四、华东-上海一、华南-广州、西南-贵阳一)访问(建议调测使用)。 选false时,关闭跨云后用户是通过华为云当前区域主机访问。 boolean 选填 false 日志上报StructLogItem类参数说明 表2 日志上报StructLogItem类参数说明表
content为日志原文对应的内置字段,搜索语句GET等同于content:GET,默认匹配日志原文的内容。 多个关键词默认通过AND连接,搜索语句GET POST等同于GET and POST。 GET POST GET and POST content:GET and content:POST
Forbidden。 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 500 InternalServerError。 表明服务端能被请求访问到,但是服务内部出错。 503
表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token,获取方式请参见:获取用户Token 最小长度:1 最大长度:10000 Content-Type 是 String 该字段填为:applicat
日志管理 日志管理概述 管理日志组 管理日志流 查看日志管理 设置多账号日志汇聚
VPC流日志已接入LTS,详细请参见虚拟私有云VPC接入LTS。 在云日志服务控制台的左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。 在基本信息页面中,完成如下配置。 任务名称:DSL加工任务的名称,例如test-vpc。 启用状态:默认开启。 源日志流:选择已完成结构化配置的日志组、
FlinkLtsLogConsumer提供了订阅云日志服务中某一个日志组中单个或者多个日志流的能力,支持Exactly Once语义,在使用时,用户无需关心日志流中shard数量的变化,FlinkLtsLogConsumer会自动感知。 Flink中每一个subtask启动一个LTS SDK的consumer
日志消费与加工 DSL加工(邀测) DSL数据加工语法(邀测) 使用定时SQL进行日志加工 使用FunctionGraph服务提供的函数模板进行日志加工 日志生成指标(邀测) 使用消费组管理消费数据(邀测) 使用SDK-API消费日志(邀测)
LTS配置中心管理 设置LTS日志采集配额和使用量预警 设置LTS日志内容分词 设置ICAgent日志采集开关
"error_msg" : "Alarm rule params validator error." } 状态码:500 表明服务端能被请求访问到,但是服务内部出错。 { "error_code" : "LTS.2001", "error_msg" : "Failed to
flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
批量修改LTS日志文件转储时区 您在LTS上经常会执行日志接入、日志告警、日志转储等配置操作。有些操作是需要重复多次配置,但目前LTS还没有提供控制台批量操作功能,这时您可以通过Python脚本结合LTS API接口实现自定义的批量操作。 使用场景 当用户创建了1000条日志转储的OBS规则,但转储时文件时区全部选择(UTC)
输入行数、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DSL仪表盘模板 > DSL加工任务监控中心”,查看图表详情。
OBS导入任务监控仪表盘 登录云日志服务控制台。 在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“LTS仪表盘模板”。 在仪表盘列表页面,单击“OBS导入任务监控仪表盘”仪表盘名称,查看图表详情。 过滤任务ID,所关联的查询分析语句如下所示: * | select task_set_id
表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token,获取方式请参见:获取用户Token 最小长度:1000 最大长度:2000 Content-Type 是 String 该字段填为:applic