检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证 >API凭证”。 获取需要上报到LTS的日志组ID、日志流ID。 云日志服务SDK仅支持在华为云ECS主机上使用。 当用户修改权限后,权限信息在一天后生效。 安装SDK 您可以通过Maven依赖方式安装日志服务Java SDK,在Maven项目中加入依赖项。
加工范围:数据加工的时间范围,本示例选择“所有”:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。 高级配置:本示例不设置。 然后单击“下一步”,在加工规则下方输入加工语句: # 如果srcaddr和dstaddr字段不存在,丢弃。 e_if(e_not_has("srcaddr")
403 Forbidden。请求被拒绝访问。返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 { "error_code" : "LTS.0001", "error_msg"
- Endpoint 上报的服务器域名或IP。 String 必填 - MaxBlockSec 如果 producer 可用空间不足,调用者在 send 方法上的最大阻塞时间,默认为 60 秒。建议为0秒。 当maxBlockMs值>=0时,则阻塞到设置的时间,如果到达阻塞时间,还是不能获取到内存,即报错且丢弃日志。
查看CDN用户分析和查看CDN热门资源。 前提条件 已采集CDN日志,详情请参见内容分发网络CDN接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CDN错误分析 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“CDN仪表盘模板 >
在云日志服务LTS控制台的“日志转储”页面,日志转储任务的状态显示异常,有可能是如下原因引起: 可能原因:OBS桶策略异常。 解决方法:请您在对象存储服务中设置访问控制策略。详细请参考配置桶策略。 可能原因:Kafka集群被删除。 解决方法:请您重新创建Kafka转储配置,详细请参考日志转储至DMS。
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
示例 ip_to_province 分析目标IP地址所属省份。 ip_to_province(x) ip_to_country 分析目标IP地址所属国家或地区。 ip_to_country(x) ip_to_city 分析目标IP地址所属城市。 ip_to_city(x) ip_to_provider
403 Forbidden。请求被拒绝访问。返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 { "error_code" : "LTS.0001", "error_msg"
指标浏览、仪表盘界面实时查看数据。 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件,保留符合条件的日志,对用户特定时间范围内已结构化的日志进行动态统计,并将统计结果动态呈现到aom的
务执行失败,无法生成指标上报AOM。 日志时间需要保证基本有序,乱序严重或者超时太严重将无法处理。 典型的:当采集端所在机器没有从NTP服务器同步时间,或者日志采集出现严重积压延时,可能导致日志时间无法保证基本有序,影响日志生成指标的聚合统计。 父主题: 约束与限制
配置转储DLI创建的数据库和队列。 更多DLI SQL属性信息请参考开发SQL脚本。 设置完成DLI SQL属性后,单击空白处,单击“调度配置”,设置定时操作时间,详细操作请参考调度作业。 设置完成后,先单击提交版本,然后单击,作业执行调度触发成功。 父主题: 日志转储
云日志服务提供多种接入方式实现海量日志接入LTS,支持日志搜索引擎、SQL分析引擎、日志加工引擎,详细请参考图1。 端云全场景日志接入:40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚,满足全场景客户丰富的日志接入需求。 海量日志存储搜索:百亿日志秒级搜索,千亿日志迭代搜索,PB级智能冷存储。
MOBILE_CARRIER('17052294531') 表3 查询分析结果 类型 场景 查询语句 MOBILE_CARRIER('17052294531') 返回结果 中国移动 mobile_city函数 分析电话号码所属的城市。 语法:mobile_city(expr) 表4 参数说明 参数名称 描述 类型 是否必选
PIG监控中心、分析APIG秒级监控。 前提条件 已采集APIG日志,详情请参见API网关APIG接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看APIG访问中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“APIG仪表盘模板
当调度时间范围选择某时间开始时,需要设置开始时间;当调度时间范围选择特定时间范围时,需要设置起始时间。 SQL时间窗口 定时SQL任务运行时,仅分析该时间范围内的日志。时间窗口表达式的最小精度为秒(s:秒,m:分,h:小时),且SQL时间窗口设置不能超过24小时。可在下拉框中,选择
单击目标日志组或日志流名称,进入日志详情页面。 选择“实时日志”页签,可查看实时日志。 通过来源类型分别筛选主机和K8S的日志。 来源类型选择主机时, 设置主机IP和文件路径。 来源类型选择K8S时,设置实例名称、容器名称和文件路径。 日志每隔大约1分钟上报一次,在日志消息区域,您最多需要等待1分钟左右,即可查看实时上报的日志。
同一日志文件,即使跨日志流,也只能配置一次。 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 K8S事件 采集K8S集群内的事件日志。无需设置参数,仅支持icagent 5.12.150 及以上版本。
LTS搜索语法介绍 云日志服务LTS提供一套搜索语法用于设置搜索条件,帮助您更有效地搜索日志。 查询语句用来指定日志查询时的过滤规则,返回符合条件的日志。根据索引配置方式可分为全文查询和字段查询,根据查询精确程度可分为精确查询和模糊查询。详细请参考表1。 SQL是用于访问和处理数
xml中的自定义标签。 通过SDK上报日志到LTS的时间相距当前时间不超过2天,否则上报日志会被LTS删除。 注意事项 建议设置上报周期小于1分钟(例如50秒)上报一次,设置1分钟或超过1分钟上报一次,可能会出现连接失败,因为SDK连接默认1分钟超时。 由于LogBack-SDK默认对SK