检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取华为云账号的项目ID(project id),详情请参见“我的凭证 >API凭证”。 获取需要上报到LTS的日志组ID、日志流ID。 当前仅支持内网上报,需要在ECS主机上使用。 目前此功能仅支持华北-北京四、华南-广州、华东-上海一、华东-上海二、亚太-新加坡,其他局点需要提交工单申请使用。 相关限制
"v3", "content": "k1:\"v1\\\"abc\", k2:\"v2\", k3: \"v3\"" } 父主题: 文本解析
件。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
端结构化解析后,不能再选择ICAgent结构化解析,需要删除后,才能重新选择。更多信息请参考图1。 若用户在日志接入的时候没有配置结构化解析,可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。 ICAgent结构化解析是在采集侧做结构化,支持插件组合解析,单个日志
功能。 提供如下转储日志样例,方便进行流量统计举例说明:原始日志:"192.168.0.1 200 190 /check" 该日志被结构化解析后为:{"ip":"192.168.0.1","status":200,"cost_time":190,"url":"/check"} 日志基础转储流量
登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近
SQL IP函数 SQL数学函数 SQL时间函数 SQL最值函数 SQL字符串函数 SQL SPLIT函数 SQL比较运算符 SQL IP地址函数 SQL归约函数 SQL其他函数 SQL JOIN语法 SQL查询样例 父主题: 日志搜索与分析(默认推荐)
gContent、logContentSize、collectTime。 日志提取字段和tag字段可以同时设置。 父主题: 设置云端结构化解析日志
的场景。 基本要求 您的产品及服务需要尊重用户隐私,遵守国家的数据保护法律和法规。禁止参与任何干扰、干涉、损害、未授权访问任何终端设备、服务器、网络的活动。 (一)隐私政策要求 您需根据法律要求以自身名义发布隐私政策,并就个人信息的处理行为获取用户同意或取得其他合法性基础。隐私政策的要求包括不限于如下:
慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
进入搜索LTS日志页面 当您配置完成日志结构化解析和索引后,就可以通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。 搜索语句用于指定日志查询时的过滤规则,返回符合条件的日志。搜索语句可以为关键词、数值、数值范围、空格、星号(*)等。
开通匿名写入后,您可以通过以下方法上传日志到日志流中。 HTTP GET请求,开通GET请求的白名单后,请提交工单联系技术支持工程师提供{endpoint}地址才能此功能。 /v3/{project_id}/lts/groups/{log_group_id}/streams/{log_stream_id}/struct/logs
数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。 数据过滤:过滤出关键服务的日志,用于重点分析。 父主题: DSL加工(邀测)
AccessKeySecret 华为云账号的SK。 String 必填 - RegionName 云日志服务的区域。 String 必填 - Endpoint 上报的服务器域名或IP。 String 必填 - MaxBlockSec 如果 producer 可用空间不足,调用者在 send 方法上的最大阻塞时间,默认为
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字
分析和查看CDN热门资源。 前提条件 已采集CDN日志,详情请参见内容分发网络CDN接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CDN错误分析 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“CDN仪表盘模板 > CDN错误分析”,查看图表详情。
Double类型的字段值位数 Double类型的字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 不涉及。 IP函数时效性 IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。
日志字段值(Value)的数据类型,可选值为string、long、float、json。 字段json类型只对ICAgent结构化解析生效,对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打
I。 同时云日志服务还提供多种编程语言的SDK供您使用,SDK的使用方法请参见使用SDK接入LTS。 终端节点 终端节点即调用API的请求地址,不同服务在不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 基本概念 账号 用户注册时的账号,账号对其所拥有的资
组支持自定义标识主机组,可以管理动态扩缩容主机组。 日志结构化解析 ☆☆☆☆ ☆☆☆☆☆ ELK:基于采集器实现自定义日志结构化解析。 LTS:提供结构化解析能力,可以正则表达式、JSON、分隔符、自定义模板等方式解析日志。 日志搜索 关键词搜索、模糊搜索、快速分析 ☆☆☆☆☆ ☆☆☆☆☆