检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810, "topic":
String IC结构化解析类型 demo_log String 示例日志 demo_fields Array of DemoFieldAccess objects 示例日志解析字段 processors Array of Processor objects IC结构化解析器 application_id
在系统首页左上角单击,选择“管理与监管 > 云日志服务 LTS”。 在日志管理页面,单击日志流名称进入日志流详情页面,单击右上角的按钮,进入设置页面,在“云端结构化解析”页签,“自动配置索引和快速分析”默认开启,选择“结构化模板”提取方式,勾选ELB系统模板,单击“保存”,关于快速分析的更多详情请参见快速分析。
String IC结构化解析类型包括 :SINGLE_LINE 单行全文,MULTI_LINE 多行全文,REGEX 单行正则,MULTI_REGEX 多行正则,SPLIT 分隔符,JSON JSON解析,NGINX nginx解析, COMPOSE组合解析 demo_log 否 String
计费样例 计费场景1:免费使用场景 云日志服务支持每个月500 MB/月的免费额度。 假设您有1台服务器,每天产生10MB原始日志,并开启全文索引,日志标准存储时长7天(存储日志的时长,只存7天的日志,第8天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天
新建日志流的ICAgent结构化解析和云端结构化解析资源统计及计费的区别: ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志在资源统计和计费时则不会统计content字段,推荐使用ICAgent结构化解析。 云端结构
为http_status为2XX的日志,添加type字段,并将字段值设置为正常。 为http_status为3XX的日志,添加type字段,并将字段值设置为重定向。 为http_status为4XX的日志,添加type字段,并将字段值设置为错误。 加工规则 e_search_dict_map({"http_status:2
在日志列表中,单击日志组名称前对应的,选择目标日志流,进入日志详情页面。 选择“日志分析”,在SQL查询条件框中,选择对应时间并输入SQL语句,单击“查询”进行日志搜索。 当设置时间范围内日志量超过10亿行时会触发迭代查询,可以通过迭代查询分多次完成全部日志的查询,界面会显示“查询状态:结果精确”。 根据SQL查询
已购买并使用华为云CTS实例。 设置CTS接入LTS 云日志服务接入方式为云审计 CTS时,按照如下操作完成接入配置。 云审计服务记录的用户操作事件日志接入到云日志服务后,在云日志服务控制台默认存储时间为30天,您在创建存放该日志的日志组时,可以对日志存储周期进行设置(1-365天)。详情请参考管理日志组
设置多账号日志汇聚 多账号日志汇聚中心支持您将多个账号下的日志流复制到指定的账号中,实现多账号日志的集中存储和分析,满足安全合规、集中分析等不同场景下的诉求。 目前此功能支持华东-上海一、中国-香港、亚太-雅加达、华南-广州、拉美-圣保罗一、华北-北京四、西南-贵阳一、拉美-圣地
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
IPV4_MATCH (address,subnet) IPV4_PARSE(address) 将address解析为整数的IPv4地址。如果address是有效的IPv4地址,则它可以被解析。如果address不是有效的IPv4地址,则返回null。 SELECT IPV4_PARSE(address)
METRIC仪表盘模板 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件,保留符合条件的日志,对用户特定时间范围内已结构化的日志进行动态统计,并将统计结果动态呈现到aom的Prometheus实例,操作简单且功能强大。
分词配置只会对配置时间点以后生成的日志生效,之前的日志按照之前配置的分词符进行处理。 在“分词配置”页签设置分词符后会对当前Region区域内的所有日志流生效,若需要单独配置单个日志流的分词符,请参考设置LTS日志索引配置。 配置分词 登录云日志服务控制台。 在左侧导航栏中选择“配置中心”,选择“分词配置”页签。
工任务。详细加工语法请参考DSL数据加工语法(邀测)。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 创建DSL加工任务 登录云日志服务控制台。 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。 在基
在左侧导航栏选择“委托”,单击右上方的“创建委托”。 在创建委托页面,设置委托参数。 “委托名称”以“iam_for_lts”为例,“委托类型”必须选择“普通账号”,“委托的账号”填写“DomainA”,“持续时间”选择“永久”,单击“下一步”。 设置最小授权范围,选择“LTS ReadOnlyAcc
channels = c1 a1.sinks.k1.channel = c1 使用默认拦截器处理日志 使用Flume采集器时,拦截器是简单的插件式组件,设置在Source和Channel之间。Source接收到的事件Event,在写入Channel之前,拦截器都可以进行转换或者删除这些事件。每
channels = c1 a1.sinks.k1.channel = c1 使用默认拦截器处理日志 使用Flume采集器时,拦截器是简单的插件式组件,设置在Source和Channel之间。Source接收到的事件Event,在写入Channel之前,拦截器都可以进行转换或者删除这些事件。每
在左侧导航栏选择“委托”,单击右上方的“创建委托”。 在创建委托页面,设置委托参数。 “委托名称”以“iam_for_lts”为例,“委托类型”必须选择“普通账号”,“委托的账号”填写“DomainA”,“持续时间”选择“永久”,单击“下一步”。 设置最小授权范围,选择“LTS ReadOnlyAcc
myhuaweicloud.com:443;如未设置url,将根据region自动生成链接,格式如下:https://lts-access.{region}.myhuaweicloud.com。该域名地址需要在百度小程序后台开发设置服务器域名处(具体操作界面以小程序官网为准)注册为合法域名,128个字符上限。