不会再执行后续操作。 支持和其他函数组合使用。 e_if 条件与操作组合。 满足条件则进行对应操作,不满足条件则不进行对应操作,直接进行下一个条件判断。 对于某一条日志,如果其中某一操作删除了日志,则不会再执行后续操作。 e_if( e_has("a"), e_output("target-a")
背景信息 用户对采集到LTS的日志流有二次加工的诉求,目前使用函数加工有以下缺点: 用户有多条日志流需要转换成不同的日志流结构,一个函数只能转换一个日志流,使用不方便,有新增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加工需要使用函数工作流服务,且还需要独立收费,长期使用增加成本。
任意(自动转为String) 是 后缀结尾规则。该参数可以是一个字符串或者是一个元素。 start Number 否 字符串检测的起始位置。0表示第一个字符,-1表示倒数第一个字符。 end Number 否 字符串检测的结束位置。0表示第一个字符,-1表示倒数第一个字符。 返回结果 如果字符串以指定后
SQL页面,填写SQL语句“MSCK REPAIR TABLE table_name”,table_name为有分区表的表名称,数据库名称和队列名称选择用户配置转储DLI创建的数据库和队列。 更多DLI SQL属性信息请参考开发SQL脚本。 设置完成DLI SQL属性后,单击空白处,单击“调度配
或添加组进行搜索。 下拉框显示的字段为索引配置字段、结构化字段、内置保留字段。 且(AND)表示在多个条件中需要同时满足所有条件才能成立。 或(OR)表示在多个条件中只需满足其中一个条件即可。 例如在界面上选择content、hostId、pathFile字段,设置不同的条件,随
将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,用于应对不同国家和地区的安全合规审计要求。 集团公司的运营部门也可能出于运营分析的诉求,期望将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,方便后续进行统一的大数据处理和可视化展示。 方案介绍
步骤2:检查依赖项 步骤3:选择主机组(可选) 步骤4:采集配置 步骤5:索引配置 步骤6:完成接入配置 若需要采集多个场景的日志,您可以选择批量设置多个接入配置的方式,同时设置多个接入配置。 目前此功能仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 前提条件 已安装ICAgent并添加至主机组。
云日志服务LTS是以日志组和日志流为基本单位进行日志管理。使用云日志服务LTS之前,请先创建日志组和日志流。创建日志组后,可以在该日志组下方创建多个日志流,方便对日志做进一步分类管理。创建日志流后,您可以将日志数据采集保存到日志流上,通过日志流对日志数据进行搜索分析、日志告警、日志转储、可视化展示、日志加工等。
日志一般有5倍压缩率。 索引流量-标准型日志流:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)后,才能搜索日志,在日志写入数据库时一次性收取流量费用。 标准存储量:日志标准存储量为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始日志数据大小。 标准存储量
在“日志搜索”页签,单击,输入“快速查询名称”和“快速查询语句”。默认开启快速查询和快速查询(保存本地)。 图1 创建快速查询 快速查询名称,用于区分多个快速查询语句。名称自定义,需要满足如下要求: 只支持输入英文、数字、中文、中划线、下划线及小数点。 不能以小数点、下划线开头或以小数点结尾。
节多的单流程单向分析,通过漏斗各环节业务数据的比较能够直观地发现和说明问题所在的环节,进而做出决策。漏斗图用梯形面积表示某个环节业务量与上一个环节之间的差异。 查看漏斗图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。
注意:keep_fields参数为tuple类型,如果只有一个参数,需要添加逗号,例如("city",)或者(("city","cty"),) ip_sep String 否 IP地址分隔符,用于将包含多个IP地址的字符串分割为多个IP地址,解析结果通过JSON格式返回。默认值为None,表示不进行分隔。
置jmes参数,则将字段的值直接作为下一步的值。 如果上一步的值是一个列表或JSON列表格式的字符串,则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将上一步的值进行CSV解析,根据解析后的多个值进行分裂并结束处理。 参数说明 参数名称 参数类型 是否必填 说明
步骤1:选择日志流 步骤2:选择主机组(可选) 步骤3:采集配置 步骤4:索引配置 步骤5:完成接入配置 若需要采集多个场景的日志,您可以选择批量设置多个接入配置的方式,同时设置多个接入配置。 目前此功能仅支持白名单用户提交工单申请才能使用。详细操作请参考提交工单。 前提条件 已安装ICAgent并添加至主机组。
whereExpr)的语法在聚合之前进行过滤,即聚合函数只会聚合满足过滤条件的列。 在同一个SQL查询语句中,根据过滤条件的不同,对应的聚合函数所呈现的结果会不同。 只有COUNT函数可以跟DISTINCT搭配使用。 聚合操作没有固定的执行顺序。如果在执行具有多个聚合函数的SQL语句查询时,执行聚合函数的顺序对运算
步骤3:安装日志采集组件 步骤4:选择主机组(可选) 步骤5:采集配置 步骤6:索引配置 步骤7:完成接入配置 若需要采集多个场景的日志,您可以选择批量设置多个接入配置的方式,同时设置多个接入配置。 前提条件 请确保已在Kubernetes集群中执行安装Helm v3的命令。 请确保Kubernetes集群已配置kubectl。
步骤2:检查依赖项 步骤3:选择主机组(可选) 步骤4:采集配置 步骤5:索引配置 步骤6:完成接入配置 若需要采集多个场景的日志,您可以选择批量设置多个接入配置的方式,同时设置多个接入配置。 操作视频 前提条件 CCE集群已安装ICAgent并且已创建相关节点自定义标识的主机组(如果不满
流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步:选择主机组(可选)”。 选择主机组。 在主机组列表中选择一个或多个需要采集日志的主机组,若没有所需的主机组,单击列表左上方“新建”,在弹出的新建主机组页面创建新的主机组,具体可参考创建主机组。 单击“下一步:采集配置”。
示例1:创建日志组 场景描述 本章以创建一个LTS的日志组为例。 涉及其它云服务接口 无。 创建日志组 接口相关信息 URI格式:POST /v2/{project_id}/groups 请求示例 POST https://{endpoint}/v2/{project_id}/groups
场景三:删除和重命名字段(e_drop_fields函数和e_rename函数) 一般情况下,推荐您使用e_compose函数进行多个函数的组合操作。 示例如下所示: 原始日志 {"content":"123", "age":23, "name":"twiss", "IdNumber":1
您即将访问非华为云网站,请注意账号财产安全