检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志 { "data": {"k1":
安装ICAgent时,可以选择创建IAM委托方式,通过委托授权,ICAgent可以自动获取AK/SK(访问密钥),生成ICAgent的安装命令。 创建委托 登录统一身份认证服务控制台。 在左侧导航栏单击“委托”,进入委托页面。 单击右上角“创建委托”,具体操作请参考委托其他云服务管理资源,创建委托时参数设置要求参考如下。
对于IPv4地址函数,地址参数可以是IPv4点分十进制字符串(例如"192.168.0.1")或表示为整数的IP地址(例如3232235521)。subnet 参数应该是一个字符串,格式为CIDR表示法中的IPv4地址子网(例如"192.168.0.0/16")。 IP函数语句 语句 说明 示例 IPV4_MATCH(address
方法:初始化拦截器操作,读取配置信息、建立连接等。 intercept(Event event) 方法:用于拦截单个事件,并对事件进行处理。接收一个事件对象作为输入,并返回一个修改后的事件对象。 intercept(List<Event> list) 方法:事件批处理,拦截事件列表,并对事件列表进行处理。
场景一:将互联网数据中心(Internet Data Center,以下简称IDC)或者第三方云厂商的日志采集到华为云LTS。 图1 第三方云厂商日志采集 场景二:将华为云RegionA的日志采集到华为云RegionB的LTS。 图2 跨Region日志采集 对于场景一和场景二
e_switch函数是条件与操作的配对组合。依次根据条件进行判断,满足条件的进行对应操作。不满足条件的不进行对应操作,直接进行下一个条件判断。如果没有满足任一条件并且配置了default参数,则执行default配置的操作并返回。 e_switch(条件1, 操作1, 条件2, 操作2
方法:初始化拦截器操作,读取配置信息、建立连接等。 intercept(Event event) 方法:用于拦截单个事件,并对事件进行处理。接收一个事件对象作为输入,并返回一个修改后的事件对象。 intercept(List<Event> list) 方法:事件批处理,拦截事件列表,并对事件列表进行处理。
在云日志服务LTS控制台,日志转储是把日志“另存”一份保存至OBS服务,转储成功后,单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。 选择转储到DIS服务、DMS服务、DWS服务、DLI服务也是一样的操作。 父主题: 日志转储
系统服务列表中不存在ICAgent服务。 命令行工具下执行sc query icagent提示未找到。 可能原因 一般为杀毒软件,如360安全卫士等,拦截了ICAgent服务注册。 解决方法 检查是否有杀毒软件正在运行,如有,请执行下一步。 关闭杀毒软件后再进行ICAgent安装。详细请参考安装ICAgent。 父主题:
建议您创建一个新的IAM用户,并赋予该IAM用户最小权限,参考步骤如下: 登录统一身份认证服务控制台。 在用户页面,单击“创建用户”。 在配置用户基本信息页面,访问方式勾选“编程访问”,去掉勾选“管理控制台访问”,凭证类型勾选“访问密钥”,其他参数默认即可。 单击“下一步”,无需加入用户组。
以将日志采集到LTS。 资源规划 购买两台ECS机器,一台ECS作为Syslog汇聚服务器,另一台用为业务ECS模拟客户系统或者设备发送日志。 购买弹性云服务器 登录管理控制台,选择“计算 > 弹性云服务器 ECS”。 购买一台弹性云服务器作为Syslog汇聚服务器。 推荐CentOS
DSL仪表盘模板 DSL加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。 云日志服务支持DSL(Domain Specific Language)仪表盘模板,DSL
在基本信息页面中,完成如下配置后,然后单击“下一步”。 表1 基本信息参数 参数 说明 任务名称 DSL加工任务的名称。长度范围为1~128个字符,支持字符a-z、A-Z、0-9、_、- 启用状态 默认开启。 创建DSL加工任务,需要您授权LTS创建一个云服务委托。因此当前用户需要具备委托
分割目标字符串,返回被分割后的子串合集。 regexp_extract函数 提取目标字符串中符合正则表达式的子串。 提取并返回目标字符串中符合正则表达式的第一个子串。 语法:regexp_extract(expr, regularExpr) 提取并返回目标字符串中符合正则表达式的第n个子串。 语法
不同,那么每次执行这个查询,得出的结果可能会不一致。 如果需要聚合的数据为FLOAT类型时,数次执行同一个查询可能也会因此得出不同的聚合结果。如果您希望执行同一个查询时都能得出同样的结果,建议使用ROUND函数来消除多次查询之间的不一致。 语法格式 SELECT COUNT(fieldname1)
权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用
不符合您的使用要求,须在云日志服务(LTS)控制台进行关闭。推荐您将CCE标准输出日志直接采集到云日志服务(LTS),由LTS对日志进行统一管理。 关闭CCE标准输出到AOM后,您在云日志服务(LTS)中配置的CCE标准输出采集到LTS才会生效。 解决办法 登录云日志服务控制台。
并给用户组授予策略或角色,才能使用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对LTS进行操作。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒
* from table. 数据组织形式 管道符特性针对特定的数据组织形式,对于云日志服务而言,管道符特性的数据主要由两部分构成,一部分是结构化数据,一部分是原始日志。示例如下: {"id": 1, "name": "Bob", "job": "java", "age": 21, "sal":
主要日志(cluster-name.log,以集群名称命名:记录了ElasticSearch运行时所发生一切的综合信息,如某个查询失败、一个新的节点加入集群等。这是了解ElasticSearch集群整体运行状况的重要日志。 慢搜索日志(cluster-name_index_search_slowlog