检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务SDK提供了Java语言上报结构化日志的一系列方法,方便用户直接使用编码方式上报结构化日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project
weicloudsdklts包。 pip list | grep huaweicloudsdk 如果已安装,执行结果会返回huaweicloudsdk相关信息。如果没有安装,则不会返回任何内容。 若未安装在主机上请执行如下操作进行安装: pip install huaweicloudsdkcore
加工规则 e_set("str_strip", str_strip(v("source"), "#")) 加工结果 source: ##lts# str_strip: lts str_lstrip 删除字符串开头指定的字符。 函数格式 str_lstrip(value, chars) 参数说明
0.39 密码(请根据实际填写) iplist.cfg中包含您的敏感信息,建议您使用完之后进行清理。 如果所有服务器的密码一致,iplist.cfg中只需列出IP地址,无需填写密码,在执行时输入此密码即可;如果某个IP密码与其他不一致,则需在此IP地址后填写其密码。 在已安装ICAgent的服务器上执行如下命令。
desc TOP 访问IP图表所关联的查询分析语句如下所示: select remote_addr as "来源IP",ip_to_country(remote_addr) as "国家",ip_to_province(remote_addr) as "省份",ip_to_city(remote_addr)
1:0:0 login_ip: 192.0.2.6 name: user1 date: 2019-10-11 0:0:0 login_ip: 192.0.2.6 name: user2 date: 2019-10-11 0:0:0 login_ip: 192.0.2
desc TOP 访问IP图表所关联的查询分析语句如下所示: select remote_addr as "来源IP",ip_to_country(remote_addr) as "国家",ip_to_province(remote_addr) as "省份",ip_to_city(remote_addr)
TF-8。 最小长度:30 最大长度:30 Content-Encoding 否 String 日志压缩格式。 枚举值: GZIP SNAPPY gzip snappy 表3 请求Body参数 参数 是否必选 参数类型 描述 contents 是 Array of LogContents
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据
云日志服务LTS提供SDK-API消费日志接口,用户可以通过调用SDK提供的基础API来消费日志。 目前此功能在邀测中,暂不支持申请开通。 前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project
Secret>" } 场景5:IP地址脱敏 日志中包含IP地址信息,可同时运用regex_replace函数,对IP地址进行正则捕获后而脱敏。 原始日志 { "content":"ip is 192.0.2.10" } 加工规则 e_set("ip_encrypt",rege
}。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表4
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置 tag“字段名称”,例如hostIP。 tag字段功能上线前,已设置的结构化配置,在修改结构化配置进行tag字段设置时,系统tag不会带出示例字段。 如需添加多个字段可单击“添加字段”,继续添加。
JSON:适用于日志文本中每行内容为一条原始日志,且每条日志可按JSON解析规则提取为多个key-value键值的日志解析模式。 分隔符:适用于日志文本中每行内容为一条原始日志,且每条日志可根据指定的分隔符(例如:冒号、空格或字符等)提取为多个key-value键值的日志解析模式。 Nginx:适用于日志文本中每
转储任务一旦删除将不再对日志进行转储,请谨慎操作。 删除转储任务后,之前已经转储日志将会继续保存在DMS。 注册Kafka实例 如果选择Kafka实例未注册,单击“注册”,跳转到注册Kafka实例页面。 注册Kafka实例相关参数说明。 表2 参数说明 参数名称 说明 示例 Kafka实例 dms实例名称。
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置 tag“字段名称”,例如hostIP。 tag字段功能上线前,已设置的结构化配置,在修改结构化配置进行tag字段设置时,系统tag不会带出示例字段。 如需添加多个字段可单击“添加字段”,继续添加。
JSON:适用于日志文本中每行内容为一条原始日志,且每条日志可按JSON解析规则提取为多个key-value键值的日志解析模式。 分隔符:适用于日志文本中每行内容为一条原始日志,且每条日志可根据指定的分隔符(例如:冒号、空格或字符等)提取为多个key-value键值的日志解析模式。 Nginx:适用于日志文本中每
产生速度<50MB/s。 当采集器被重启后,重启时间点附近可能会产生一定的数据重复。 不涉及。 表4 ICAgent支持访问的IP地址 组件/服务 IP地址 说明 openstack http://169.254.169.254/openstack/latest/meta_data