检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建DSL加工任务 DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。
DSL加工概述 DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、
机默认未配置接收远程Syslog写入,需要手动开启。 日志接入 将自建ELK日志导入云日志服务LTS 本实践主要介绍使用自定义Python脚本和LTS采集器ICAgent,协助用户将日志从Elasticsearch(简称ES)迁移到LTS中。 日志接入 基于VPN打通网络实现API或SDK跨云上报日志到LTS
DSL仪表盘模板 DSL加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。 云日志服务支持DSL(Domain Specific Language)仪表盘模板,DSL
从文本构建 直观、简单、方便。 如果内容较多,规则会相对冗长。不易于维护、扩展和复用。 从OBS资源构建 内容较多且不常修改时推荐使用,易于维护。 编写相对复杂。 从文本构建 e_table_map(tab_parse_csv("city,name,age\nshanghai,baixiao
10.1 方案测试使用的ES为华为云CSS服务创建的ES。 执行用来构造索引数据的python脚本,如果索引已经有数据,忽略这一步,直接执行6。 python脚本需执行在ECS机器,脚本命名为xxx.py格式,构造数据请参考如下示例: 以下斜体字段需按照实际情况进行修改,参考示例是插入1000条数据,内容为:This
义的加解密方式,建议用户优先使用加解密方式。 加密过程如下: 用户编写一个java类,比如com.demo.DecryptDemo类,在该类中增加一个解密方法,比如decrypt方法,输入和输出均为字符串。 编写decrypt的方法内容,客户自行实现SK加解密算法,返回解密后的值。
Web应用防火墙(Web Application Firewall, WAF),通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击,保护Web服务安全稳定。
Web应用防火墙(Web Application Firewall, WAF),通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击,保护Web服务安全稳定。
包解压目录下,双击执行“ICAgent安装包解压目录\ICProbeAgent\bin\manual\win\uninstall.bat”脚本,当显示“ICAgent uninstall success”时,表示卸载成功。 安装方式说明 ICAgent有两种安装方式,请按照您的场景进行选择。
table_name”,table_name为有分区表的表名称,数据库名称和队列名称选择用户配置转储DLI创建的数据库和队列。 更多DLI SQL属性信息请参考开发SQL脚本。 设置完成DLI SQL属性后,单击空白处,单击“调度配置”,设置定时操作时间,详细操作请参考调度作业。 设置完成后,先单击提交版本,然后单击,作业执行调度触发成功。
append(transfer_task) 在主机上执行Python脚本,批量修改OBS转储文件时区。 nohup python lts_python.py > lts_python.log & 查看执行日志确认Python脚本运行成功,文件时区已修改。 tail -f lts_python
在LTS页面分析华为云WAF日志 方案概述 WAF(Web应用防火墙)通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击,所有请求流量经过WAF时,WAF会记录攻击和访问的日志,可实时决策分析、对设备进行运维管理以及业务趋势分析。
自建K8s应用日志接入LTS 自建K8s(kubernetes)是开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。将自建K8s集群内服务或集群节点特定路径文件的应用日志上报至LTS后,用户可以对Kubernetes集群内服务日志进行存储和分析。 您可以按照如下步骤完成接入配置。
包解压目录下,双击执行“ICAgent安装包解压目录\ICProbeAgent\bin\manual\win\uninstall.bat”脚本,当显示“ICAgent uninstall success”时,表示卸载成功。 卸载ICAgent不会删除对应的安装文件,请您根据实际情况自行删除。
Install/remote_install.sh -batchModeConfig /opt/ICAgent/iplist.cfg 根据脚本提示输入待安装机器的root用户默认密码,如果所有IP的密码在iplist.cfg中已有配置,则直接输入回车键跳过即可,否则请输入默认密码。
SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦,无侵入,无需更改代码,使用SDK/API等方式步骤相对复杂,如果代码编写不当容易对应用系统的稳定性造成影响。 日志组规划建议:将一个应用系统的日志放在一个日志组中,日志组的名称可以使用应用系统的名称。 日志流规划建议:
由于LogBack-SDK默认对SK明文存储,不符合某些对于安全有更高要求的用户,LTS提供了一种用户自定义的加解密方式,建议用户优先使用加解密方式。 加密过程如下: 用户编写一个java类,比如com.demo.DecryptDemo,需要继承logback.core包中的PropertyDefinerBase
设置LTS日志索引配置 索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引。 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型
进入搜索LTS日志页面 当您配置完成日志结构化解析和索引后,就可以通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。 搜索语句用于指定日志查询时的过滤规则,返回符合条件的日志。搜索语句可以为关键词、数值、数值范围、空格、星号(*)等。