检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Redis日志示例以及字段含义 系统日志(System Log): [12345] 2024-04-30
在华为云华东-上海一购买ELB和多台云主机作为跳板机 登录云服务控制台,购买弹性云服务器 ECS。 非华为云上的服务器安装ICAgent,需要先在华为云上购买一台弹性云服务器作为跳板机。 购买弹性负载均衡 ELB,并添加TCP监听器和后端服务器组。 添加监听器。分别为端口3020
在日志组列表中,单击日志组名称前对应的按钮。 在日志流列表中,单击日志流名称,进入日志详情页面。 在“统计图表”页签,单击,输入“快速查询名称”和“快速查询语句”。默认开启快速查询和快速查询(保存本地)。 图1 创建快速查询 快速查询名称,用于区分多个快速查询语句。名称自定义,需要满足如下要求:
ndjson),用于保存监控数据。 步骤二:配置ECS接入LTS 在左侧导航栏中,选择“接入 > 接入中心”,单击“云主机 ECS-文本日志”进行主机接入配置。 进入选择日志流页面。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组(例如lts-group-ECS)。 单击“所属日志流”后的
服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
程序构建的日志会以一种统计性质的JSON格式写入,通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志,包含当前信息状态,以及相关服务器和客户端节点的统计状态信息。 日志样例 { "content":{ "service": "search_service"
若时间格式填写错误或指定字段不存在,将使用日志被采集时间作为日志时间。 对结构化解析进行字段名称修改、字段删除、字段类型修改等操作,都需要重新校验时间字段。 表10 参数配置表 参数 说明 示例 时间字段key名称 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。
图1 方案流程图 将自建ELK日志导入云日志服务LTS 登录云日志服务控制台。 请参考安装ICAgent在ECS主机安装ICAgent。 配置ECS日志接入云日志服务,请参考ECS接入。 脚本执行前期准备。以下示例仅供参考,请以实际信息填写为准。 首次使用python,需要安装python环境。
示例 ip_to_province 分析目标IP地址所属省份。 ip_to_province(x) ip_to_country 分析目标IP地址所属国家或地区。 ip_to_country(x) ip_to_city 分析目标IP地址所属城市。 ip_to_city(x) ip_to_provider
委托创建成功后,设置委托生效。 进入弹性云服务器控制台。 单击需要安装ICAgent的弹性云服务器名称,进入弹性云服务器参数配置页面。 您可以在购买ECS机器时设置委托,请在“购买弹性云服务器”页面,“高级配置”中选择“现在配置”,在“委托”中选择已创建的委托名称。待剩余参数配置完成后,单击“立刻购买”即可。
VPC仪表盘模板 虚拟私有云(Virtual Private Cloud,VPC)是隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性公网IP搭建业务系统。 VPC日志流中记录了虚拟私有云中的流量信息,可以帮助您检查和优
单击目标日志组或日志流名称,进入日志详情页面。 在“日志搜索”页签,单击,输入“快速查询名称”和“快速查询语句”。默认开启快速查询和快速查询(保存本地)。 图1 创建快速查询 快速查询名称,用于区分多个快速查询语句。名称自定义,需要满足如下要求: 只支持输入英文、数字、中文、中划线、下划线及小数点。
云日志服务支持DSL(Domain Specific Language)仪表盘模板,DSL加工任务监控中心主要展示加工任务ID、加工任务名称、输入行数、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登
在日志组列表中,单击待删除日志组操作列下的“删除”。 在弹出框中输入“DELETE”后,单击“确定”,完成日志组删除。 图1 删除日志组 搜索日志组/日志流 在日志组列表中,支持通过如下筛选条件进行搜索: 日志组/日志流 日志组原始名称/日志流原始名称 日志组名称/ID 日志流名称/ID 日志组标签 备注 其他操作
基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 ICAgent结构化解析规则
ID> and ak key is <testAccessKey Secret>" } 场景5:IP地址脱敏 日志中包含IP地址信息,可同时运用regex_replace函数,对IP地址进行正则捕获后而脱敏。 原始日志 { "content":"ip is 192.0.2.10"
一站式采集NGINX日志,并为NGINX日志配置结构化和仪表盘。Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。 NGINX仪表盘模板支持查看NGINX秒级监控、查看NGINX访问中心和查看NGINX监控中心。
计费样例 计费场景1:免费使用场景 云日志服务支持每个月500 MB/月的免费额度。 假设您有1台服务器,每天产生10MB原始日志,并开启全文索引,日志标准存储时长7天(存储日志的时长,只存7天的日志,第8天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天
基于VPN打通网络实现API或SDK跨云上报日志到LTS 方案概述 云上用户经常会遇到多云采集日志场景,需要将自建IDC、第三方云厂商、华为云其他region的日志采集到华为云LTS。支持基于VPN快速打通网络,实现API或SDK跨云上报日志。 本方案依赖云上VPN服务,可通过在
细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系统默认命名field1、field2、field3等。