检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在华为云华东-上海一购买ELB和云主机作为跳板机 登录云服务控制台,购买弹性云服务器 ECS。 非华为云上的服务器安装ICAgent,需要先在华为云上购买一台弹性云服务器作为跳板机。 购买弹性负载均衡 ELB,并添加TCP监听器和后端服务器组。 添加监听器。分别为端口3020
如何在服务器上采集同类日志并解析、发送到指定的日志流上。 功能优势 基于日志文件,无侵入式采集日志。您无需修改应用程序代码,且采集日志不会影响您的应用程序运行。 稳定处理日志采集过程中的各种异常。当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。
问题时会采用主动重试、本地缓存数据等措施保障数据安全。 基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgen
数据保护技术 LTS通过多种数据保护手段和特性,保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) LTS支持HTTPS传输协议,保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储,保障数据可靠性。
在华为云华东-上海一购买ELB和云主机作为跳板机 登录云服务控制台,购买弹性云服务器 ECS。 非华为云上的服务器安装ICAgent,需要先在华为云上购买一台弹性云服务器作为跳板机。 购买弹性负载均衡 ELB,并添加TCP监听器和后端服务器组。 添加监听器。分别为TCP端口3
理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
您分散存储数据,面临日志数据不完善时,您可以从OBS中获取数据。日志服务数据加工支持使用res_obs_file函数从OSS中获取数据,再使用tab_parse_csv函数构建表格,最后使用e_table_map函数进行字段匹配,返回指定字段和字段值,生成新的日志数据。 实践案例
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
在LTS控制台如何手动删除日志数据? 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题: 日志搜索与分析
单击“复制命令”,复制ICAgent安装命令。 登录ECS主机。详细操作请参考远程登录Linux弹性云服务器(VNC方式)。 进入弹性云服务器ECS控制台。 找到需要安装ICAgent的ECS主机,单击目标主机操作列的“远程登录”。 在弹出的“登录Linux云服务器”窗口中,选择“其他方式”下的VNC方式,单击“立即登录”。
使用e_dict_map、e_search_dict_map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数,两者区别如下所示: 普通映
DCS仪表盘模板 分布式缓存服务(Distributed Cache Service,简称DCS)是一款内存数据库服务,兼容了Redis内存数据库引擎,满足用户高并发及数据快速访问的业务诉求。云日志服务提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
转储至OBS,优点是成本低,缺点是不支持搜索历史日志的内容,使用不便利。 大数据组件日志采集场景 场景描述:有些用户会使用MRS/Flink/Spark等大数据组件做数据处理,希望采集自定义的日志到LTS,但是不希望采集大数据组件的运行日志(对于业务分析价值小)。 使用建议: 日志采集方式:推荐用户使用JAVA
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
ServiceStage云主机日志接入LTS 云日志服务(Log Tank Service,简称LTS)用于收集来自ServiceStage云主机的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快
配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 在云日志服务LTS控制台,配置OBS转储后,OBS桶无法查看历史数据,是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中,不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题: 日志转储
虚拟私有云VPC接入LTS 支持虚拟私有云VPC日志接入LTS。 前提条件 购买并使用华为云VPC实例。 使用限制 目前支持的弹性云服务器,请参见VPC流日志简介。 设置VPC接入 云日志服务接入方式为虚拟私有云 VPC时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“接入
DDS仪表盘模板 文档数据库服务(Document Database Service)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。云日志服务进行分析日志、搜索日志、日志可视化、下载日志和查看实时日志等操作。
ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据,比如统计1天内所有URI请求404的错误条数;分析1周内的
日志标准存储量为存储时间7*10MB=70MB 70MB 免费 计费场景2-关闭全文索引,打开索引字段使用场景 假设您有1台服务器,每天产生100GB原始日志,并关闭全文索引,写入到日志服务并开启其中五个字段的索引,这五个字段的数据量为50GB。 日志标准存储时长30天(存储日志的时长,只存30天的日志,第31天则会