检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志转储 批量修改LTS日志文件转储时区
LTS.0202 Write to file failed. 写入文件失败。 请检查文件写权限。 LTS.0203 No file read and write permissions. 无文件读写权限。 请授权文件/目录读写权限。 网络类错误 (LTS.03XX) LTS.0300
不易于扩展和跨任务复用,不支持自动刷新。 从表格构建 高级场景下使用,维护机制更灵活。 需要构建和维护对应的表格,过程相对繁琐。 从字典函数构建 基于逻辑动态构建字典,特定场景下适用。 较为高级,不易于维护。 从其他表达式构建 从日志事件的字段中动态提取映射关系,特定场景下适用。 较为高级,不易于维护。 直接构建
云日志服务Go SDK OS Linux 安装ICAgent(区域内主机) 安装ICAgent(区域外主机) Windows Docker文件 Docker输出 数据库 MySQL GaussDB for MySQL接入LTS 云数据库RDS for MySQL接入LTS SQL
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
本地下载:将日志文件直接下载到本地,白名单用户单次下载支持最大2000万条日志。非白名单用户单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地。 前往创建转储(白名单功能):通过OBS转储任务下载日志文件,单次下载支持最大2
标签数据中将会有系统字段 采集场景为主机文件的内置字段为:hostName、hostId、hostIP、pathFile、hostIPv6、category、collectTime、__host_group__ 采集场景为K8S集群容器文件的内置字段为:hostName、host
configProps = new Properties(); // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险, 建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全 // LTS 日志服务所属region configProps.put(ConfigConstants
接入管理”页面,检查已创建成功的配置接入任务状态显示“开启”。 检查日志采集路径是否重复配置。若有重复配置,配置日志接入时需要开启“允许文件多次采集”。若没有开启“允许文件多次采集”,则需要删除重复的采集路径。 检查实时日志是否上报。 登录云日志服务控制台,进入日志管理页面。 单击目标日志流名称,进入日志详情页面。
EM(连接介质中断) 57 9 89 Y 121 y 26 SUB(替换) 58 : 90 Z 122 z 27 ESC(跳出) 59 ; 91 [ 123 { 28 FS(文件分割符) 60 < 92 \ 124 | 29 GS(组群分隔符) 61 = 93 ] 125 } 30 RS(记录分隔符)
GROUP BY report_topic ) GROUP BY report_topic) 采集文件数图表所关联的查询分析语句如下所示: select diff[1] as "采集文件数" , case when diff[3] is not null then round(diff[3]
相距当前时间不超过2天,否则上报日志会被LTS删除。 注意事项 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 安装Go SDK 获取LTS Go SDK包。 go get github.com/hua
创建访问密钥成功后,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看访问密钥(SK)。 请及时下载保存,弹窗关闭后将无法再次获取该密钥信息,但您可重新创建新的密钥。 当您下载访问密钥后,可以在浏览器页面左下角打开格式为.csv的访问密钥文件,或在浏览器“下载内容”中打开。 为了账号安全性,
致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 CREATE TABLE source ( field1 INT, field2
2(存储膨胀)*2(50%磁盘冗余) = 13200GB磁盘。 搭建ES最小典型配置是3台ECS(16U64G5TB),kafka双副本能支持缓存最近12小时的日志。 表1 自建ELK 大类 小类 月成本(合计:12597元) 费用占比 搭建ES 3 * ECS(C6 16U64G) 3*1999=5997元 47
新创建的日志组/日志流,需间隔至少1小时才能进行资源统计。 单击Top100中的日志组名称,可查询该日志组下的日志流资源统计。 单击,可下载日志组资源统计和日志流资源统计。 下载的日志组资源统计和日志流资源统计文件为.CSV格式。 告警统计和最新告警 在日志总览下方,支持查看告警统计和最新告警。 告
将日志转储至其他云服务中进行长期保存。 日志转储功能只能拷贝已有日志,不会删除日志。云日志服务LTS根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。 当前LTS支持以下表1,请根据您的业务场景进行日志转储服务选择。 表1 转储服务类型 转储服务类型 使用场景 对象存储服务
转储条件已触发,待转储成功时会有时间延迟。 延迟10Min。 例如:转储周期30分钟,8:30开始转储,最晚8:40可见转储文件。 不涉及。 转储目标桶 仅支持标准桶,不支持并行文件系统。 不涉及。 转储DIS 单个日志流转储任务数量 1 个日志流只能配置一个转储DIS任务。 不涉及。 转储周期
归档日志(用于等保合规):典型保存180天以上,用于安全合规审计,该日志一般转储存放到对象存储中。使用对象存储的迁移工具,将第三方云厂商保存在对象存储中的文件迁移到华为云对象存储服务OBS即可。详细操作请参考迁移第三方云厂商数据至OBS。 父主题: 产品咨询问题
true/false, 默认为 true prefix_name 否 String 转储至OBS桶中的日志文件前缀。 最小长度:0 最大长度:64 dir_prefix_name 否 String 自定义文件夹路径。 最小长度:0 最大长度:64 period 是 Integer 转储周期的长度 period_unit