检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flume采集器上报日志到LTS Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且
ServiceStage云主机日志接入LTS 云日志服务(Log Tank Service,简称LTS)用于收集来自ServiceStage云主机的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。
成长地图 | 华为云 云日志服务 云日志服务(Log Tank Service,简称LTS)可以提供日志收集、分析、存储等服务。用户可以通过云日志服务快速高效地进行设备运维管理、用户业务趋势分析、安全监控审计等操作。 产品定价 图说LTS 立即使用 成长地图 由浅入深,带您玩转LTS
存储层数据转为冷存储。 在开启智能冷存储功能后,如果标准存储时间增大,冷存储数据的存储时间仅对最新数据生效,冷存储数据不会重新转为标准存储。 在开启智能冷存储功能后,在可视化日志、仪表盘、定时SQL的查询时间范围查询日志时,不支持查询涉及冷存储的时间段,需将查询时间设置为标准存储的时间范围。
云日志服务LTS支持采集的日志类型和文件类型有哪些? 如何在LTS页面关闭CCE标准输出日志采集到AOM? 使用ICAgent采集日志时,推荐的日志轮转方案是什么? 是否支持Log4j插件上报日志到LTS? LTS配置日志接入后多久有日志? 通过ICAgent接入LTS后无法采集到日志?
量、标准存储量、冷存储量、转储费用,详细请参考计费项。关于500M免费额度的具体说明如下: 日志读写流量:按流量计费,每月免费赠送您500M额度,超过后按需收费。 日志索引流量:按流量计费,每月免费赠送您500M额度,超过后按需收费。 标准存储量:按存储空间计费,标准存储每月免费赠送您500M额度,超过后按需收费。
在LTS控制台如何手动删除日志数据? 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题: 日志搜索与分析
停止计费 当云日志服务不再上报日志时,流量费用(日志读写流量、日志索引流量)停止计费。 存储的日志全部老化后,日志存储量的费用才会停止计费。
日志减肥瘦身,节约后续使用成本。丢弃不需要的日志数据,节约存储成本、流量成本。 敏感数据脱敏,例如:将用户的身份证、手机号码脱敏。 日志分类投递,例如:按照日志级别:ERROR、WARNING、INFO 将日志分类,然后分发到不同的日志主题。 方案介绍 云日志服务支持通过创建DSL加工任务,将
CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment /* 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险, 建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全; ak = os.environ["CLOUD_SDK_AK"]
保留字段创建字段索引。 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引,请参见内置保留字段。
web-click(用于存储H5页面点击量的日志) server-access(用于存储服务端访问日志) server-app(用于存储服务器应用的日志) coupon(用于存储应用优惠券的日志) pay(用于存储支付日志) order(用于存储订单日志) 如需要对原始数据进行
免费 标准存储量 日志标准存储量为存储时间7*10MB=70MB 70MB 免费 计费场景2-关闭全文索引,打开索引字段使用场景 假设您有1台服务器,每天产生100GB原始日志,并关闭全文索引,写入到日志服务并开启其中五个字段的索引,这五个字段的数据量为50GB。 日志标准存储时长3
欠费影响 欠费后,无法上报日志,且无法创建日志组和日志流等功能。 避免和处理欠费 减少日志存储时间或及时删除不需要的日志流。 欠费后需要及时充值,详细操作请参见账户充值。 若日志存储在对象存储服务 OBS中的数据不再使用,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总
用户在云日志服务控制台购买了1个数量100GB的存储资源包,为什么在费用中心的资源包页面资源包详情总量显示72000GB? 答:单位不同导致展示的值不同。 在LTS控制台的按需套餐包购买页面,存储量的单位是GB/月,在费用中心控制台,存储量的单位是GB/小时。实际上100GB/月=1
置日志存储时间,LTS按照日志存储时间保存日志内容。如何设置保存一份日志内容,请参考如下操作。 关闭日志存储 使用源日志组/日志流所在的账号登录云日志服务LTS控制台。 在日志管理页面,找到源日志组/日志流。 单击源日志流操作列的,在修改日志流页面,关闭日志存储和日志存储时间。 图1
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
1字段拆分为request_method、http_version以及request。 http_referer做URL解码。 time做格式化。 解决方案: 如果program字段值是access,则通过e_psv函数解析content内容,并删除原始字段content。 e_if(e_se
SQL时间函数 功能描述 时间函数可以与__time一起使用,任何存储为毫秒时间戳的列都可以使用 MILLIS_TO_TIMESTAMP 函数,或者任何存储为字符串时间戳的列都可以使用 TIME_PARSE 函数。默认情况下,时间操作使用UTC时区,您可以通过参数"timezon
进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。 典型的跳板机配置是2vCPUs | 4GB,每台跳板机可以支持约30MB/s