检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ka Producer SDK或采集工具,仅依赖于Kafka协议。支持以下场景: 场景1:已有基于开源采集的自建系统,仅修改配置文件便可以将日志上报到 LTS,例如Logstash。 场景2:希望通过 Kafka producer SDK 来采集日志并上报,不必再安装采集ICAgent。
使用匿名写入采集日志 如果您需要收集和分析用户在浏览器、小程序上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、停留时间,可以使用匿名写入功能。只需在日志流页面开启匿名写入开关,就可以将用户行为信息上传到云日志服务的日志流中。 使用匿名写入采集日志功能仅支持华北-北京四、华
的日志文件进行实时监听。ICAgent侧收到LTS接入页面下发的采集配置后,会定时解析采集配置信息,获取到采集路径后在节点上进行路径匹配,将节点上对应的文件加入监控任务中,通过轮询和inotify感知目标日志文件的变化。 ICAgent侧发现文件变更后,读取文件的内容,分块发送到
MaxBatchSize 当一个 ProducerBatch 中缓存的日志大小大于等于 batchSizeThresholdInBytes 时,该 batch 将被发送。 int 选填 0.5M(512 * 1024) MaxBatchCount 当一个 ProducerBatch
ent.tar.gz,对于没有安装ICAgent的服务器,可以通过该方式对服务器进行一键式继承批量安装。 批量安装的服务器需同属一个VPC下,并在同一个网段中。 批量安装功能依赖python3.*版本,如果安装时提示找不到python请在服务器上安装python版本后重试。 前提条件
是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。 目前此功能仅支持华北-北京四、华东-上海一、华
AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。 多AZ容灾 LTS支持跨AZ容灾,当一个AZ异常时,不影响LTS实例持续提供服务。 数据容灾 通过日志数据多副本方式实现数据容灾。 父主题: 安全
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费云日志服务的计费规则。 适用场景 云日志服务采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。 适用计费项 按照用户实际使用
语言,必填,目前可填zh-cn和en-us templates Array of SubTemplateResBody objects 模板正文,为一个数组 create_time Long 创建时间,为毫秒时间戳 最小值:0 最大值:1700000000000 modify_time Long
在费用中心控制台,存储量的单位是GB/小时。实际上100GB/月=100GB*1个数量*24小时*30天=72000GB/小时,两者是同一个意思;若购买的是2个数量100GB的资源包,总量2个数量*100GB/月=100GB*2个数量*24小时*30天=144000GB,根据购买数量依次类推。
采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Redis日志示例以及字段含义 系统日志(System Log): [12345]
g、Kafka等标准协议接入数据。 背景信息 “我要点外卖”是一个平台型电商网站,涉及用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜。商家拿到订单后开始加工,并自动通知周围的快递员。快递员将外卖送到用户手中。 在运营的过程中,发现了如下的问题: 获取用户
0中的日志管理功能不再推荐使用。由于现在还有有大量存量用户将CCE日志采集到AOM,正在逐步引导客户将日志直接采集到LTS,推荐您使用云容器引擎CCE应用日志接入LTS功能。 图1 AOM1.0与LTS关系图 AOM2.0与LTS关系 AOM2.0将日志功能剥离,由LTS负责日志功能,仅AOM2
approx_percentile函数 用于对x进行正序排列,返回处于percentage位置的数值。 arbitrary函数 用于返回x中任意一个非空的值。 max_by函数 查询y为最大值时对应的x值,或查询最大的n个y值对应的x值。 min_by函数 查询y为最小值时对应的x值,或查询最小的n个y值对应的x值。
lts-flink-connector仅保证At-Least-Once语义。 lts-flink-connector source和sink日志不能为同一个日志流。 flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取
转后的文件末尾可能会有少量日志还未被采集,ICAgent将通过Linux的inode识别采集文件的唯一性,如果您轮转后的日志文件是压缩文件,则inode会发生变化。由于您的日志文件名和inode都发生变化,ICAgent将无法保证一定会采集到该轮转文件末尾未被采集的少量日志。 例
在“我的凭证”页面,单击“访问密钥”页签。 单击“新增访问密钥”。 图3 新增访问密钥 每个用户最多可创建2个访问密钥,不支持增加配额。如果您已拥有2个访问密钥,将无法创建访问密钥。 如需修改访问密钥,请删除访问密钥后重新创建。 为了保证历史兼容性,我们会使用访问密钥创建时间作为最近使用时间的初始值。在
日志时间 日志时间与LTS系统时间差<1小时,否则任务执行失败,无法生成指标上报AOM。 日志时间需要保证基本有序,乱序严重或者超时太严重将无法处理。 典型的:当采集端所在机器没有从NTP服务器同步时间,或者日志采集出现严重积压延时,可能导致日志时间无法保证基本有序,影响日志生成指标的聚合统计。
搜索与分析限制 本文介绍云日志服务查询与分析的限制。 搜索 表1 日志搜索限制 限制项 说明 备注 日志采集到搜索时延 从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟(非阻塞情况下)。 不涉及。 关键词个数 关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。
背景需求: 当program字段值为access时,对字段content做一次PSV(pipe分隔的解析),然后丢弃content字段。 将request: GET /zf/11874.html HTTP/1.1字段拆分为request_method、http_version以及request。