丢弃日志。 当maxBlockMs值=-1时,则一直阻塞到发送成功,且不会丢弃日志。 long 选填 60S MaxIoWorkers 执行日志发送任务的任务池大小。 int 选填 默认10个 MaxBatchSize 当一个 ProducerBatch 中缓存的日志大小大于等于
SQL IP函数 SQL数学函数 SQL时间函数 SQL最值函数 SQL字符串函数 SQL SPLIT函数 SQL比较运算符 SQL IP地址函数 SQL归约函数 SQL其他函数 SQL JOIN语法 SQL查询样例 父主题: 日志搜索与分析(默认推荐)
2(存储膨胀)*2(50%磁盘冗余) = 13200GB磁盘。 搭建ES最小典型配置是3台ECS(16U64G5TB),kafka双副本能支持缓存最近12小时的日志。 表1 自建ELK 大类 小类 月成本(合计:12597元) 费用占比 搭建ES 3 * ECS(C6 16U64G) 3*1999=5997元 47
数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。 数据过滤:过滤出关键服务的日志,用于重点分析。 父主题: DSL加工(邀测)
慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
日志高级转储流量费用=转储流量(GB,非压缩)× 每GB单价 无 计费示例 以全文索引使用场景为例。 表格中的价格仅为示例,实际计算请以价格计算器中的价格为准。 假设您有1台服务器,每天产生100GB原始日志,并开启全文索引,日志存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志)。开启智
参数 参数类型 描述 next_marker String 返回下一页查询地址(为空时,代表后面没有数据) 最小长度:0 最大长度:5000 previous_marker String 返回前一页查询地址 最小长度:0 最大长度:5000 current_count String
IP_TO_COUNTRY (client_ip) = '中国' group by province HAVING province not in ('','保留地址','*') order by cnt desc limit 100 有效访问用户TOP图表所关联的查询分析语句如下所示: SELECT
查看LTS审计事件 概述 云审计服务(Cloud Trace Service,CTS)可以记录LTS相关的操作事件,便于日后的查询、审计和回溯。 开通了云审计服务后,系统开始记录LTS资源的操作。云审计服务管理控制台保存最近7天的操作记录。 开通云审计服务 云审计服务的开通请参见开通云审计服务。
管理日志流 云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。如果日志较多,需要分门别类,建议您创建多个日志流,并给日志流做好命名,方便后续快速查找日志。例如,您可以将操作日
"lts-topic-ECS", "log_beAgencystream_id" : "36ce06b0-c6bf-436d-9abe-39de86da28bb", "log_beAgencygroup_name" : "lts-group-sgqECS", "
Double类型的字段值位数 Double类型的字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 不涉及。 IP函数时效性 IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。
res_obs_file(endpoint,bucket,file) 参数说明 参数名称 数据类型 是否必填 说明 endpoint String 是 OBS中保存的文件地址。如obs.cn-north-4.huawei.com bucket String 是 OBS中使用的桶名,如lts-dsl。 file String
从IAM服务获取的用户Token,获取方式请参见:获取用户Token 最小长度:1000 最大长度:2000 Content-Type 是 String 该字段填为:application/json;charset=UTF-8。 最小长度:30 最大长度:30 表3 请求Body参数 参数 是否必选 参数类型
首次重试的退避时间。 long 选填 0.1S maxRetryBackoffMs 重试的最大退避时间。 long 选填 50S giveUpExtraLongSingleLog 超过1M的日志, 拆分后丢弃大于1M的数据。 boolean 选填 false enableLocalTest
appName 日志标签appName字段。 String 选填 - pathFile 日志标签pathFile字段。 String 选填 - totalSizeInBytes 单个producer实例能缓存的日志大小上限。 int 选填 100M(100 * 1024 * 1024) maxBlockMs
07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1) JSON格式示例: {"host_name":"ecs-bd70","ip":"192
从IAM服务获取的用户Token,获取方式请参见:获取用户Token 最小长度:1000 最大长度:2000 Content-Type 是 String 该字段填为:application/json;charset=UTF-8。 最小长度:30 最大长度:30 响应参数 状态码:200 表3 响应Body参数
从IAM服务获取的用户Token,获取方式请参见:获取用户Token 最小长度:1000 最大长度:2000 Content-Type 是 String 该字段填为:application/json;charset=UTF-8。 缺省值:None 最小长度:30 最大长度:30 响应参数 状态码:403
的场景。 基本要求 您的产品及服务需要尊重用户隐私,遵守国家的数据保护法律和法规。禁止参与任何干扰、干涉、损害、未授权访问任何终端设备、服务器、网络的活动。 (一)隐私政策要求 您需根据法律要求以自身名义发布隐私政策,并就个人信息的处理行为获取用户同意或取得其他合法性基础。隐私政策的要求包括不限于如下:
您即将访问非华为云网站,请注意账号财产安全