检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
request_length )/ 1024.0 / 600, 2 ) AS "流入流量(KB/s)", round( sum( body_bytes_sent )/ 1024.0 / 600, 2 ) AS "流出流量(KB/s)" where request_length
1024.0 / 600, 2 ) AS "流入流量(KB/s)", round( sum( try_cast( body_bytes_sent AS double precision ) )/ 1024.0 / 600, 2) AS "流出流量(KB/s)" GROUP BY dt
单击源日志流操作列的,在修改日志流页面,关闭日志存储和日志存储时间。 图1 修改日志流 单击“确定”。关闭日志存储后,日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 父主题: 日志管理
report_topic) 数据发送流量图表所关联的查询分析语句如下所示: SELECT "time", case when traffic is null then 0 else round(traffic*1.0/1024/1024,2) END AS "发送流量 MB" from
云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化,云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 图1 不同解析方式 注意事项 日志结构化是以日志流为单位。 日志流中的大部分日志需有一定的规则,否则结构化是无意义的。 结构化配置
云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化,云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 图1 不同解析方式 注意事项 日志结构化是以日志流为单位。 日志流中的大部分日志需有一定的规则,否则结构化是无意义的。 结构化配置
成本。 应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。 日志减肥瘦身,节约后续使用成本。丢弃不需要的日志数据,节约存储成本、流量成本。 敏感数据脱敏,例如:将用户的身份证、手机号码脱敏。 日志分类投递,例如:按照日志级别:ERROR、WARNING、INFO 将日志分类,然后分发到不同的日志主题。
是 String 资源类型,log_group / log_stream / tenant search_type 是 String 查询流量类型值为:write,index,storage,basicTransfer,seniorTransfer,coldStorage resource_id
单台Syslog服务器处理日志能力为10MB/s,如果您的日志量较大,或者希望可靠性更高,可以购买多台ECS配置为Syslog服务器,并配置ELB负载均衡分发流量。 您需要在Syslog服务器上安装ICAgent,并配置日志采集规则,就可以将日志采集到LTS。 资源规划 购买两台ECS机器,一台EC
TS。 跳板机:跳板机作为数据转发器,将区域外主机ICAgent采集到的数据转发给LTS。当您在进行测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量日志场景推荐您使用VPCEP。 VPCEP:即VPC终端节点,能够提供便捷、安全的通道用于与华为云当前区域LTS进
CFW访问控制日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW攻击日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW流量日志 根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志
CFW访问控制日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW攻击日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW流量日志 根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志
若关闭日志存储,则无法开启日志存储时间。 开启“日志存储”:日志将会被存入搜索引擎,能使用日志全量功能。 关闭“日志存储”:日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 日志存储时间(天) 日志流的存储时间,即日志上报到LTS后日志存储的时间。
支持和其他函数组合使用。 e_search 提供一种简化,类似Lucene语法的事件搜索方式。该功能在邀测期间,e_search函数处理日志流量比较小,请谨慎使用。 函数格式 e_search(querystring) 参数说明 参数名称 参数类型 是否必填 说明 querystring
测试结果:SDK上报日志的数据量为10MB/s,速率为1.2w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,使用多个producer上报日志,分摊流量,以保障SDK处于正常上报状态。 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。
测试结果:SDK上报日志的数据量为15MB/s,速率为1.5w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,使用多个producer上报日志,分摊流量,以保障SDK处于正常上报状态。 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。
"status":400, "message":"I Know XX" } 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 云日志服务默认
单个日志流的写入速率上限是100MB/S,集中采集对于大流量场景有性能瓶颈。 采集到自定义日志流 优点: 不同的工作负载的日志结构不一样,采集到不同日志流后可以配置结构化解析,使用SQL可视化分析。 多个日志流的写入速率累加起来可以线性扩增,自定义采集对于大流量场景没有性能瓶颈。 缺点:日志流数量较多,管理起来相对繁琐。
单个日志流的写入速率上限是100MB/S,集中采集对于大流量场景有性能瓶颈。 采集到自定义日志流 优点: 不同的工作负载的日志结构不一样,采集到不同日志流后可以配置结构化解析,使用SQL可视化分析。 多个日志流的写入速率累加起来可以线性扩增,自定义采集对于大流量场景没有性能瓶颈。 缺点:在CCE界面
SDK上报日志的数据量为60MB/s,速率为6w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,使用多个producer上报日志,分摊流量,以保障SDK处于正常上报状态。 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。