检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字
单击源日志流操作列的,在修改日志流页面,关闭日志存储和日志存储时间。 图1 修改日志流 单击“确定”。关闭日志存储后,日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 父主题: 日志管理
request_length )/ 1024.0 / 600, 2 ) AS "流入流量(KB/s)", round( sum( body_bytes_sent )/ 1024.0 / 600, 2 ) AS "流出流量(KB/s)" where request_length
2(存储膨胀)*2(50%磁盘冗余) = 13200GB磁盘。 搭建ES最小典型配置是3台ECS(16U64G5TB),kafka双副本能支持缓存最近12小时的日志。 表1 自建ELK 大类 小类 月成本(合计:12597元) 费用占比 搭建ES 3 * ECS(C6 16U64G) 3*1999=5997元 47
多渠道:例如广告商、地推(传单)等。 多终端:网页版、公众账号、手机、浏览器(Web、移动端页面)等。 异构网:VPC、用户自建IDC,华为云ECS等。 多开发语言:核心系统Java、前端Nginx服务器、后台支付系统C++。 设备:商家有不同平台(X86、ARM)设备。 我们需要把散落在外部、内部的日志收集起来,然后通过LTS实现统一管理日志。
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
1024.0 / 600, 2 ) AS "流入流量(KB/s)", round( sum( try_cast( body_bytes_sent AS double precision ) )/ 1024.0 / 600, 2) AS "流出流量(KB/s)" GROUP BY dt
通过LTS仪表盘可视化ELB日志分析结果 当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考结构化配置。
setMaxRetryBackoffMs(500L) // 默认false, true: 可以跨云上报日志, false: 仅能在华为云ecs主机上报日志 // .setEnableLocalTest(false) // 超过1M的日志
report_topic) 数据发送流量图表所关联的查询分析语句如下所示: SELECT "time", case when traffic is null then 0 else round(traffic*1.0/1024/1024,2) END AS "发送流量 MB" from
例如:在nginx日志中,将特定的状态码转换为文本格式,可以使用普通映射函数e_dict_map。 状态码 文本 200 成功 300 跳转 400 请求错误 500 服务器错误 搜索映射函数的映射关键字是查询字符串,支持正则表达式匹配、完全匹配、模糊匹配等形式。搜索映射函数包括e_search_dict_ma
中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
AccessKeySecret 华为云账号的SK。 String 必填 - RegionName 云日志服务的区域。 String 必填 - Endpoint 上报的服务器域名或IP。 String 必填 - MaxBlockSec 如果 producer 可用空间不足,调用者在 send 方法上的最大阻塞时间,默认为
AccessKeySecret 华为云账号的SK。 String 必填 - RegionName 云日志服务的区域。 String 必填 - Endpoint 上报的服务器域名或IP。 String 必填 - TotalSizeInBytes 单个producer实例能缓存的日志大小上限。 int 选填 100M(100
<!-- enableLocalTest:默认false, true: 可以跨云上报日志, false: 仅能在华为云ecs主机上报日志--> <ltsLog name="log4j2sdkappender"
方法1:通过CocoaPods集成。 在Podfile中添加CocoaPods官方仓库。 source 'https://github.com/CocoaPods/Specs.git' 在Podfile中添加依赖。 pod 'LTSSDK' , '1.0.27' 在终端执行。 pod install --repo-update
错误码 最小长度:8 最大长度:8 error_msg String 错误描述 最小长度:1 最大长度:1000 请求示例 修改日志接入(ECS) PUT https://{endpoint}/v3/{project_id}/lts/access-config { "access_config_id"
setMaxRetryBackoffMs(2000L) // 默认false, true: 可以跨云上报日志, false: 仅能在华为云ecs主机上报日志 //.setEnableLocalTest(false) .builder();
管理LTS主机组 裸金属服务BMS文本日志接入LTS 云容器引擎CCE应用日志接入LTS 云主机ECS文本日志接入LTS ServiceStage容器应用日志接入LTS ServiceStage云主机日志接入LTS 自建K8s应用日志接入LTS ICAgent结构化解析规则说明 父主题:
成本。 应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。 日志减肥瘦身,节约后续使用成本。丢弃不需要的日志数据,节约存储成本、流量成本。 敏感数据脱敏,例如:将用户的身份证、手机号码脱敏。 日志分类投递,例如:按照日志级别:ERROR、WARNING、INFO 将日志分类,然后分发到不同的日志主题。