检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的运维人员需要依赖日志监控告警实现故障定位分析,同时集团安全部门需要统一监控日志,因此多账号的统一日志管理成为企业痛点: 分业务独立运维:客户每个业务模块都有一个独立的账号做资源隔离,依赖日志服务配置监控告警,快速分析发现故障并定位根因。 安全部门统一监控日志:客户使用多账号管理
、8149、8923、8102添加监听器,具体请参见添加TCP监听器。 图3 添加监听器 为后端服务器组添加跳板机,具体请参见添加后端服务器。 图4 添加云服务器 配置跳板机安全组规则,并开通转发端口。 修改跳板机ECS使用的安全组规则。 单击ECS主机名称进入详情页。 在安全组
查看LTS告警列表 云日志服务支持对日志数据进行监控,通过配置关键词告警规则或sql告警规则,定时查询日志数据。当设置的匹配条数或条件表达式满足时,将告警进行上报,用户可以在LTS控制台查看告警。 前提条件 已创建告警规则。 查看告警 登录云日志服务控制台。 左侧导航选择“日志告警”。
云日志服务支持创建搜索分析类型、关键词统计类型、SQL统计类型的日志告警规则,根据设置的告警规则触发告警,可以在告警列表查看上报的告警详情,实时监控服务运行状态。或者通过告警行动规则将上报告警以短信,手机,邮件等多种形式发送告警通知,方便用户及时处理告警问题。 功能优势 易于开始,便于复制。
数据,并将查询结果通过统计图表的方式进行可视化展示,帮助用户更容易地理解日志数据之间的变化。用户还可以将图表分析结果保存到仪表盘,进行长期监控。 限制说明 目前此功能支持全部用户使用的局点有:华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、华东-上
选择“连通LTS后端方式”为“跳板机”时: 创建Linux操作系统的ECS弹性云服务器作为跳板机。 登录弹性云服务器控制台,创建一个Linux操作系统的ECS。创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有符合条件ECS,可直接使用作为跳板机,不需要再次创建。 推荐CentOS 6
权限的作用范围:指定区域项目资源。 委托创建成功后,设置委托生效。 进入弹性云服务器控制台。 单击需要安装ICAgent的弹性云服务器名称,进入弹性云服务器参数配置页面。 您可以在购买ECS机器时设置委托,请在“购买弹性云服务器”页面,“高级配置”中选择“现在配置”,在“委托”中选择已创建
打开快速分析按钮。配置结构化和索引后,才能对VPC日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=vpc_flow 开启该按钮,自动为日志流添加标签log_type=vpc_flow后,VPC仪表盘模板才能匹配该日志流。 自动为日志流创建仪表盘 开
云日志服务(LTS)支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度和格式,方便进行搜索与分析。详细
日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签”,分别填写标签键key和标签值value。 说明: 如需添加多个标签可重复该步骤,最多支持添加20个标签。 如需删除标签可单击标签操作列的“删除”。 标签键长度不能超过12
接收UDP日志,参考如下示例添加采集Syslog协议的conf文件。 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type=syslogudp #host_port为syslog服务器的端口 a1.sources
接收UDP日志,参考如下示例添加采集Syslog协议的conf文件。 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type=syslogudp #host_port为syslog服务器的端口 a1.sources
根据日志中的http_status字段的值的不同,为每条日志添加不同的type信息。 为http_status为2XX的日志,添加type字段,并将字段值设置为正常。 为http_status为3XX的日志,添加type字段,并将字段值设置为重定向。 为http_status为4XX的日志,添加type字段,并将字段值设置为错误。
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 iis日志示例以及字段含义 #Software: Microsoft Internet
图1 方案流程图 将自建ELK日志导入云日志服务LTS 登录云日志服务控制台。 请参考安装ICAgent在ECS主机安装ICAgent。 配置ECS日志接入云日志服务,请参考ECS接入。 脚本执行前期准备。以下示例仅供参考,请以实际信息填写为准。 首次使用python,需要安装python环境。
计费样例 计费场景1:免费使用场景 云日志服务支持每个月500 MB/月的免费额度。 假设您有1台服务器,每天产生10MB原始日志,并开启全文索引,日志标准存储时长7天(存储日志的时长,只存7天的日志,第8天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天
当用户扩容主机时,只需在主机组中添加主机,该主机会自动继承关联的日志路径,无需为每台主机重复配置路径。 当用户修改多个主机采集路径时,只需修改对应的主机组关联的路径,无需为每台主机重复配置路径。 支持区域: 全部 创建主机组 修改主机组 云主机ECS文本日志接入LTS LTS可以将
FlinkLtsLogConsumer<>(LOG_STREAM_ID, deserializer, configProps)); 监控消费进度(可选) FlinkLtsLogConsumer支持设置消费进度监控,所谓消费进度就是获取每一个shard实时的消费位置,这个位置使用时间戳表示,详细操作可以参考文档创建消费组。
由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系统的历史记录收集,以免泄露隐私。安装后ICAg
多渠道:例如广告商、地推(传单)等。 多终端:网页版、公众账号、手机、浏览器(Web、移动端页面)等。 异构网:VPC、用户自建IDC,华为云ECS等。 多开发语言:核心系统Java、前端Nginx服务器、后台支付系统C++。 设备:商家有不同平台(X86、ARM)设备。 我们需要把散落在外部、内部的日志收集起来,然后通过LTS实现统一管理日志。