检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持分布式消息服务Kafka日志接入LTS。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。 具体接入方法请参见查看Kafka重平衡日志。
和停止信息、配置加载、节点连接和断开、请求处理、选举过程等。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Zookeeper日志示例以及字段含义
服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
和带宽资源独占式的Kafka专享实例。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。 云日志服务支持日志采集向导一站式采集DMS重平衡日志,支持多维度分析,并为DMS-Rebalance日志配置结构化和仪表盘。该仪表盘
图1 方案流程图 将自建ELK日志导入云日志服务LTS 登录云日志服务控制台。 请参考安装ICAgent在ECS主机安装ICAgent。 配置ECS日志接入云日志服务,请参考ECS接入。 脚本执行前期准备。以下示例仅供参考,请以实际信息填写为准。 首次使用python,需要安装python环境。
sinks.k1.channel = c1 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 采集TCP端口日志,参考如下示例添加采集端口的conf文件。 a1
sinks.k1.channel = c1 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 采集TCP端口日志,参考如下示例添加采集端口的conf文件。 a1
多渠道:各种渠道数据分散,例如广告商、推广人员等。 多终端:网页版、公众账号、手机、浏览器(Web、移动端页面)等。 异构网:VPC、用户自建IDC,华为云ECS等。 多开发语言:核心系统Java、前端Nginx服务器、后台支付系统C++。 设备不同:商家有不同平台(X86、ARM)设备。
基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 ICAgent结构化解析规则
基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 日志接入前,您可以提前了解I
一站式采集NGINX日志,并为NGINX日志配置结构化和仪表盘。Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。 NGINX仪表盘模板支持查看NGINX秒级监控、查看NGINX访问中心和查看NGINX监控中心。
"errorMessage": "Report success.", "result": null } 状态码: 401 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 { "errorCode" : "SVCSTG.ALS.403.105",
选择“虚拟专用网络 > 企业版-VPN连接”,单击“创建VPN连接”。 此处网关IP为数据中心的网关IP地址且需要放通UDP端口4500。 图3 创建VPN连接 配置VPN链接。 选择“虚拟专用网络 > 企业版-VPN连接”,单击“创建VPN连接”。 配置连接参数如下: 连接模式选择策略模式,对端
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据
计费样例 计费场景1:免费使用场景 云日志服务支持每个月500 MB/月的免费额度。 假设您有1台服务器,每天产生10MB原始日志,并开启全文索引,日志标准存储时长7天(存储日志的时长,只存7天的日志,第8天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天
权限的作用范围:指定区域项目资源。 委托创建成功后,设置委托生效。 进入弹性云服务器控制台。 单击需要安装ICAgent的弹性云服务器名称,进入弹性云服务器参数配置页面。 您可以在购买ECS机器时设置委托,请在“购买弹性云服务器”页面,“高级配置”下方的“委托”中选择已创建的委托名称。待剩
{"1": "TCP", "2": "UDP", "3": "HTTP", "6": "HTTPS", "*": "Unknown"}, "pro", "protocol", ) 加工结果 data: 123 pro: 1 protocol: TCP 示例2:根
应用场景 应用场景1:应用运维 企业在日常业务运维、审计或等保时,需要收集各种类型的日志,常遇到如下痛点: 企业部门多且日志繁杂,日志量大。 云服务资源种类数量多,不熟悉监控指标和运维日志,运维难度大。 安全合规要求高,等保合规要求日志长期存储,人力不足,维护成本高。 基于云日志服务LTS可以实现:
虚拟私有云VPC接入LTS 支持虚拟私有云VPC日志接入LTS。 前提条件 购买并使用华为云VPC实例。 使用限制 目前支持的弹性云服务器,请参见VPC流日志简介。 设置VPC接入 云日志服务接入方式为虚拟私有云 VPC时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“接入
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时