检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在导入其他配置页面勾选已创建好的配置,单击“确定”,即可直接复用该采集配置信息,后面的步骤可以不用设置了。 导入旧版配置:将旧版主机接入配置导入到新版日志接入中。 若是新安装云日志服务的场景,页面没有显示“导入旧版配置”,则表示不需要导入旧版配置,直接新建配置即可。 若是升级云
径,仅供参考,请以实际安装路径为准)。 添加MySQL驱动到FLUME_HOME/lib目录下: 下载MySQL驱动。 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35
径,仅供参考,请以实际安装路径为准)。 添加MySQL驱动到FLUME_HOME/lib目录下: 下载MySQL驱动。 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35
、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能,您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中,进行后续的大数据分析工作。 前提条件 日志已接入云日志服务(LTS)。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
LTS仪表盘模板主要介绍OBS导入任务监控仪表盘,例如查看OBS导入LTS的任务ID、任务名称、成功条数、失败条数、处理速率等,及时发现数据导入过程中可能出现的异常问题。 前提条件 OBS已接入LTS,详细请参考对象存储服务OBS接入LTS(邀测)。 OBS导入任务监控仪表盘 登录云日志服务控制台。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
16MB/s),日志平均存储30天,30天原始日志总量为3000GB,日志存储方式为一主一副本。 根据Elasticsearch官方推荐,在一主一副本存储方式下,原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储3000GB原始日志,至少需要准备3000GB*2
istics,您可以查看OBS文件导入LTS任务监控中心或者配置告警规则,及时发现数据导入过程中可能出现的异常问题。 OBS数据源配置 OBS桶 选择需要导入日志文件到LTS的OBS桶。 文件夹前缀 输入待导入的OBS文件前缀,用于准确定位待导入的文件,支持输入文件前缀your_
什么是云日志服务 云日志服务(Log Tank Service,简称LTS)是高性能、低成本、功能丰富、高可靠的日志平台。 提供全栈日志采集、百亿日志秒搜、PB级存储、日志加工、可视化图表、告警和转储等功能,满足应用运维、等保合规和运营分析等应用场景需求。 介绍视频 LTS的核心价值
自建中间件 中间件-MySQL日志 中间件-Redis日志 中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
不区分关键词的顺序,按照搜索逻辑命中关键词即可。 举例说明 假设您的日志流中存在2条原始日志,如下: 原始日志1:this service is lts 原始日志2:lts is service 短语搜索:#"is lts",会命中1条日志。 关键词搜索:is lts,会命中2条日志。 短语搜索:#"lts
中间件-ElasticSearch日志 ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型:
示。 资源统计 在日志资源统计页面,支持查看资源统计、资源详情。日志资源统计是对日志进行分类统计及日志数据的可视化展示,统计日志资源的数据量仅供参考。 登录云日志服务控制台。 在日志总览下方,单击资源统计旁边的“相关明细”,进入日志资源统计详情页面。 资源统计主要展示日志资源数据
根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志 根据MYSQL资料中提供的日志字段被定义。 否 否 POSTGRESQL慢日志 根据POSTGRESQL慢日志资料中提供的日志字段被定义。 否 否 POSTGRESQL错误日志 根
根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志 根据MYSQL资料中提供的日志字段被定义。 否 否 POSTGRESQL慢日志 根据POSTGRESQL慢日志资料中提供的日志字段被定义。 否 否 POSTGRESQL错误日志 根
code查询具体情况。 LTS.0112 The count of database records exceeds the maximum value of %@,will delete %@ records before inserting. 数据库达到最大日志条数限制。 将自动删除适量老日志,再插入新日志。
请根据错误信息检查Keywords字段。 400 LTS.2001 Failed to create alarm rule 创建错误 核对projectId是否正常。 400 LTS.2002 Failed to delete alarm rule 删除错误 查看数据库服务是否正常或网络连接是否正常。
接收远程Syslog写入,需要手动开启。 日志接入 将自建ELK日志导入云日志服务LTS 本实践主要介绍使用自定义Python脚本和LTS采集器ICAgent,协助用户将日志从Elasticsearch(简称ES)迁移到LTS中。 日志接入 基于VPN打通网络实现API或SDK跨云上报日志到LTS
日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志