检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构:* and msg:"hello world" | SELECT avg(value) 管道符搜索方式的功能在邀测中,暂不支持申请开通。 目前支持两种查询方式(以kibana上的查询语句为例): 情景1:仅包含sql查询
String Topic的唯一的资源标识。 最小长度:1 最大长度:1024 display_name 否 String Topic的显示名,推送邮件消息时,作为邮件发件人显示。 最小长度:1 最大长度:1024 push_policy 否 Integer 消息推送的策略。 最小值:1
析结果,可控制每次返回的日志数量。本文介绍查询结果和分析结果的分页方法。 分页方式 云日志服务的日志搜索和统计图表功能支持在查询分析语句中同时实现关键字查询和针对查询结果进行SQL分析。 日志搜索:使用关键字查询,获取原始日志内容。您可以通过查询日志接口中的line_num、se
创建LTS快速分析 日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等,当您需要了解这些信息时,可以通过快速分析功能,指定查询日志关键词,LTS能够针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。
String Topic的唯一的资源标识。 最小长度:1 最大长度:1024 display_name 否 String Topic的显示名,推送邮件消息时,作为邮件发件人显示。 最小长度:1 最大长度:1024 push_policy 否 Integer 消息推送的策略。 最小值:1
String Topic的唯一的资源标识。 最小长度:1 最大长度:1024 display_name 否 String Topic的显示名,推送邮件消息时,作为邮件发件人显示。 最小长度:1 最大长度:1024 push_policy 否 Integer 消息推送的策略。 最小值:1
接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 每次上报的时候, 每条日志都必须带一个纳秒级的时间戳。在LTS界面查看日志的时候, 会按照时间戳排序展示在页面上。关于上报日志的约束与限制请参考日志读写限制。 URI POST
从IAM服务获取的用户Token,获取方式请参见:获取用户Token 最小长度:1000 最大长度:2000 Content-Type 是 String 该字段填为:application/json;charset=UTF-8。 最小长度:30 最大长度:30 表3 请求Body参数
虚拟私有云(Virtual Private Cloud,VPC)是隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性公网IP搭建业务系统。 VPC日志流中记录了虚拟私有云中的流量信息,可以帮助您检查和优化安全组和网络ACL控制规则、监控网络流量、进行网络攻击分析等。
除服务发现规则的权限策略,控制其对服务发现规则资源的使用范围。 如果华为账号已经能满足您的使用需求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用LTS的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。
AK:访问密钥ID,是与私有访问密钥关联的唯一标识符。访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK:与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 请获取并使用公共用户账号的AK/SK,请勿使用个人账号的AK/SK。 新增访问密钥 登录华为云,在右上角单击“控制台”。
startTimeNs(消费开始时间)和endTimeNs(消费结束时间),这里的时间指的是服务端时间。 SDK消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 通过startTimeNs/en
可以匹配到更精确的结果。 云日志服务LTS的英文是以单词的形式进行拆分的,单词的长度不一致,因此可以通过模糊搜索匹配拥有相同前缀英文单词的日志。 中文采用的是一元分词,每个字都是独立的,拆分后每部分的长度都是1。 例如:搜索语句星期一,代表搜索同时包含星、期、一的日志;搜索语句#
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
中间件-Redis日志 Redis的日志主要用于记录Redis服务器的运行状态、相关事件以及客户端执行的命令等信息。Redis的日志主要有系统日志和慢查询日志。 系统日志(System Log): 记录Redis服务器的启动、关闭、配置加载、持久化操作(如 RDB 和 AOF)等系统级事件。
从值或时间表达式中截取指定的时间粒度。 dt_add 根据指定的时间粒度修改值或时间表达式的值。 dt_MO dt_add函数中传递给weekday参数的值,用于表示特定星期一的偏移量。 dt_TU dt_add函数中传递给weekday参数的值,用于表示特定星期二的偏移量。 dt_WE
南-贵阳一。 图1 方案架构 约束与限制 VPN网关的本端子网与对端子网不能相同,即VPC和用户数据中心待互通的子网不能相同。 VPN网关和对端网关的IKE策略、IPsec策略、预共享密钥需要相同。 VPN网关和对端网关上配置的本端接口地址和对端接口地址需要互为镜像。 VPC内弹
本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入,通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志,包含当前信息状态,以及相关服务器和客户端节点的统计状态信息。 日志样例
用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。 典型的跳板机配置是2vCPUs | 4GB,每台跳板机可以支持约30MB/s的流量转发,您可以根据自身的日志流量配置合理数量的跳板机,多台跳板机配置ELB进行流量分发。