检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BS,供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
日志流后无法配置结构化解析,无法使用SQL可视化分析。 单个日志流的写入速率上限是100MB/S,集中采集对于大流量场景有性能瓶颈。 采集到自定义日志流 优点: 不同的工作负载的日志结构不一样,采集到不同日志流后可以配置结构化解析,使用SQL可视化分析。 多个日志流的写入速率累加
日志数据不会生效。 在字段索引功能上线前,SQL分析支持的字段来自于云端结构化解析;在字段索引功能上线后,只要用户配置了字段索引,SQL分析支持的字段将来自于字段索引,因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响,请谨慎操作!
日志数据不会生效。 在字段索引功能上线前,SQL分析支持的字段来自于云端结构化解析;在字段索引功能上线后,只要用户配置了字段索引,SQL分析支持的字段将来自于字段索引,因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响,请谨慎操作!
线、冒号开头。 填写指标含义。 单击“下一步”。 在“指标预览”下方预览信息。该预览信息是基于用户配置的日志过滤和统计规则,对日志流执行SQL查询模拟生成的指标结果,依赖用户先将日志采集到LTS,并配置好结构化解析规则和索引配置 ,否则此处预览结果展示为空。 配置日志的统计方式。
LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据 不支持更新和删除结果表数据,只支持插入数据。 使用限制 仅flink1.12版本支持云日志服务提供的lts-flink-connector工具。
日志流后无法配置结构化解析,无法使用SQL可视化分析。 单个日志流的写入速率上限是100MB/S,集中采集对于大流量场景有性能瓶颈。 采集到自定义日志流 优点: 不同的工作负载的日志结构不一样,采集到不同日志流后可以配置结构化解析,使用SQL可视化分析。 多个日志流的写入速率累加
results[0].raw_results; sql告警特有变量: 日志组/流名称:$event.annotations.results[0].resource_id; 查询语句:$event.annotations.results[0].sql; 查询时间:$event.annotations
results[0].raw_results; sql告警特有变量: 日志组/流名称:$event.annotations.results[0].resource_id; 查询语句:$event.annotations.results[0].sql; 查询时间:$event.annotations
"2c228bd1-cbf1-41fb-b563-0ca2769202b2", "target_log_stream_name" : "mysql" } } ] } } 响应示例 状态码:200 请求响应成功, 成功更新接入配置 { "rule_id" :
alue键值的场景,可以通过内置系统模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 使用限制 若未配置索引配置,结构化字段默认分词符为空,最大长度限制为20KB,超过部分会被截断。 若已配
alue键值的场景,可以通过内置系统模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 使用限制 若未配置索引配置,结构化字段默认分词符为空,最大长度限制为20KB,超过部分会被截断。 若已配
"2c228bd1-cbf1-41fb-b563-0ca2769202b2", "target_log_stream_name" : "mysql" } } ] } } 响应示例 状态码:201 请求响应成功, 成功创建接入配置。 [ { "project_id"
编码解码函数 本文介绍编码解码函数的语法规则,包括参数解释、函数示例等。 函数列表 分类 类型 函数 说明 编码与解码 字符串类型 str_encode 对数据进行编码。 str_decode 对数据进行解码。 Base64类型 base64_encoding 对数据进行Base64编码。
警规则(log-statistics-alarm)。 日志资源使用量会每小时统计一次。 系统自动创建一条告警规则(日志资源使用量预警),SQL告警语句为:select write_traffic,index_traffic,storage,条件表达为:write_traffic >
包含中文,分词符使用默认分词符, '";=()[]{}@&<>/:\\?\n\t\r 日志分析:默认开启“日志分析”,配置的字段索引支持SQL可视化分析。 字段索引:云日志服务LTS默认为部分内置保留字段创建字段索引,例如hostIP、hostName、pathFile字段。更多
在开启智能冷存储功能后,如果标准存储时间增大,冷存储数据的存储时间仅对最新数据生效,冷存储数据不会重新转为标准存储。 在开启智能冷存储功能后,在可视化日志、仪表盘、定时SQL的查询时间范围查询日志时,不支持查询涉及冷存储的时间段,需将查询时间设置为标准存储的时间范围。 表2 冷存储和标准存储区别 对比项 标准存储
AOM1.0、AOM2.0与LTS分别有什么关系? 应用运维管理(Application Operations Management,简称AOM1.0)是云上应用的一站式立体化运维管理平台,实时监测您的应用及相关云资源,分析应用健康状态,提供灵活丰富的数据可视化功能,帮助您及时发
云日志服务Java SDK(标准插件) 云日志服务SDK提供了Java语言上报未结构化日志的一系列方法,方便用户直接使用编码方式上报未结构化日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。
创建DSL加工任务 DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。