检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。 单击“下一步:索引配置”。 步骤5:索引配置 索引配置(可选项),具体请参考设置LTS日志索引配置。 单击“提交”。 步骤6:完成接入配置 接入成功后会生成一条接入配置信息。 单击接入配置名称可进入详情页面,查看该接入配置详细信息。
此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。 单击“下一步:索引配置”。 步骤4:索引配置 索引配置(可选项),具体请参考设置LTS日志索引配置。 单击“提交”。 步骤5:完成接入配置 接入成功后会生成一条接入配置信息。 单击接入配置名称可进入详情页面,查看该接入配置详细信息。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为APIG系统模板,索引配置时将所有APIG解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对APIG日志进行SQL分析,并提供可视化图表。 自动为日志流添加标
指标可视化和告警:创建成功后,您可以前往应用运维管理AOM控制台的仪表盘配置指标可视化图表,或者前往AOM告警规则配置指标告警。 建议每个日志流配置规则数量<= 5个。 在对应规则的操作列,支持复制、修改、删除规则。 父主题: 日志消费与加工
precision、boolean、timestamp、decimal、integer、char、date。 是 表3 索引数据类型和SQL数据类型的对应关系 索引的数据类型 SQL的数据类型 long bigint string varchar float double或double
自建中间件(邀测) 中间件-MySQL日志 中间件-Redis日志 中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为ELB系统模板,索引配置时将所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:
日志搜索与分析(默认推荐) 日志搜索与分析概述 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 分析LTS日志 SQL分析语法介绍
支持IAM项目方式授权,因此针对仅支持IAM项目方式授权时需注意: 授权时选择“IAM项目视图”。 图1 IAM项目视图 选择授权范围时,建议根据最小化授权原则,选择“指定区域项目资源”,具体请根据实际业务情况选择授权范围。 LTS权限 默认情况下,管理员创建的IAM用户没有任何
日志搜索与分析(管道符方式-邀测) 进入搜索LTS日志页面 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 SQL函数
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
完成后,单击Save & Test。 添加仪表盘 在左侧菜单栏中,单击 选择Dashboards,在New dashboard页面中,单击add an empty panel。 在New dashboards页面中,选择hws-lts-grafana-datasource-plugin插件和填写对应的sql语句。
结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开关,将使用结构化字段配置字段索引,同时会打开快速分析按钮。开启该按钮后,默认将内置字段hostIP、hostName和pathFile配置为索引字段,并打开快速分析。
结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开关,将使用结构化字段配置字段索引,同时会打开快速分析按钮。开启该按钮后,默认将内置字段hostIP、hostName和pathFile配置为索引字段,并打开快速分析。
认使用系统时间上报,这样可能会和文件内容中的时间不一致。如果没有特殊需求,建议使用单行日志-系统时间模式即可。 单击“下一步:索引配置”。 步骤6:索引配置 索引配置(可选项),具体请参考设置LTS日志索引配置。 单击“提交”。 步骤7:完成接入配置 接入成功后会生成一条接入配置信息。
产品功能 在使用云日志服务LTS之前,建议您先通过表1了解LTS提供的主要功能。 表1 产品功能 功能 说明 端云全场景日志接入 支持40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚,满足全场景客户丰富的日志接入需求。 实时采集日志 云日志服务提供实时日志采集功能
无 ELK:未提供实时日志查看页面。 LTS:提供实时日志查看页面。 百亿日志秒级搜索 ☆☆☆☆☆ ☆☆ ELK:自建ELK受限于机器资源数量,搜索海量日志时耗时较长。 LTS:利用公有云海量的弹性计算资源,百亿日志可以在3秒内返回搜索结果。 千亿级日志迭代搜索 ☆☆☆☆☆ 无
全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 CREATE TABLE