检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
文本解析 解析Nginx日志 提取字符串动态键值对 解析CSV格式日志 加工复杂JSON数据 解析与更新JSON数据 父主题: 日志加工(邀测)
SQL函数 目前此功能处于邀测中,暂不支持用户开通,邀测期间可能会偶现查询慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
使用统计图表将日志可视化 统计图表概述 LTS表格 LTS柱状图 LTS折线图 LTS饼图 LTS数字图 LTS数字折线图 LTS地图 LTS漏斗图 父主题: 日志可视化
使用API接入LTS API接入概述 上报日志接口参考 上报高精度日志接口参考 父主题: 日志接入
日志管理 日志管理概述 管理日志组 管理日志流 查看日志管理 设置多账号日志汇聚
日志消费与加工 DSL加工(邀测) DSL数据加工语法(邀测) 使用定时SQL进行日志加工 使用FunctionGraph服务提供的函数模板进行日志加工 日志生成指标(邀测) 使用消费组管理消费数据(邀测) 使用SDK-API消费日志(邀测)
LTS配置中心管理 设置LTS日志采集配额和使用量预警 设置LTS日志内容分词 设置ICAgent日志采集开关
自建中间件(邀测) 中间件-MySQL日志 中间件-Redis日志 中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 父主题: 日志搜索与分析(管道符方式-邀测)
搜索日志 LTS搜索语法介绍 创建LTS快速分析 保存LTS快速查询日志条件 父主题: 日志搜索与分析(管道符方式-邀测)
DSL加工(邀测) DSL加工概述 创建DSL加工任务 父主题: 日志消费与加工
DSL数据加工语法(邀测) 概述 操作符函数 全局操作函数 父主题: 日志消费与加工
目前此功能在邀测中,暂不支持申请开通。 前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证 >
目前此功能在邀测中,暂不支持申请开通。 前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证 >
使用云日志SDK前,您需要注册用户账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionid。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详情请参见“我的凭证 >API凭证”。 获取需要上报到LTS的日志组ID、日志流ID。
转储费用只统计用户的日志字段,LTS的内置保留字段不参与流量统计。 但是日志转储至OBS、DIS后,储存日志等功能由OBS和DIS独立计费,收费详情请参见:华为云定价。 说明: 目前华北-北京一、华北-北京二、华南-广州-友好用户环境、华南-深圳、华北-乌兰察布一、西南-贵阳一、华东-上海二、华东-青岛局点已全部开启日志转储计费功能。
所用模板id。当使用系统模板时,当前属性可以为空 template_name 是 String 所用模板名称,会对模板名称及id进行校验 template_type 是 String 所用模板类型,分为built_in及custom两种类型,对应系统模板和自定义模板, 详细系统模板类型参考
FlinkLtsLogConsumer<>(LOG_STREAM_ID, deserializer, configProps)); 监控消费进度(可选) FlinkLtsLogConsumer支持设置消费进度监控,所谓消费进度就是获取每一个shard实时的消费位置,这个位置使用时间戳表示,详细操作可以参考文档创建消费组。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书