检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用柱状图展示查询数据。在通用配置下方,参考表1配置参数。 图1 柱状图
通过流程控制函数中的e_if函数、操作符函数中的op_and和op_or函数、IP解析函数中的ip_cidrmatch函数删除内网日志。 更多加工语法请参考DSL数据加工语法(邀测)。 在“测试数据”页签输入测试数据,参考如下:(以下示例仅供参考,请以实际上报的数据为准) 模拟测试时需要将srcaddr的值改为公网IP。
在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用折线图展示查询数据。在通用配置下方,参考表1配置参数。 图1 折线图
日志结构化只对新增结构化配置之后写入的数据生效。 不涉及。 返回结果 默认最多返回100条数据。 如果需要返回更多数据,可以使用SQL查询语法单独配置返回查询结果。 不涉及。 LIMIT上限为5000条。 不涉及。 字段值大小 结构化字段最大大小为16KB,超过部分不参与分析。 不涉及。
flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 CREATE
意,您关闭权限的决定不会影响此前基于您授权所进行的个人信息处理活动的效力。 权限 权限描述 使用目的 获取网络状态权限 获取网络状态 用于检测当前的网络连接是否有效 获取Wi-Fi状态权限 获取Wi-Fi状态 用于获取当前Wi-Fi接入的状态 对未成年人的保护 我们非常重视对未成
状态:结果精确”。 根据SQL查询返回的数据,依照您的业务需求选择不同图表类型,呈现查询结果。 关于更多SQL查询的说明,请参见SQL分析语法介绍。 新建图表。 单击“新建”,新建可视化图表。 或单击“保存”,将当前查询结果新建为可视化图表。 在创建图表页面中,配置相关参数。 如
供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用饼图展示查询数据。在通用配置下方,参考表1配置参数。 图1 饼图
huaweicloud.com/" } 如果想对base64_url进行解码,可以使用base64_decoding(v("base64_url"))DSL语法规则。 场景8:订单号脱敏 对日志内容中的订单号做脱敏处理,同时不希望其他人能够解码,可运用MD5编码函数,对订单号进行编码。 原始日志 {
日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 支持区域: 全部 正则分析 JSON 分隔符 Nginx 结构化模板 可视化 可视化提供对结构化后的日志字段进行SQL查
在消息模板页签,单击“创建”,在界面右侧弹出的“创建消息模板”页面中,配置消息模板的相关参数。 邮件内容支持html标签和消息预览。 企业微信、钉钉、飞书支持markdown语法和消息预览。 针对AOM和LTS,最多可以创建100(包含)条消息模板,如果消息模板数量已达上限100个时,请删除不需要的消息模板后重新创建。
持SQL作业 LtsDynamicSource和LtsDynamicSink table作业,支持LTS日志直接接入flink,支持SQL语法,示例如下: public static void main(String[] args) throws Exception { Stre
LTS:按需付费,LTS自动管理百PB级日志,不用关心底层资源消耗情况。 日志搜索 SQL分析日志 ☆☆☆☆☆ ☆☆ ELK:SQL性能差,语法上不支持嵌套SQL。 LTS:SQL性能强,支持嵌套SQL。 日志搜索 SQL函数 ☆☆☆☆☆ ☆☆ ELK:只支持最基础的SQL统计函数。
日志结构化解析方式:建议您打印的业务日志使用空格分割或者JSON格式,这样方便快速配置日志结构化解析规则。 日志可视化呈现: 您可以创建自定义的仪表盘,使用类SQL语法分析已经结构化处理好的业务日志。自定义的仪表盘中,你可以添加多个图表,也可以添加过滤器,使用LTS做业务分析,可以减少采购数据仓库,没有额外成本,上手更简单。
其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志内容为: error,400,I Know 今天是星期一。
其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志内容为: error,400,I Know 今天是星期一。
组合解析 适用于多格式嵌套的日志(例如:分隔符+JSON),根据语法自定义配置解析规则。 选择组合解析。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,在插件配置下方输入配置内容。 您可以根据日志内容参考以下插件语法自定义设置: processor_regex 表1 正则提取
uery参数内容进行查询,且body体中除start_time与end_time以外的参数失效,分页、排序、查询结果条数等功能请依照sql语法规则实现。查询结果的响应体不同于未启用时的查询方式,将以默认列存的形式返回查询结果。当前仅对内测用户开放。响应示例:{"analysisLogs":[{"field1":"1"