检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink是一个大数据处理引擎的处理框架，是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎，用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟（每秒处理数百万个事件，毫秒级延迟），以及结果的准确性（Flink提供了时间事件（event-time）和处理事件
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
中间件-ElasticSearch日志 ElasticSearch是一个开源的分布式搜索和分析引擎，被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具，主要有以下两种类型： 主要日志（cluster-name
采集路径支持模糊匹配，匹配目录或文件名中的任何字符。示例：/var/logs/*/a.log、/var/logs/service/a*.log。 采集路径如果配置的是目录，示例：/var/logs/，则只采集目录下后缀为“.log”、“.trace”和“.out”的文件；如果配置的是文件名，则直接采集对应文件，只支持文本类型的文件。
ELK是Elasticsearch、Logstash和Kibana的简称，它们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logstash是一个开源的、服务器端的数据处理管道，能够同时从多个来源实
用户在查询分析日志时，查询分析结果内容过多会影响显示速度和查询体验。云日志服务LTS支持分页显示查询分析结果，可控制每次返回的日志数量。本文介绍查询结果和分析结果的分页方法。 分页方式 云日志服务的日志搜索和统计图表功能支持在查询分析语句中同时实现关键字查询和针对查询结果进行SQL分析。 日志搜索
Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录LTS的管理事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。
云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成：针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构：* and msg:"hello world" | SELECT avg(value) 管道符搜索方式的功能在邀测中，暂不支持申请开通。
"user_tag":"string" } } 上报到LTS后： log3的日志时间为：1586850540000000000 log4的日志时间为：1586850540000000008 上传的一批日志是在不同时间、非顺序产生的，希望每条日志的时间单独指定。 表2 访问IP（accessip） 区域
同时云日志服务还提供多种编程语言的SDK供您使用，SDK的使用方法请参见使用SDK接入LTS。 终端节点 终端节点即调用API的请求地址，不同服务在不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 基本概念 账号 用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，
单击“CCE集群”后的目标框，在下拉列表中选择具体的集群。 单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组，若没有所需的日志组，单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流，若没有所
中间件-Redis日志 Redis的日志主要用于记录Redis服务器的运行状态、相关事件以及客户端执行的命令等信息。Redis的日志主要有系统日志和慢查询日志。 系统日志（System Log）： 记录Redis服务器的启动、关闭、配置加载、持久化操作（如 RDB 和 AOF）等系统级事件。
for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。重平衡日志记录Rebalance的详情，包括Rebalance时间、原因和触发Rebalance的客户端等。 云日志服务支持日志采集向导一站式采集DMS
终端节点用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。当前支持通过创建终端节点和AOM/LTS服务打通网络，然后进行心跳、指标数据以及日志上报。 如果要通过终端节点的方式打通AOM/LTS的网络，需要为AOM和LTS各自购买1个终端节点。 创建AOM/LTS终端节点的方法： 登录华为云VPC终端节点
数据保护技术 LTS通过多种数据保护手段和特性，保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（HTTPS） LTS支持HTTPS传输协议，保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储，保障数据可靠性。
别名：Value的别名。 默认选中：开启“默认选中”，可直接对添加的Value进行过滤选中。 操作：单击删除添加的Value。 添加动态列表项 动态列表项为对应查询和分析语句的查询结果，在不同的时间范围，查询结果是动态变化的。 关闭“添加动态列表项”，无法设置查询结果的动态变化。 开
e_regex 组合自定义正则表达式和默认字符集过滤 完全自定义 自定义 自定义 大部分键值对的提取使用e_kv函数并配置特定参数就可以很好地满足，尤其是带括字符和反斜杠需要提取并转义时。其他复杂或高级的场景可以用e_regex函数来提取。部分特定场景下的键值对使用e_kv_delimit函数会更简单。
kafka实例前，需要在安全组中，开放入方向规则198.19.128.0/17和9011端口。 如果DMS kafka实例的子网配置了ACL，则需要在该子网的网络ACL中，开放入方向规则198.19.128.0/17和9011端口。 调用方法 请参见如何调用API。 URI POST /
SQL其他函数 功能描述 SQL提供的函数，还支持一些转换类型和CASE WHEN等逻辑运算，具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例
Private Cloud，VPC）是隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务，也可以申请弹性带宽和弹性公网IP搭建业务系统。 VPC日志流中记录了虚拟私有云中的流量信息，可以帮助您检查和优化安全组和网络ACL控制规则、监控网络流量、进行网络攻击分析等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
