检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
offset ] 数据类型 SQL查询中支持的数据类型如表1。如果当前字段数据类型需要改为其他数据类型，我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值，如STRING类型的数据转换为LONG类型的数据，结果会显示为LO
已创建的集群名称。 test 数据库名称 集群的数据库名称。有两种数据库，分别是“gaussdb”和“postgres”。默认集群数据库为“gaussdb”。 gaussdb 用户名 数据库的管理员用户名。 lts-test 密码 数据库的管理员密码。 - schema名称 数据库对象的集合名称。
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架，是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎，用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟（每秒处理数百万个事件，毫秒级延迟），以及结果的准确性（Flink提
t是否对日志数据进行采集）、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”，单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析，提升运维和运营效率，建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据 不支持更新和删除结果表数据，只支持插入数据。
Server）是一款兼具虚拟机弹性和物理机性能的计算类服务，为您和您的企业提供专属的云上物理服务器，为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 当您选择了裸金属服务BMS接入方式时，云日志服务可以将BMS待采集日志的路径配置到日志流中，IC
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据，具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据，数据结构不规则或不完整，没有预定义的数据模型。 日志结构化是以日志流为单位，通过不同的日志提取方
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据，具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据，数据结构不规则或不完整，没有预定义的数据模型。 日志结构化是以日志流为单位，通过不同的日志提取方
使用前必读 欢迎使用云日志服务（Log Tank Service，简称LTS）。LTS用于收集来自主机和云服务的日志数据，通过海量日志数据的分析与处理，可以将云服务和应用程序的可用性和性能最大化，为您提供一个实时、高效、安全的日志处理能力，帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。
选择目标字段，将该字段在表格中隐藏。 表格配置 每页显示 每页显示的数据条数。 显示总数 显示表格数据的总条目数。 列配置 对齐方式 表格数据的对齐方式，支持左对齐，右对齐以及居中。 开启搜索 开启后，即可对表格列数据进行搜索功能。 开启排序 开启后，即可对表格列数据进行排序功能。 字体大小 表格字体的大小，取值范围为12px~24px
当新值非空，且目标字段不存在时，设置目标字段。 overwrite 总是设置目标字段。 overwrite-auto 当新值非空，设置目标字段。 父主题： DSL数据加工语法（邀测）
使用如下资源函数时，必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket下的文件内容，支持定期更新数据。 支持和其他函数组合使用。 res_local
续的大数据分析工作。 前提条件 日志已接入云日志服务（LTS）。 日志流已配置结构化规则。 已在DLI中创建数据库和表，创建数据库表时数据位置选择OBS，数据格式选择JSON。详细操作请参见创建数据库和表。 已在DLI中创建队列，该队列将用来将数据导入DLI的表中。详细操作请参见创建队列。
FlinkLtsLogProducer用于将数据写到云日志服务中。producer只支持Flink at-least-once语义，在发生作业失败的情况下，写入云日志服务中的数据有可能会重复，但是绝对不会丢失。 用法示例如下，我们将模拟产生的字符串写入云日志服务： // 将数据序列化成日志服务的数据格式
志流的数据。 一个日志流只能创建5个消费组。 一个消费组可以被多个消费者消费，每个消费者不会重复消费数据。 同一个租户（Project_Id）下，消费组名称唯一。 消费者 消费组的基本构成单元，承担消费任务，可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保
返回附带新字段值的日志。 函数示例 示例1：使用默认分隔符=提取键值对信息。 测试数据 { "http_refer": "https://video.developer.aadoc.com/s?q=asd&a=1&b=2" } 如果测试数据为request_uri: a1=1&a2=&a3=3，a2
概念解释 LTS DSL语法中的日期时间处理主要涉及三种数据类型：日期时间字符串、日期时间对象和Unix时间戳。 日期时间字符串：日期时间字符串的主要用途是为了便于展示以及提升用户可读性。 LTS DSL语法中的日期时间字符串主要分为两种形式： 带有时区信息的日期时间字符串，如2018-06-02
LTS数字图 数字图通常用来表示单一数据点或关键性指标，能够更好地展示单一信息和数据的相对大小，是一种非常清晰的信息展示方式，适用于需要重点突出关键信息和数据的场合。通过数字图可以快速地呈现信息和数据，使得用户能够快速、直观地理解数据的趋势和关键指标。 查看数字图 登录云日志服务控制台。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
