检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ctor工具用于对接flink，包括消费者(Consumer)和生产者(Producer)两部分。 消费者用于从云日志服务中读取数据，支持exactly once语义，支持shard负载均衡，生产者用于将数据写入云日志服务，使用LTS-Flink-Connector工具时，需要在项目中添加maven依赖：
一个日志流只能创建5个消费组。 一个消费组可以被多个消费者消费，每个消费者不会重复消费数据。 同一个租户（Project_Id）下，消费组名称唯一。 消费者 消费组的基本构成单元，承担消费任务，可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保存在某一个Shard中，是数据存储的基本单元。
tdown方法, 安全的关闭消费者, 消费者中启动的内置线程也会自动停止 workers[i].shutdown(); } // 调用ClientConsumerWorker的shutdown方法后, 由于消费者内置多个异步任务, 建议停止1分钟在关闭整个服务
华为云日志服务移动端日志采集SDK开发者合规指南 《中华人民共和国个人信息保护法》自2021年11月1日起正式施行后，监管部门、各行业参与方和终端消费者越来越关注用户的隐私保护问题。为了有效治理App、SDK违规收集使用个人信息的现象，监管部门也陆续出台相关标准规范。 您作为开发者为最终用
使用FunctionGraph服务提供的函数模板进行日志加工 云日志服务提供函数加工，您可以基于函数服务提供的函数模板或者自定义函数，实现日志规整、流转、脱敏、过滤等功能。 目前此功能仅支持以下局点，其他局点需要提交工单申请使用。详细操作请参考提交工单。 华北-北京四、华东-上海
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析，提升运维和运营效率，建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据
日志消费与加工 DSL加工（邀测） DSL数据加工语法（邀测） 使用定时SQL进行日志加工 使用FunctionGraph服务提供的函数模板进行日志加工 日志生成指标（邀测） 使用消费组管理消费数据（邀测） 使用SDK-API消费日志（邀测）
使用消费组管理消费数据（邀测） 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题： 日志消费与加工
您可以在华为外部开源仓中获取日志服务Java SDK依赖的最新版本。 在Maven工程中使用日志服务Java SDK，只需在pom.xml中加入相应依赖即可，Maven项目管理工具会自动下载相关JAR包。 <dependency> <groupId>io.github.huaweicloud</groupId>
日期时间函数 本文介绍日期时间函数的语法规则，包括参数解释、函数示例等。 在DSL加工逻辑中，日志中的所有值都以字符串的形式存储，需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型，您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串，例如2022/07/03
DSL加工（邀测） DSL加工概述 创建DSL加工任务 父主题： 日志消费与加工
日志生成指标（邀测） 支持创建日志指标规则，将上报到LTS的日志数据提取为指标来统一管理，便于后续在应用运维管理控制台的指标浏览、仪表盘界面实时查看数据。 目前此功能在邀测中，支持华北-北京四、华北-乌兰察布一局点，针对白名单用户内测使用，后续将全网开放，敬请期待！ 背景信息 用
DSL数据加工语法（邀测） 概述 操作符函数 全局操作函数 父主题： 日志消费与加工
解析函数 本文介绍User-Agent解析函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 ua_parse_device 解析User-Agent中的设备信息。 ua_parse_os 解析User-Agent中的操作系统信息。 ua_parse_agent 解析User-Agent中的浏览器信息。
资源函数 本文介绍资源函数的语法规则，包括参数解释、函数示例等。 函数列表 使用如下资源函数时，必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定
字典函数 本文介绍字典函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 dct_make 构建字典。 dct_update 更新字典。 dct_delete 删除字典值。 dct_keys 获取字典关键字列表。 dct_values 获取字典值列表。 dct_get
转换函数 本文主要介绍操作符函数的语法规则，包括参数说明、函数示例等。 函数列表 表1 转换函数列表 类型 函数名称 功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。 ct_float 将字段或表达式的值转换为浮点数。 ct_str 将字段或表达式的值转换为字符串。
DSL加工概述 DSL（Domain Specific Language）加工是LTS为您提供的一站式日志加工平台，基于领域自定义的脚本语言和200多个内置函数，您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 DSL加工的功能在邀测中，仅支持华北-北京四、
概述 字段提取检查与覆盖模式，介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工（邀测）创建加工任务。 DSL加工的功能在邀测中，仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用，其他局点暂不支持。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时，设置目标字段。
算术函数 本文介绍算术函数的语法规则，包括参数解释、函数示例等。 函数列表 如果值为负数，请使用op_neg(positive value)函数，例如：要表示-1，请使用op_neg(1)。 表1 算术函数列表 类型 函数 说明 多值计算比较 op_sum 对传入值进行求和操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
