检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具备高效可靠的消息异步传递机制，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 Kafka可以应对大量日志传输场景，应用通过异步
增加设置调试日志级别接口：setLogLevel。 在控制台输出配置项、上报接口参数、请求发送内容。 上报接口参数labels支持嵌套。 请求发送控制、数据库大小限制等优化。 iOS10、Xcode11及以上。 1.0.15 单击下载 单击下载 首次发布，提供四个接口：初始化 initWithConfig、配置
如果浮点数编码位数超过52位，会造成精度损失。 不涉及。 IP函数时效性 IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商，该函数依赖的后台数据库每半年更新一次，可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。 SQL分析时间范围 仅支持分析30天内的数据，30天以上的数据不支持SQL分析。
日志转储限制 本文介绍云日志服务转储的限制。 表1 日志转储限制 类别 限制项 说明 备注 转储OBS 单个日志流转储任务数量 1 个日志流只能配置一个转储OBS任务。 不涉及。 转储周期 2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 不涉及。 每次转储数据大小 0MB-2GB。
动停止。 特定时间范围：指定数据加工任务的起止时间，加工任务执行到指定时间后自动停止。 高级配置 对于加工语句中需要使用的密码信息（例如数据库连接密码），日志服务支持使用键值对形式保存在密钥对中。 单击“添加密钥”，填写key值、Value值。 在编辑加工语句页面中，参考规则语句
日志一般有5倍压缩率。 索引流量-标准型日志流：原始日志数据默认都会建立全文索引，创建索引（对日志分词处理）后，才能搜索日志，在日志写入数据库时一次性收取流量费用。 标准存储量：日志标准存储量为压缩后的日志数据、索引数据、副本数据之和，这些空间约等于原始日志数据大小。 标准存储量
构造请求 本节介绍REST API请求的组成，并以调用IAM的管理员创建IAM用户说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题： 日志加工（邀测）
供依据。 前提条件 按日志流维度上报话单功能仅支持白名单用户，若您需要使用日志流标签统计不同部门在LTS的费用开销，请提交工单申请开通。 方案介绍 日志流是通过日志组管理的，给日志组添加标签时，默认开启应用到日志流，这样日志流就自动添加标签。即可通过日志流统计不同部门在LTS的费用开销。
供依据。 前提条件 按日志流维度上报话单功能仅支持白名单用户，若您需要使用日志流标签统计不同部门在LTS的费用开销，请提交工单申请开通。 方案介绍 日志流是通过日志组管理的，给日志组添加标签时，默认开启应用到日志流，这样日志流就自动添加标签。即可通过日志流统计不同部门在LTS的费用开销。
数据保护技术 LTS通过多种数据保护手段和特性，保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（HTTPS） LTS支持HTTPS传输协议，保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储，保障数据可靠性。
sources.r1.channels = c1 a1.sinks.k1.channel = c1 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集数据库表数据并且上报至LTS，实现对表数据变动监控。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 在https://github
sources.r1.channels = c1 a1.sinks.k1.channel = c1 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集数据库表数据并且上报至LTS，实现对表数据变动监控。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 在https://github
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过e_json函数展开和提取对象。 示例：指定字段名精确提取JSON对象值，例如展开data字段值中的第一层键值对。 原始日志
管理日志流 云日志服务是以日志流（LogStream）作为日志管理维度。日志采集后，以日志流为单位，将不同类型的日志分类存储在不同的日志流上，方便对日志进一步分类管理。如果日志较多，需要分门别类，建议您创建多个日志流，并给日志流做好命名，方便后续快速查找日志。例如，您可以将操作日
通过LTS仪表盘可视化ELB日志分析结果 当ELB日志接入云日志服务后，您可以通过SQL语句查询分析日志，将日志结果保存为多种图表，并将图表保存至仪表盘，从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志，具体操作，请参见ELB接入。 已对日志内容完成结构化配置，具体操作请参考日志结构化概述。
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系，来自于第三方IP库，且数据是周期性更新（约半年），不承诺IP与地域关系完全正确；后续LTS会优化，缩短IP库的更新周期，为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万，查询的数据超出上限可能导致查询超时。
上报日志。LTS提供两种上报日志的方法。 表2 两种上报日志的方法 Method Description report(content, labels) 上报日志：先存入本地数据库，根据配置中设定的策略实施上报。 reportImmediately(content, labels) 立即上报日志。 表3 Parameters参数
DSL数据加工语法（邀测） 概述 操作符函数 全局操作函数 父主题： 日志消费与加工
特定结构化数据函数 本文介绍特定结构化数据函数的语法规则，包括参数解释、函数示例等。 类型 函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。 json_parse 将值解析为JSON对象。 XML xml_to_json 将xml数据转成JSON数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
