检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号
AK：访问密钥ID，是与私有访问密钥关联的唯一标识符。访问密钥ID和私有访问密钥一起使用，对请求进行加密签名。 SK：与访问密钥ID结合使用的密钥，对请求进行加密签名，可标识发送方，并防止请求被修改。 请获取并使用公共用户账号的AK/SK，请勿使用个人账号的AK/SK。 每个用户最多可创建2个AK/SK，且一旦生成永久有效。
Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例：
Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例：
e_switch函数 e_switch函数是条件与操作的配对组合。依次根据条件进行判断，满足条件的进行对应操作。不满足条件的不进行对应操作，直接进行下一个条件判断。如果没有满足任一条件并且配置了default参数，则执行default配置的操作并返回。 e_switch(条件1, 操作1
日志是记录IIS服务器上Web活动的重要文件。这些日志通常包含了关于HTTP请求和响应的详细信息，如请求时间、请求来源、请求的资源、使用的协议版本、用户代理、响应状态等。 IIS日志的字段通常包括： 日期和时间：记录请求发生的具体日期和时间。 客户端IP地址：发起请求的客户端的IP地址。 用户名
在“可视化”页签下输入SQL查询语句对相应的字段进行查询，即可返回所需的日志内容。 查询结果呈现 表格 下面的语句查询请求的host，request_uri所对应的日志各有多少条，发送的请求体的大小（MB），请求返回的状态码分别是2xx, 3xx, 4xx, 5xx的占比，并按照日志条数降序排列。
如果需要把散落在外部、内部的日志收集起来，可以通过LTS实现统一管理日志。 采集用户推广日志 采集服务端数据 采集终端用户日志 采集Web/移动端页面用户行为日志 采集服务器日志 采集不同网络环境下的日志数据 统一管理日志 在云日志服务LTS控制台创建日志组，详细操作请参考管理日志组。 在云
total_count Integer 返回的总日志条数，包含请求参数中所指定的起始日志。 backwards_count Integer 向前查询到的日志条数。 最小值：0 最大值：500 forwards_count Integer 向后查询到的日志条数。 最小值：0 最大值：500
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 201 请求响应成功, 成功创建日志流。 400 BadRequest。非法请求。
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过e_json函数展开和提取对象。 示例：指定字段名精确提取JSON对象值，例如展开data字段值中的第一层键值对。 原始日志 { "data":
单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组，若没有所需的日志组，单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流，若没有所需的日志流，单击“所属日志流”目标框后的“新建”，在弹出的创建日志流页面创建新的日志流。
类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理，如果您的组件数量比较少（例如小于20个），您可以将每个组件的日志采集到不同的日志流。 如果您的日志是类似NGINX网关这种可以结构化解析的日志，建议您将相同格式的日志采集到同一个日志流。因为统一的日志格式才
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询直方图数据请求响应成功 400 BadRequest
创建日志组，请参考管理日志组。 创建日志流，请参考管理日志流。 支持多账号日志汇聚多个账号的日志流、日志组集中管理。请参考设置多账号日志汇聚。 在日志管理首页查看资源统计、我的收藏/我的收藏（本地缓存）、最近访问等信息。请参考查看日志管理。 父主题： 日志管理
是 字段名或多个字段名的列表。 sep String 否 关键字与值的正则表达式的分隔符串，默认为=，不限于单个字符。 说明 可以使用非捕获分组，但不能使用捕获分组。 quote String 否 引用符，用于包裹值的字符。默认为"。 说明 提取的动态键值对的值一般需要quote来
单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组，若没有所需的日志组，单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流，若没有所需的日志流，单击“所属日志流”目标框后的“新建”，在弹出的创建日志流页面创建新的日志流。
服务韧性 LTS服务提供了3级可靠性架构，通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案，保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内，LTS实例通过多实例方式实现实例容灾，快速剔除故障节点，保障LTS实例持续提供服务。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求响应成功，成功修改日志流。 400 BadRequest。非法请求。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求响应成功, 成功修改日志组。 400 BadRequest。非法请求。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
