检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用FunctionGraph函数对LTS中的日志进行实时过滤 案例概述 准备 构建程序 添加事件源 处理结果 父主题： 数据处理类实践
华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。
创建委托 此处以FunctionGraph服务授予VPC访问权限为例，介绍如何为FunctionGraph服务创建委托。更多常见应用场景，可参考常见应用场景授权项进行相应的授权。 登录统一身份认证服务（IAM）控制台。 在统一身份认证服务（IAM）的左侧导航窗格中，选择“委托”页签，单击右上方的“创建委托”。
使用FunctionGraph函数为OBS中的图片打水印 案例概述 准备 构建程序 添加事件源 处理图片 父主题： 数据处理类实践
"application/json" } } body = event['body'] #APIG触发器默认对数据进行Base64编码，这里解码 raw_data = base64.b64decode(body) for part in
loudsdklts，如图3和图4所示。 图3 lts_cleanse.py 图4 为函数B添加依赖包 函数实现的功能是：将收到的日志事件数据进行base64解码，然后提取出包含“WRN”、“WARN”、“ERR”或“ERROR”关键字的告警日志，将此级别的日志投递至创建好的LT
在“创建桶”界面，填写存储桶信息。 区域：根据实际情况设置 数据冗余存储策略：“单AZ存储” 桶名称输入：输入您自定义的桶名称，此处以“hugb-bucket-input”为例。 默认存储类别：“标准存储” 桶策略："私有" 服务端加密：“关闭” 归档数据直读：“关闭” 单击“立即创建”，完成源桶创建。
当“提供方”选择“自定义”时，配置此参数。事件通道负责接收来自事件源的事件来触发函数流执行。 事件源 事件源是事件的来源，负责将华为云服务、自定义应用等应用程序生产的事件发布到事件网格。 事件类型 当“提供方”选择“华为云”时，配置此参数。可以指定事件类型进行过滤，满足事件类型才会触发函数流执行。
准备 本例提供了日志实时过滤功能的程序包及依赖包，用户可以下载 lts_cleanse.zip（包含函数A代码文件write_log.py、函数B代码文件lts_cleanse.py及依赖包huaweicloudsdklts） 、lts_cleanse.zip.sha256 学习使用。
Redis连接池 在示例代码中使用了Redis连接池（BlockingConnectionPool），配置了最大连接数（max_connections）和连接池耗尽后获取连接的最大等待时间（timeout），代码片段如下： pool = BlockingConnectio
Redis重试机制 Redis客户端支持添加自动重试机制，确保在执行Redis操作失败后重试特定次数，这样能大幅度降低暂时性故障影响。例如：发生瞬时的网络抖动、磁盘抖动导致服务暂时不可用或者调用超时的情况下，提高Redis操作的成功概率。 连接DCS单机、主备、读写分离、Prox
点会发布已配置的事件至指定的EG事件通道，如何创建EG资源请参见开始使用事件网格。 约束与限制 EG服务组件当前仅支持华北-北京四。 通过数据工坊DWR服务创建的函数流，在函数工作流控制台只能查看，不能编辑和删除，相关操作请在DWR服务中执行。 当前允许流程中配置0-10个EG节点。
云端数据加工处理 在OBS对象存储服务创建OBS桶和OBS对象，并配置事件通知。 在OBS对象存储服务创建OBS桶和OBS对象，如图1所示，创建过程请参考创建OBS桶。 图1 OBS桶 创建的OBS桶名为“logstore”，OBS对象为“log.txt”用于存储日志数据。 创建委托
处理文件 当文件上传后更新至dew-bucket-input桶时，会生成事件，触发函数运行，将文件加解密，保存在dew-bucket-output中。 上传文件生成事件 登录对象存储服务控制台，进入dew-bucket-input桶对象界面，上传image.jpg文件，如图1所示。
使用FunctionGraph函数流对OBS中的图片进行旋转 案例概述 准备 构建程序 处理图片 父主题： 数据处理类实践
}); }); busboy.on('finish', function () { //这里处理数据 logger.info(buf.toString()); return { 'statusCode':
桶名称：输入您自定义的桶名称，此处以“your-bucket-input”为例。 数据冗余存储策略：“单AZ存储”。 默认存储类别：“标准存储”。 桶策略："私有"。 默认加密：“关闭”。 归档数据直读：“关闭”。 其余参数保持默认，单击“立即创建”，完成源桶创建。 完成桶创建以
发器配置如图1所示。 图1 创建LTS触发器 云日志服务LTS的消费端在日志累积大小或日志累积时间满足条件时消费LTS日志数据，并根据订阅该组LTS日志数据的函数URN触发函数执行。 父主题： 使用FunctionGraph函数对LTS中的日志进行实时过滤
处理结果 处理告警信息 若日志包含“WRN”、“WARN”、“ERR”或“ERROR”关键字的告警日志，则过滤出来并转储到准备好的日志流中。以下图1和图2是过滤前和过滤后的实时日志对比。 图1 过滤前日志 图2 过滤后日志 您可以通过函数指标查看函数的调用情况，如下 3 张图所示。
使用FunctionGraph函数识别LTS中的异常业务日志并存储到OBS 案例概述 准备 构建程序 添加事件源 处理结果 父主题： 数据处理类实践
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
