检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用FunctionGraph函数对LTS中的日志进行实时过滤 案例概述 准备 构建程序 添加事件源 处理结果 父主题: 数据处理类实践
处理数据 处理模拟数据步骤如下。 用户进入DISDemo函数详情页,选择“dis-test”测试事件,单击“测试”,测试函数,如图1所示。 图1 配置测试事件 函数执行成功后,部分函数日志如图2所示,全部的日志信息,可以到“日志”页签查询。 图2 函数执行结果 父主题: 使用Fu
Redis自动重试机制能大幅度降低暂时性故障影响,但不能解决故障,故障不及时处理可能导致故障升级,所以需要告警来及时感知代码运行情况。FunctionGraph支持通过创建告警规则完成对函数运行的实时监控,当函数指标出现满足设定规则时产生告警,通过短信或邮件的方式通知用户。客户收到告警后,可以配置和查看
http://localhost:{PORT},localhost是本地主机IP:127.0.0.1。 使用遥测 API 订阅后,扩展会自动开始通过遥测侦听器接收来自FunctionGraph的遥测数据。每个 POST 请求正文都包含 Event 对象数组。 订阅事件类型包括三大类:platfor
数据处理类实践 使用FunctionGraph函数对OBS中的图片进行压缩 使用FunctionGraph函数为OBS中的图片打水印 使用FunctionGraph函数对DIS数据进行格式转换并存储到CloudTable 使用FunctionGraph函数实现通过API方式上传文件
函数工作流应用场景,如实时文件处理、实时数据流处理、Web移动应用后端和人工智能场景。 场景一:事件驱动类应用 以事件驱动的方式执行服务,按需供给,开发者无需关注业务波峰波谷,节省闲时成本,最终降低运维成本。比如视频直播/转码、实时数据流处理、IoT规则/事件处理等。 实时文件处理 客户
数据保护技术 为了确保用户的数据(例如函数元数据等)不被未经过认证、授权的实体或者个人获取,FunctionGraph对数据的传输进行全程加密保护,以防止数据泄露,保证您的数据安全。 数据保护技术 所有的API请求调用和内部通信均通过TLS 1.2及以上协议进行传输中加密。 父主题:
无需运维、按需付费的数据加工、分析。 把过滤后的日志转存到另外的日志流,原日志流根据设置的过期时间自动删除,降低日志存储费用。 应用扩展 函数工作流服务+LTS云日志服务的应用广泛,如以下应用场景:利用函数的TIMER触发器,定时对指定LTS日志流中的日志数据进行个性化分析和处理,删除冗余的日志,节省空间和费用。
loudsdklts,如图3和图4所示。 图3 lts_cleanse.py 图4 为函数B添加依赖包 函数实现的功能是:将收到的日志事件数据进行base64解码,然后提取出包含“WRN”、“WARN”、“ERR”或“ERROR”关键字的告警日志,将此级别的日志投递至创建好的LT
使用FunctionGraph函数对IoTDA中的设备坐标数据进行转换 案例概述 准备 构建函数程序 父主题: 数据处理类实践
PIG专享版、APIC的触发器类型,其他触发器不支持。 同一个函数支持绑定多个 API 触发器,但所有 API 都必须在一个APIG服务下。 针对HTTP函数,用户的HTTP响应体不超过6M。 不支持长时运行和异步调用,不支持重试。 父主题: 函数类型
使用FunctionGraph函数对DIS数据进行格式转换并存储到CloudTable 案例概述 准备 构建程序 添加事件源 处理数据 父主题: 数据处理类实践
准备 本例提供了日志实时过滤功能的程序包及依赖包,用户可以下载 lts_cleanse.zip(包含函数A代码文件write_log.py、函数B代码文件lts_cleanse.py及依赖包huaweicloudsdklts) 、lts_cleanse.zip.sha256 学习使用。
APIG:APIG触发器(共享版) APIG_DE:APIG触发器(专享版) OBS:OBS触发器 (当前OBS触发器暂不支持中国站。) 最小长度:1 最大长度:32 枚举值: FLOWTIMER SMN APIG APIG_DE OBS enabled Boolean 是否启用触发器 缺省值:true
案例概述 本手册基于函数工作流服务实践所编写,用于指导您使用函数工作流服务实现处理DIS数据的功能。 场景介绍 使用数据接入服务(DIS)采集IOT实时数据流,需要将采集到的数据进行处理(比如格式转换),然后存储到表格存储服务(CloudTable Service)中,使用Fun
图2是过滤前和过滤后的实时日志对比。 图1 过滤前日志 图2 过滤后日志 您可以通过函数指标查看函数的调用情况,如下 3 张图所示。 图3 函数指标1 图4 函数指标2 图5 函数指标3 父主题: 使用FunctionGraph函数对LTS中的日志进行实时过滤
配置FunctionGraph的监控告警 函数及触发器创建以后,可以实时监控函数被调用及运行情况。 约束与限制 删除函数后,已创建的告警规则在CES服务控制台里不会实时更新,可能会继续在CES服务控制台里显示最多 7 天。 监控函数 不同版本函数的监控信息做了区分,查询函数指标之
云日志服务LTS的消费端在日志累积大小或日志累积时间满足条件时消费LTS日志数据,并根据订阅该组LTS日志数据的函数URN触发函数执行。 父主题: 使用FunctionGraph函数对LTS中的日志进行实时过滤
FLOWTIMER:定时触发器 SMN:SMN触发器 APIG:APIG触发器(共享版) APIG_DE:APIG触发器(专享版) OBS:OBS触发器 (当前OBS触发器暂不支持中国站。) 最小长度:1 最大长度:32 枚举值: FLOWTIMER SMN APIG APIG_DE OBS enabled
使用函数处理DIS数据 函数+APIG:处理文件上传 定时开关华为公有云虚拟机 函数+LTS:日志实时分析实战 函数+CTS:登录/登出安全分析实战 使用SpringBoot构建FunctionGraph HTTP函数 创建使用自定义认证且后端为FunctionGraph的API 06 API与SDK