检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用FunctionGraph函数识别LTS中的异常业务日志并存储到OBS 案例概述 准备 构建程序 添加事件源 处理结果 父主题: 数据处理类实践
准备 本例提供了日志实时过滤功能的程序包及依赖包,用户可以下载 lts_cleanse.zip(包含函数A代码文件write_log.py、函数B代码文件lts_cleanse.py及依赖包huaweicloudsdklts) 、lts_cleanse.zip.sha256 学习使用。
Redis连接池 在示例代码中使用了Redis连接池(BlockingConnectionPool),配置了最大连接数(max_connections)和连接池耗尽后获取连接的最大等待时间(timeout),代码片段如下: pool = BlockingConnectio
Redis重试机制 Redis客户端支持添加自动重试机制,确保在执行Redis操作失败后重试特定次数,这样能大幅度降低暂时性故障影响。例如:发生瞬时的网络抖动、磁盘抖动导致服务暂时不可用或者调用超时的情况下,提高Redis操作的成功概率。 连接DCS单机、主备、读写分离、Prox
获取函数调用链配置 功能介绍 获取函数调用链配置 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/fgs/functions/{function_urn}/tracing 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
处理文件 当文件上传后更新至dew-bucket-input桶时,会生成事件,触发函数运行,将文件加解密,保存在dew-bucket-output中。 上传文件生成事件 登录对象存储服务控制台,进入dew-bucket-input桶对象界面,上传image.jpg文件,如图1所示。
使用容器镜像创建并执行HTTP函数 本章节将以使用容器镜像方式创建HTTP类型函数为例,介绍容器镜像函数的创建及测试过程。此过程中用户需要在镜像中实现一个http server,并监听8000(下文示例中提及的8000端口请不要变动)端口接收请求。备注:HTTP函数只支持APIG触发器。
图2是过滤前和过滤后的实时日志对比。 图1 过滤前日志 图2 过滤后日志 您可以通过函数指标查看函数的调用情况,如下 3 张图所示。 图3 函数指标1 图4 函数指标2 图5 函数指标3 父主题: 使用FunctionGraph函数对LTS中的日志进行实时过滤
Redis健康检查 配置Redis定时健康检查 Redis健康检查的作用是判断Redis服务端是否正常工作,使用health_check_interval配置对Redis进行定时健康检查,该配置单位为秒,默认值为0不进行健康检查,代码如下: retry = Retry(ExponentialBackoff()
获取依赖包列表 功能介绍 获取依赖包列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/fgs/dependencies 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目 ID,获取方式请参见获取项目ID。
处理图片 当图片上传后更新至hugb-bucket-input桶时,会生成事件,触发函数运行,将上传图片打水印,保存在hugb-bucket-output中。 上传图片生成事件 登录对象存储服务控制台,进入hugb-bucket-input桶对象界面,上传image.jpg图片,如图1所示。
FunctionGraph函数初始化入口 在示例代码中,initializer方法内创建Redis客户端,并在创建函数时配置了初始化函数,如下: def initializer(context): global redis_client redis_client =
处理结果 处理告警信息 若日志包含“WRN”、“WARN”、“ERR”或“ERROR”关键字的告警日志,可收到SMN发送的通知消息邮件,如图1所示。同时可以查看OBS桶中的log.txt文件,可查看到具体的告警日志内容,如图2所示。 图1 告警消息邮件通知 图2 告警日志详情 可
触发信息列表 temp_detail TempDetail object user_data String 用户数据 encrypted_user_data String 加密用户数据 dependencies Array of strings 模板所需依赖列表 scene String
SMN触发器 异步调用 APIG触发器 同步调用 DIS触发器 异步调用 TIMER触发器 异步调用 LTS触发器 异步调用 CTS触发器 异步调用 DDS触发器 异步调用 Kafka触发器 异步调用 日志和监控 提供调用函数的监控指标和运行日志的采集和展示,实时的图形化监控指标展示,在线查
冲击。 IP地址网段:当前VPC与其他VPC、云下数据中心连通时,要避免网络两端的IP地址冲突,否则无法正常通信。 192.168.x.x/16 企业项目 必选参数。 企业项目管理提供了一种按企业项目管理云资源的方式,帮助您实现以企业项目为基本单元的资源及人员的统一管理,默认项目为default。
ode/ 路径。但是该目录只可以读,不可以写入。 如果您希望在代码运行期间写入一些数据到实例里,打印日志到本地,或者您使用的依赖默认写入jar所在的目录,请对/tmp目录进行写入操作。 我的日志如何被收集,应该怎么输出日志? 函数实例在一段时间内没有请求会被销毁,写入到本地日志会
始化、调用期间的遥测数据,也可以收集函数执行期间和扩展执行期间的用户打印日志。 在FunctionGraph执行时,您可以从扩展向OpenTelemetry API发送订阅请求,订阅后,FunctionGraph会自动将所有遥测数据发送到您的扩展,您可以对数据进行处理,例如存储到
当前java没有对应的模板功能,且只支持传包到OBS上,不支持在线编辑,所以需要一个插件,能够支持在java的主流开发工具(Eclipse)上,实现一键创建java模板、java打包、上传到OBS和部署。 获取Eclipse 插件(软件包校验文件:Eclipse插件.sha256)。
在触发调用后立即得到返回,从而不因长耗时处理阻塞业务主逻辑的执行。 实时感知任务状态 无 并行处理 离线GPU任务需要处理大量数据,对GPU资源供给要求高,通过API调用并行运行加快处理速度。 数据源集成 离线GPU任务对数据源的需求多种多样,处理过程中需要与多种存储产品(例如对象存储O