检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
流式文件处理 本章节主要介绍如何使用函数流实现流式大文件处理。您可以根据实际业务场景来创建快速函数流实现。 背景与价值 Serverless Workflow由于自身可编排、有状态、持久化、可视化监控、异常处理、云服务集成等特性,适用于很多应用场景,比如: 复杂度高需要抽象的业务(订单管理,CRM
则过滤出来并转储到准备好的日志流中。以下图1和图2是过滤前和过滤后的实时日志对比。 图1 过滤前日志 图2 过滤后日志 您可以通过函数指标查看函数的调用情况,如下 3 张图所示。 图3 函数指标1 图4 函数指标2 图5 函数指标3 父主题: 函数+LTS:日志实时过滤
ID,获取方式请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 marker 否 String 上一次查询到的最后的记录位置。 maxitems 否 String 每次查询获取的最大函数记录数量 最大值:400 如果不提供该值或者提供的值大于400或等于0,则使用默认值:400 如果该值小于0,则返回参数错误。
查询应用程序模板列表 功能介绍 查询应用程序模板列表(该功能目前仅支持华东-上海一、华北-北京四) 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/fgs/application/templates 表1 路径参数 参数 是否必选 参数类型 描述
long_time Boolean 是否允许进行长时间超时设置。 log_group_id String 自定义日志查询组id log_stream_id String 自定义日志查询流id type String v2表示为正式版本,v1为废弃版本。 枚举值: v1 v2 enable_cloud_debug
Integer 偏移量,表示从此偏移量开始查询,offset大于等于0 最小值:0 limit 是 Integer 分页查询,每页查询数据条数,取值范围:1,2,3...100 最小值:1 最大值:100 start_time 否 String 查询开始时间,UTC时间,格式:YYYY-MM-DD
图1 基础配置 由于很多模型文件都在1G到10G+的大小,建议您根据具体需要选择系统盘容量,或者挂载数据盘。配置好后,单击“下一步:网络配置”,进入网络配置页面。 图2 系统盘选择 VPC、子网请选择之前步骤创建的VPC和子网。 图3 VPC和子网配置 安全组设置请参考以下截图,入
函数内存超限返回“runtime memory limit exceeded”,如何查看内存占用大小? 如何定位自定义镜像执行失败“CrashLoopBackOff”的原因? 用户使用相同的镜像名更新镜像,预留实例无法自动更新,会一直使用老镜像,应如何处理?
其他问题 如何查看给函数配置的告警规则? 视频转码,上传的zip文件是否能支持反编译? 申请的FunctionGraph2.0公测资源,到期是否自动释放?如何计费? 函数常规信息中的“应用”应如何理解? 用户需要为冷启动时间付费吗? 创建函数时,为什么提示“已限制,不能执行此操作”?
查询应用程序列表 功能介绍 查询应用程序列表(该功能目前仅支持华东-上海一、华北-北京四) 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/fgs/applications 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
查询函数标签列表 功能介绍 查询函数标签列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{resource_type}/{resource_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
long_time Boolean 是否允许进行长时间超时设置。 log_group_id String 自定义日志查询组id log_stream_id String 自定义日志查询流id type String v2表示为正式版本,v1为废弃版本。 枚举值: v1 v2 enable_dynamic_memory
创建依赖包版本 功能介绍 创建依赖包版本 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/fgs/dependencies/version 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目 ID,获取方式请参见获取项目ID。
查询函数实例使用情况指标 功能介绍 查询函数实例使用情况指标。 指标单位为分钟: 当查询时间范围小于1小时,指标周期为1分钟 当查询时间范围小于1天,指标周期为30分钟 当查询时间范围大于1天,指标周期为180分钟 指标分为如下几类:reservedinstancenum(预留实
允许”勾选框下勾选“读取”和“写入”,最后单击“确定”。 关闭所有的防火墙,包括“域网络”、“专用网络”和“公用网络”,等使用完后,再打开防火墙。 进入路由器的虚拟服务器进行端口映射,打开外部网络的端口111、2049及1058。(注意:需要有个外网IP) 最后执行如下命令即可,
导入函数 功能介绍 导入函数 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/fgs/functions/import 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目 ID,获取方式请参见获取项目ID。
修改指定函数流实例的元数据 功能介绍 修改指定函数流实例的元数据 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/fgs/workflows/{workflow_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
批量删除任务:勾选多个函数流任务,单击左上角的“删除”,删除所选函数流任务。 单击某一个函数流任务名称,查看任务详情。 查看任务基本信息 在“基本信息”页签,查看任务名称、ID、更新时间和创建时间等信息。 查看任务运行记录 在“运行记录”页签,查看任务的执行历史记录、输入值、输出值、节点日志等信息。 若需要修改任务
创建函数流 功能介绍 创建函数流 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/fgs/workflows 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 最小长度:1
批处理大小:每批从数据库读取的记录的数量。 单击“确定”,完成DDS触发器的创建。 开启函数流VPC访问后,需要在DDS服务安全组配置对应子网的权限。如何开启VPC访问请参见配置网络。 配置DDS事件触发函数 返回函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。 选择待配置的函数,单击进入函数详情页。