检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进程部署的扩展都需要在FunctionGraph注册成功后才能接收事件。您可以通过 EXTENSION_API_ADDR 环境变量得到FunctionGraph平台开放的提供注册的扩展API地址,例如对于Python,EXTENSION API 的获取方式为os.getenv("EXTENSION_API_ADDR
互通过数据流驱动。其中数据流的控制通过 Stream Bridge 组件来实现。同时函数 SDK 增加流式数据返回接口,用户不需要将整个文件内容返回,而是通过 gRPC Stream 的方式将数据写入到 Stream Bridge,Stream Bridge 用来分发数据流到下一个步骤的函数
案例概述 本手册基于函数工作流服务实践所编写,用于指导您使用函数工作流服务实现处理DIS数据的功能。 场景介绍 使用数据接入服务(DIS)采集IOT实时数据流,需要将采集到的数据进行处理(比如格式转换),然后存储到表格存储服务(CloudTable Service)中,使用Fun
否 String 企业项目ID 最小长度:0 最大长度:64 enable_stream_response 否 Boolean 是否返回流数据 缺省值:false 表3 Trigger 参数 是否必选 参数类型 描述 trigger_name 是 String 触发器名称 最小长度:1
NONE:关闭日志记录。 合并参数 将上一个节点的输出与下一个节点的输入合并为输入。 支持返回流式数据 创建快速函数流时可配置此参数。开启后,函数流执行支持返回流式数据,可参见流式文件处理。 需函数流中函数节点的代码调用流式数据接口。 描述 输入函数流的简要描述。 表达式说明 函数流的异常处理控制器组件
DIS输入数据,步骤如下。 用户进入DISDemo函数详情页,在“代码”页签下,选择配置测试事件,如图1所示,弹出“配置测试事件页”。 图1 配置测试事件 在“配置测试事件页”,输入配置信息,如图2所示。 配置测试事件:选择“创建新的测试事件”。 事件模板:选择“数据接入服务(DIS)”。
”页面,左侧导航栏选择“规则 > 数据转发”后,并在“规则列表”中单击目标规则名称所在行右侧的“详情” ,进入数据转发规则详情页面。 选择“设置转发目标”,并单击转发目标所在行右侧的“测试”,开始编辑测试数据。 图1 转发规则测试 输入测试数据单击 “连通性测试” 。 {
设备接入”进入IoTDA控制台,单击IoTDA实例列表中实例名称“总览”页面,然后选择“规则 > 数据转发”,单击“创建规则”。 图2 创建规则 输入基本信息,然后单击创建规则。 规则名称:用户自定义。 数据来源:选择“设备消息”。 触发事件:选择“设备消息上报”。 资源空间:保持默认。 设置转发目标,单击“添加”
准备 案例实现的功能是将DIS数据格式转换,存储到表格存储服务中,所以需要先在表格存储服务创建集群,在创建集群时需要使用虚拟私有云。 创建函数之前,需要创建委托,给FunctionGraph函数赋权,确保FunctionGraph函数能够访问到DIS和CloudTable资源。 创建虚拟私有云
构建程序 本例提供了DIS数据流格式转换的源码和程序包(包含函数依赖),使用空白模板创建函数,用户可以下载、学习使用。 创建工程 本例使用Java语言实现DIS数据流格式转换功能,有关函数开发的过程请参考Java函数开发指南,本例不再介绍业务功能实现的代码。 下载样例源码(fss
步骤五:搭建函数更新流水线 此流水线的主要作用是将functions仓库的helloworld函数代码配置发布更新到FunctionGraph平台。 新建构建任务 在“构建&发布 > 编译构建”页面,单击“新建任务”。 源码仓库选择functions仓库,构建模板选择“空白构建模板”。
函数是华为云函数工作流函数。它是一个独立的部署单元,就像微服务一样。它只是部署在云中的代码,主要是为了执行单个任务而编写,例如: 将用户保存到数据库。 处理数据库中的文件。 您可以在代码中执行多个任务,但不建议在没有充分理由的情况下这样做。分离关注点是最好的,Framework旨在帮助您轻松开发和部署函数,以及管理它们。
最大提取字节数(DIS触发器参数)。 最小值:0 最大值:4194304 is_serial 否 String 串行处理数据(DIS触发器参数),如果开启该选项,取一次数据处理完之后才会取下一次数据;否则只要拉取周期到了就会取数据进行处理。DIS触发器此参数必填。 枚举值: true false log_group_id
事务处理、分析数据流、整理数据、生成指标、筛选日志、建立索引、分析社交媒体以及遥测和计量IoT设备数据。 其优势有: 事件触发,通过DIS流采集数据,批量数据通过事件触发处理函数进行处理。 灵活扩展,业务爆发时可以自动调度资源运行更多函数实例以满足处理需求。 按需收费,只有对函数
值的获取,请参考获取账号ID、项目ID、日志组ID、日志流ID。 (3)制作函数B需要的 lts 依赖包,具体添加依赖方法请参考如何在函数平台创建依赖包和如何为函数添加依赖包。制作依赖包时可以参考命令“pip install huaweicloudsdklts”。同时,示例代码中包含了已适用于python3
None: 无认证模式,所有用户均可访问。 None 请求协议 必选参数。 API的请求协议分为两种类型: HTTP:数据在传输过程中不被加密。 HTTPS:数据在传输过程中被加密。 HTTPS 请求方法 必选参数。 请求方法有以下类型: GET POST DELETE PUT PATCH
在触发调用后立即得到返回,从而不因长耗时处理阻塞业务主逻辑的执行。 实时感知任务状态 无 并行处理 离线GPU任务需要处理大量数据,对GPU资源供给要求高,通过API调用并行运行加快处理速度。 数据源集成 离线GPU任务对数据源的需求多种多样,处理过程中需要与多种存储产品(例如对象存储OBS)和多种消息产品(例如消息队列)进行频繁交互。
申请扩大FunctionGraph配额 概述 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少台弹性云服务器、多少块云硬盘。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 查看配额 登录管理控制台。 在页面右上角,选择“资源
的函数运行。用户可以根据需要编写函数处理这些数据。 通常该组合,可以适用于以下场景,如将设备上报的数据在处理后进行存储到如OBS;对上报的数据进行结构化,清洗然后存储到数据库;根据设备状态变化进行事件通知等。 工作流+函数:自动化处理OBS中数据 本实践基于函数流服务实践所编写,用于指
函数目前不支持持久化。 典型场景 需要对OBS上的文件进行处理,可以先把文件下载到/tmp目录。 函数运行过程中产生了一些数据想保存到OBS,可以先在/tmp目录下创建新文件,然后把这些数据写到里面,接下来上传该文件到OBS。 获取上传的文件 以Python语言为例,如果用户用os.getcwd