检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能否在函数环境变量中存储敏感信息? 定义环境变量时,系统会明文展示所有输入信息,请不要输入敏感信息(如账户密码等),以防止信息泄露。 父主题: 配置函数
所以各大平台支持都比较好,但是对于文件转码等存在超大数据流的场景,当前各大平台没有给出很好的解决方案。华为云FunctionGraph函数工作流针对该场景,提出了 Serverless Streaming 的流式处理方案,支持毫秒级响应文件处理。 技术原理 华为云FunctionGraph函数工作流提出
将函数处理后的日志数据投递至OBS桶中集中存储,便于后续处理。处理流程如图1。 图1 处理流程 案例价值点 通过LTS日志服务,快速完成日志采集和转换。 基于serverless无服务架构的函数计算提供数据加工、分析,事件触发,弹性伸缩,无需运维,按需付费。 结合SMN消息通知服务提供日志、告警功能。
obs_address OBS服务终端节点,获取地址请参考地区和终端节点。 obs_store_bucket 日志存储的目标桶名称。 obs_store_objName 日志存储的目标文件。 SMN_Topic SMN主题名称。 region 您所在区域的region值,获取请参考地区和终端节点。
出现如图1报错,说明依赖包没有把程序运行所需的动态链接库打包进去。 图1 error while loading shared libraries 针对该问题有以下两种处理方案: 代码逻辑较为复杂的情况下建议使用自定义镜像函数,创建自定义镜像函数详情请参见使用容器镜像创建函数。 制作依赖包时,把动态链接库一同复制到依赖包最外层。
OOT环境变量对应的值)。如果需要写文件(如创建新文件或者下载文件等),可以在/tmp目录下进行或者使用函数提供的挂载文件系统功能。 若容器回收,文件的读写就会失效。 函数目前不支持持久化。 典型场景 需要对OBS上的文件进行处理,可以先把文件下载到/tmp目录。 函数运行过程中
客户端上传文件到OBS,触发FunctionGraph函数,在上传数据后立即进行处理。可以使用FunctionGraph实时创建图像缩略图、转换视频编码、进行数据文件汇聚、筛选等。 其优势有: 灵活扩展,业务爆发时可以自动调度资源运行更多函数实例以满足处理需求。 事件触发,通过上传文件到
使用FunctionGraph函数识别LTS中的异常业务日志并存储到OBS 案例概述 准备 构建程序 添加事件源 处理结果 父主题: 数据处理类实践
使用FunctionGraph函数对DIS数据进行格式转换并存储到CloudTable 案例概述 准备 构建程序 添加事件源 处理数据 父主题: 数据处理类实践
Diffusion应用 绑定自定义域名(可选) 上传自定义模型(可选) 进阶使用:使用ECS作为NFS服务器实现多用户资源隔离 进阶使用:通过挂载同一SFS文件系统实现多用户资源共享 进阶使用:使用专享版APIG触发器提升性能 进阶使用:启用WebUI认证 进阶使用:使用API模式访问应用 免责声明
准备 案例实现的功能是将DIS数据格式转换,存储到表格存储服务中,所以需要先在表格存储服务创建集群,在创建集群时需要使用虚拟私有云。 创建函数之前,需要创建委托,给FunctionGraph函数赋权,确保FunctionGraph函数能够访问到DIS和CloudTable资源。 创建虚拟私有云
js中执行“npm prune”命令、在Python中执行“autoflake”。另外,某些第三方库中可能会包含测试用例源代码、无用的二进制文件和数据文件等,删除无用文件可以降低函数代码下载和解压时间。 公共依赖包加速 在编写应用程序时,往往会引入第三方依赖库,尤其是Python语言。在冷启动过
云端数据加工处理 在OBS对象存储服务创建OBS桶和OBS对象,并配置事件通知。 在OBS对象存储服务创建OBS桶和OBS对象,如图1所示,创建过程请参考创建OBS桶。 图1 OBS桶 创建的OBS桶名为“logstore”,OBS对象为“log.txt”用于存储日志数据。 创建委托 登录统一身份认证服务控制台。
函数执行成功后,部分函数日志如图2所示,全部的日志信息,可以到“日志”页签查询。 图2 函数执行结果 父主题: 使用FunctionGraph函数对DIS数据进行格式转换并存储到CloudTable
现处理DIS数据的功能。 场景介绍 使用数据接入服务(DIS)采集IOT实时数据流,需要将采集到的数据进行处理(比如格式转换),然后存储到表格存储服务(CloudTable Service)中,使用FunctionGraph函数可以实现此功能。 实现流程 创建虚拟私有云和集群。
LTS日志数据的函数URN触发函数执行。 图1 创建LTS触发器 父主题: 使用FunctionGraph函数识别LTS中的异常业务日志并存储到OBS
test”为例。 图2 测试事件 单击“创建”,完成测试事件配置。 父主题: 使用FunctionGraph函数对DIS数据进行格式转换并存储到CloudTable
variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.get
请求Body参数 参数 是否必选 参数类型 描述 func_name 是 String 函数名 file_name 是 String 文件名 file_type 是 String 文件类型 file_code 是 String 函数代码。代码必须要进行base64编码 package 否
BS桶,分别用来保存用户上传的文件和加/解密后输出的文件。 OBS桶创建以后,需要创建委托,给FunctionGraph函数赋权,确保FunctionGraph函数能够访问到OBS资源,本指导以加密文件为例: 创建OBS桶 上传文件的源桶、输出文件的目标桶和函数必须处于同一个区域下。