检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义函数开发规范 用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时,函数输入参数的JSON格式的结构体和环境变量的定义如下: 表1 函数输入的JSON格式体
面,方便用户直观便捷的构建数据处理流程,同时提供了预置的算子和自定义函数能力,覆盖数据处理的各种场景。预置算子的详细介绍,请参见官方算子一览。用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守自定义函数开发规范。 DWR支持异步和同步两种方式启动工作流,其中同步方式支持直接返回数据:
创建解析对象元数据并封装MPC转码任务的函数。 在FunctionGraph创建函数,选择“Python 2.7”运行时语言,并为函数配置具有访问OBS权限的委托,最后配置函数环境变量:region_id=cn-north-4。创建函数请参见《函数工作流服务用户指南》。 具体代码如下:
求费用说明。 FunctionGraph函数及函数工作流费 算子使用FunctionGraph函数工作流的资源费用。 通过算子对数据进行处理,会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 算子费 算子本身的费用。
数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DWR产品优势、应用场景、基本
OBS请求费用说明。 FunctionGraph函数 算子使用FunctionGraph函数工作流。 1 通过算子对数据进行处理,可能会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 父主题: 抽帧截图(自定义算子)
案例1:使用内置函数触发“无限循环” 用户创建一条工作流workflowA,在工作流中使用了内置的“媒资转码”函数,且配置“媒资转码”函数的转码输出桶为桶A。用户创建一条工作流workflowB,在工作流中使用了内置的“媒资转码”函数,且配置“媒资转码”函数的转码输出桶为桶B。
和第三方。 华为算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建,专业人员审核发布的公共算子,您也可以将自己创建的算子
操作流程 您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
4所示,图片大小均有变小,实现了对图片的压缩。 图4 压缩图片 (可选)查看运行记录 在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面 在工作流列表中,单击工作流“piccomp”操作列的“运行记录”可以查看函数流的执行记录。详细介绍参见函数流执行历史管理。 图5 查看运行记录
秒。 函数唯一标识 选择需要执行的FunctionGraph中的函数。函数需通过FunctionGraph页面创建。 FunctionGraph服务的操作指导请参见《函数工作流用户指南》中“创建并初始化函数”章节的内容。 下拉列表中仅展示与DWR工作流同区域且同项目的函数。工作流
在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。 鼠标单击各流程图标下方的小圆圈并长按拖拽,将工作流完整串联起来。 在函数唯一标识中搜索上文中创建的测试算子。 图1 编排自定义工作流 配置DWR动态参数(dynamic_source) 上文算子测试时我们通过d
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。
数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。 云上近数据处理方式:使用云上存储服务和DWR的近数据处理能力,数据写入存储服务后,自动触发DWR编排的工作流完成数据处理。 表1
事件函数。 函数类型选择“事件函数”,该类型函数可以被事件触发,在DWR的使用过程中为OBS的事件,例如上传对象事件,下载对象事件等。 代码上传方式选择“默认代码”。创建成功后FunctionGraph平台会自动生成一个python代码。 图1 创建函数界面 编辑python代码。
OBS作为DWR数据处理的数据源,当上传至OBS或存储在OBS的数据产生的事件满足触发器规则时,DWR将自动启动关联的工作流进行数据处理。 函数服务 函数工作流(FunctionGraph) DWR中由华为云提供的自有算子均是利用数据处理服务的API,通过FunctionGraph封装而成。
理,上线指导参见API上线云市场。 开发算子:DWR的算子执行依赖FunctionGraph服务提供执行引擎,算子提供方在发布算子前需按照函数开发规范开发算子。 测试算子:算子提供方在发布前可通过自定义算子方式完成DWR的alpha调试,可有效降低发布后的故障率,测试结果也是算子发布时的重要审核项。
在DWR控制台左侧导航栏选择“工作流”,进入“工作流”页面 在工作流列表中,单击工作流“MediaMetadata”操作列的“运行记录”可以查看函数流的执行记录。详细介绍参见函数流执行历史管理。
单击界面右上角的“创建工作流”,进入“工作流编排”页面。 将左侧预置的模板或自定义的函数拖拽至编排区域,同时在右侧属性面板配置基本属性和动态参数,配置完成后图标将由白色填充变为蓝色填充。 各预置模板及自定义函数的参数配置说明,请参见官方算子一览。 使用视频解析、抽帧截图、媒资转码等模板需
见OBS请求费用说明。 FunctionGraph函数 算子使用FunctionGraph函数工作流。 1 通过算子对数据进行处理,会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 抽帧截图算子 使用抽帧截图算子快速构建视频抽帧截图应用。