检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动工作流 通过事件触发器异步启动工作流 通过API异步启动工作流 通过API同步启动工作流 父主题: 数据处理
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。
上传图片至piccomp桶后OBS会自动生成事件触发工作流运行,将图片压缩。 触发器执行存在一定的延时,大概5分钟生效。 图3 上传文件 查看图片压缩效果 压缩后的图片存放在piccomp-output桶的output文件夹中。如图4所示,图片大小均有变小,实现了对图片的压缩。
产品优势 数据处理方式对比 传统线下处理方式:硬件为用户自建IDC,软件为自研或集成商的数据处理软件,通过数据处理软件完成数据处理。 传统云上处理方式:使用云上存储服务和数据处理服务,数据写入存储服务后,再调用数据处理服务接口实现数据处理。
授权内容: 授权DWR使用您的FunctionGraph服务和DWR工作流中使用到的其他数据处理服务,用以创建函数和通过函数调用其他数据处理服务的API,以便能根据工作流自动处理OBS桶中的数据。 授权过程用户无感知,只需一键操作,系统将自动为您创建IAM委托。
算子管理 算子市场介绍 发布算子 官方算子一览
相关参考 自定义函数开发规范
异步启动工作流 调用用户的工作流,并且客户端不关注请求调用的结果,服务端收到请求后将请求排队,排队成功后请求就返回,服务端在空闲的情况下会逐个处理排队的请求。 同步启动工作流 调用用户的工作流,并且客户端请求需要明确等到响应结果,也就是说同步调用需等待后台处理完成后返回结果。
通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。
准备工作 注册华为账号并开通华为云,再完成实名认证 如果您已有一个华为账号,请跳到下一个任务。如果您还没有华为账号,请参考以下步骤创建。 根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。 关于注册华为账号并开通华为云,请参见注册华为账号并开通华为云。 请参考实名认证完成个人或企业账号实名认证
操作步骤 创建解析对象元数据并封装MPC转码任务的函数。 在FunctionGraph创建函数,选择“Python 2.7”运行时语言,并为函数配置具有访问OBS权限的委托,最后配置函数环境变量:region_id=cn-north-4。
如何测试算子 当算子功能代码开发完毕后,可以在DWR工作流中使用自定义工作流进行测试。请参考测试算子功能。
操作流程 图1 操作流程 父主题: 抽帧截图(官方算子)
抽帧截图(自定义算子) 方案概述 资源和成本 操作流程 实施步骤
实施步骤 准备工作 点击开通mpc服务授权。 选择打开委托授权或桶授权。 委托授权:开启后,媒体处理服务将拥有您所有桶的读写权限,子账号不支持委托权限。 桶授权:开启后,媒体处理服务仅拥有已授权桶的读写权限。 操作步骤 登录DWR控制台,在“工作流”页面单击右上角“创建工作流”,进入创建工作流界面
示例流程 图1 给用户授予DWR权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予数据工坊只读权限“DWR ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能,同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上,帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务:算子提供方需要将自身服务部署在华为云,同时对外提供API,方便用户进行调用。
方案概述 应用场景 需要对视频抽帧截图时,在不编写额外代码的情况下使用抽帧截图算子对视频进行指定时间点截帧。 约束与限制 该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象域名向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例
实施步骤 前提条件 创建依赖包。 登录FunctionGraph控制台,在依赖包管理页面点击“创建依赖包”。 填写相关参数,完成依赖包创建。 在“函数列表”页面单击“创建函数”完成函数创建。 其中委托需要创建能够授权工作流FunctionGraph访问OBS的权限,创建方式参考创建委托
1 通过算子对数据进行处理,会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 抽帧截图算子 使用抽帧截图算子快速构建视频抽帧截图应用。 1 由媒体处理服务MPC进行收费,详情查看计费说明。