检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DWR产品优
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化
发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。 发布区域:北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是对算子进行编排,这样DWR就可以按照用户编排的算子顺序对OBS中的数据进行自动化处理(如视频解析、图片转码、视频截图等)。
处理数据 入门流程 示例:图片质量变换
当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。
创建工作流 操作场景 工作流主要是对算子进行编排,这样DWR就可以按照用户编排的工作流对OBS中的数据进行自动化处理(如视频解析、图片转码、视频截图等)。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“工
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。
数据处理 数据处理介绍 创建工作流 启动工作流
AK/SK通过context 上下文对象保存,需要注意的是这里的AK/SK属于函数配置中的委托,故AK/SK的权限与该委托中的授权范围相同,如果需访问OBS,用户需要对委托进行授权并配置到FunctionGraph的函数配置项中。 桶名以及对象名通过event进行获取。如图2所示,桶名、对象等信息保
图解数据工坊服务
测试算子:算子提供方在发布前可通过自定义算子方式完成DWR的alpha调试,可有效降低发布后的故障率,测试结果也是算子发布时的重要审核项。 发布算子等待审核:算子提供方完成步骤4中的测试后,进入到DWR控制台界面,根据提示信息提供必要的资料提交审核。 本次实践将重点描述步骤3、4、5完成算子的开发、测试、发布。 算子执行原理
Service,OBS) OBS作为DWR数据处理的数据源,当上传至OBS或存储在OBS的数据产生的事件满足触发器规则时,DWR将自动启动关联的工作流进行数据处理。 函数服务 函数工作流(FunctionGraph) DWR中由华为云提供的自有算子均是利用数据处理服务的API,通过FunctionGraph封装而成。
fill:指定一个w和h的矩形,将图片进行等比缩放,取在延伸区域的最小图片,并进行居中剪切。即将mfit缩略类型的图片进行居中剪裁。 pad:指定一个w和h的矩形,将图片进行等比缩放,取在矩形内最大的图片,并在矩形空白处进行颜色填充。即lfit缩略类型的图片在矩形空白处进行颜色填充。 fixed:强制按照固定的宽高进行缩略。
输出值与测试算子的输出结果相同,表示算子已经完成测试,具备发布条件。具备发布条更重要的是动态参数的存在让用户拥有了与算子交互的接口。 动态参数中的桶名称、对象是由用户输入的参数,而触发器中的桶名称、对象则是面向触发器使用,二者不可混淆。 父主题: 发布下载OBS对象的算子
绑定10个触发器。 例如对于媒资转码工作流,用户需要对后缀mp4和mov两种格式的视频进行数据处理。用户需要为该给工作流创建两条触发器,一条用于触发mp4格式的数据处理,一条用于触发mov格式的数据处理。
"obs:object:GetObject" ], "resource": [] } ] 单击右下角的“提交审核”。 审核通过后,算子将发布至算子市场。您可以过滤第三方的算子提供方,查看您发布的算子。 父主题: 发布下载OBS对象的算子
计费项 计费项 说明 OBS API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数及函数工作流费
使用限制 当前支持使用的区域为:北京四、上海一、上海二、广州、新加坡。 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output”
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
在工作流列表中,单击待关联工作流操作列的“创建事件触发器”进行触发器的创建。 图1 创建事件触发器 配置事件触发器参数。 表1 事件触发器参数说明 参数 说明 触发器名称 事件触发器的名称,用户自定义。同一桶内的触发器名称不允许重复。 关联工作流 满足该事件触发器条件时,自动执行的工作流。 事件源存储桶