检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理数据 入门流程 示例:图片质量变换
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DWR产品优
数据处理 数据处理介绍 创建工作流 启动工作流
算子市场 算子市场即DWR提供的算子库,提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三方开发者创建
场景介绍 解析视频的元数据信息,包括:视频时长、视频格式、码率等。用于视频播放时获取时长,分辨率展示 等等。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp”
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。
针对使用DWR做视频转码的场景,如果需要每个对象转码任务的参数不同,可通过给对象增加对象元数据(例如:x-obs-meta-transcode-commands: base64(commands)),再使用DWR集成自定义函数的方式来实现视频转码。 具体的工作流视图如图1所示。 图1
中配置的参数。这也是算子提供方获取用户配置参数的主要方式,后文将对该参数进行更加详细的介绍。bucketname以及object的值根据测试需要,点击函数测试参数配置。 obsclient形参中的server参数为OBS的endpoint,详情参见地区和终端节点。 不同的regi
操作场景 工作流主要是对算子进行编排,这样DWR就可以按照用户编排的工作流对OBS中的数据进行自动化处理(如视频解析、图片转码、视频截图等)。 操作步骤 登录管理控制台。在左侧导航栏上方,单击,选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“工作流”,进入
算子使用FunctionGraph函数工作流的资源费用。 通过算子对数据进行处理,会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 算子费 算子本身的费用。 第三方算子在发布之前需要先在云市场上架,云市场上算子的收费标准由算子发布者决定。
lfit:指定一个w和h的矩形,将图片进行等比缩放,取在矩形内最大的图片。 mfit:指定一个w和h的矩形,将图片进行等比缩放,取在矩形延伸区域的最小图片。 fill:指定一个w和h的矩形,将图片进行等比缩放,取在延伸区域的最小图片,并进行居中剪切。即将mfit缩略类型的图片进行居中剪裁。
发布下载OBS对象的算子 案例概述 开发算子代码 测试算子功能 发布算子
访问其他数据处理服务的权限不会在统一授权时添加,系统会在您创建工作流时,根据工作流函数使用到的服务按需添加。 如果账号的下的IAM用户需要使用DWR,则需要给IAM用户配置FunctionGraph、数据处理服务(如MPC)、SMN等服务的访问权限。具体配置的权限需要和委托的权限保
"obs:object:GetObject" ], "resource": [] } ] 单击右下角的“提交审核”。 审核通过后,算子将发布至算子市场。您可以过滤第三方的算子提供方,查看您发布的算子。 父主题: 发布下载OBS对象的算子
听对象的变化将会触发工作流的执行,这一步我们将上传符合监听事件的对象。 在事件源存储桶中创建一个目录testdir 并上传.png结尾的文件至testdir目录下。 回到DWR工作流列表界面,点击“运行记录”查看工作流执行结果。 图4 查看工作流运行结果 输出值与测试算子的输出结
图解数据工坊服务
当需要使用DWR服务对OBS内存储的数据自动进行多项复杂任务(如解析、转码、截图等)处理时,建议参考表1逐步操作。 表1 DWR使用流程简介 操作步骤 操作说明 步骤一:准备工作 注册华为云账号,并开通数据工坊DWR服务。 (可选)步骤二:浏览算子市场 在算子市场查找需要的算子,了解已有算子的功能。 步骤三:创建工作流
API上线云市场:云市场提供API调用权限的购买入口,算子提供方将步骤1中开放的API注册到云市场中即可获取便捷的收费管理,上线指导参见API上线云市场。 开发算子:DWR的算子执行依赖FunctionGraph服务提供执行引擎,算子提供方在发布算子前需按照函数开发规范开发算子。 测试算子:算子提供方在发布前可通过
Service,OBS) OBS作为DWR数据处理的数据源,当上传至OBS或存储在OBS的数据产生的事件满足触发器规则时,DWR将自动启动关联的工作流进行数据处理。 函数服务 函数工作流(FunctionGraph) DWR中由华为云提供的自有算子均是利用数据处理服务的API,通过FunctionGraph封装而成。