检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品优势 应用场景 使用限制 计费说明 权限管理 与其他服务的关系 基本概念 03 使用 通过DWR提供的近数据处理能力，您可以对OBS内存储的数据按照编排的工作流进行自动化处理（如解析、转码、截图等）。 算子管理 算子市场 发布算子 华为算子一览 数据处理 数据处理简介 创建工作流
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力，可以对OBS内存储的数据，按照用户编排的工作流进行自动化处理（如解析、转码、截图等）。 DWR基于函数工作流FunctionGraph的函数能力，将复杂的业务处理逻辑编排为工作流，通过事件触发器或API驱动，自动化
案例概述 场景介绍 DWR平台除了提供面向使用者的平台功能，同时也支持合作伙伴将自有功能包装成算子发布到DWR平台上，帮助伙伴快速搭建用户的数据处理工厂。 算子发布流程 图1 算子发布流程图 部署服务：算子提供方需要将自身服务部署在华为云，同时对外提供API，方便用户进行调用。
所有开发者均可以创建用于数据处理的算子，审核通过后发布至DWR算子市场，开放给所有华为云用户使用。 发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。 发布区域：北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是对算子进行编排，这样
算子市场介绍 算子市场即为DWR提供的算子库，提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务，如媒体处理MPC、图像识别Image等，DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力，由第三
圆角剪切 是 对象存储服务OBS 普通裁剪 是 对象存储服务OBS 索引剪切 是 对象存储服务OBS 图片水印 是 对象存储服务OBS 文字水印 是 对象存储服务OBS 缩略图 是 对象存储服务OBS 内切圆裁剪 是 对象存储服务OBS 自适应旋转 是 对象存储服务OBS 基础旋转
OutputFilenames: []string{"out_file1", "out_file2", "out_file3", "out_file4", "out_file5", "out_file6"}, }, }, } // 以下参数需要继承传递，方便工作流下游函数获取对应参数值
件，通过数据处理软件完成数据处理。 传统云上处理方式：使用云上存储服务和数据处理服务，数据写入存储服务后，再调用数据处理服务接口实现数据处理。 云上近数据处理方式：使用云上存储服务和DWR的近数据处理能力，数据写入存储服务后，自动触发DWR编排的工作流完成数据处理。 表1 数据处理方式对比
"Records":[ // 处理对象 ], "dynamic_source": {//执行算子的输出结果 "tasks": [ {body}, // 直接返回body字符串 ] } } 返回方式2：文件流数据 {
根据算子市场上提供的分类进行选择。 算子logo 支持主流图片格式。 图2 算子基本信息 上传算子文件。 上传文件包括：算子代码包、中文和英文帮助文档、中文和英文服务协议文档、中文和英文开源声明、中文和英文测试报告。 图3 上传文件 配置算子参数。 参数 说明 Inputs参数（可选） 提供算子入参中动态
每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。 FunctionGraph函数 算子使用FunctionGraph函数工作流。
API调用费 算子请求OBS API的调用费。 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。 FunctionGraph函数及函数工作流费 算子使用
在DWR服务中创建事件触发器 在OBS服务中上传文件触发工作流执行 使用限制 当前支持使用的区域为：北京四、上海一、上海二、广州、新加坡。 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶，一个用于上传待处理的数据对象，一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。
在工作流列表中，单击工作流“MediaMetadata”操作列的“创建事件触发器”进行触发器的创建，如图2所示。 事件源存储桶选择“piccomp”。 触发器执行存在一定的延时，大概5分钟生效。 图2 创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台，进入桶“piccomp”对象列表页面上传视频，如图3所示。
bucketName = event['Records'][0]['obs']['bucket']['name'] objectKey = urllib.parse.unquote(event['Records'][0]['obs']['object']['key'])
在工作流列表中，单击工作流“MediaTranscode”操作列的“创建事件触发器”进行触发器的创建，如图2所示。 事件源存储桶选择“piccomp”。 触发器执行存在一定的延时，大概5分钟生效。 图2 创建事件触发器 上传文件触发工作流执行 登录OBS服务控制台，进入桶“piccomp”对象列表页面上传视频，如图3所示。
什么是数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示，DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
说明： 当前缀和后缀都不配置时，事件触发器将作用于桶中所有对象。 后缀 使事件触发器生效的对象后缀。 说明： 文件夹是以“/”结尾的，“/”前的字符为文件夹名称。若要对文件夹进行后缀匹配，后缀必须以“/”结尾。 当前缀和后缀都不配置时，事件触发器将作用于桶中所有对象。 单击“确定”，完成事件触发器创建。
上传对象触发工作流执行 完成触发器配置后，工作流已经跟触发器关联，事件源存储桶中监听对象的变化将会触发工作流的执行，这一步我们将上传符合监听事件的对象。 在事件源存储桶中创建一个目录testdir 并上传.png结尾的文件至testdir目录下。 回到DWR工作流列表界面，点击“运行记录”查看工作流执行结果。
视频解析、媒资转码、抽帧截图、添加水印、转封装、审核等 图片 缩略、添加水印、转封装、文字审核、图像审核、人脸识别等 文档 解压、预览等 基因 文件个数统计、模糊搜索、压缩、容量监控通知等 医疗 数据从存储网关到OBS、AI分析、影像筛查等 监控 视频截帧、图片压缩、图片转存、车牌识别、人脸识别、RTMP直存OBS等
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
