检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力，可以对OBS内存储的数据，按照用户编排的工作流进行自动化处理（如解析、转码、截图等）。 DWR基于函数工作流FunctionGraph的函数能力，将复杂的业务处理逻辑编排为工作流，通过事件触发器或API驱动，自动化
ResponseElements struct { OBSRequestID string `json:"x-obs-request-id"` OBSID2 string `json:"x-obs-id-2"` } //OBSInfo OBS信息 type OBSInfo struct {
也不能再创建与之重名的工作流。 同一桶内的触发器名称不允许重复。 工作流及工作流中使用的FunctionGraph、数据处理服务、消息通知服务、OBS桶等均需要在相同区域的默认项目下。 细粒度授权不支持企业项目。 一个桶支持绑定10个事件触发器。 当前发布算子功能仅支持IAM主账号。
API 算子市场 算子市场即DWR提供的算子库，提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务，如媒体处理MPC、图像识别Image等，DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力，由第三方开发者
创建工作流 操作场景 工作流主要是对算子进行编排，这样DWR就可以按照用户编排的工作流对OBS中的数据进行自动化处理（如视频解析、图片转码、视频截图等）。 操作步骤 登录管理控制台。在左侧导航栏上方，单击，选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“工
便能根据工作流自动处理OBS桶中的数据。 授权过程用户无感知，只需一键操作，系统将自动为您创建IAM委托。 委托一：委托OBS服务访问FunctionGraph服务 委托二：委托FunctionGraph服务访问OBS服务以及其他数据处理服务 在授权前，需要保证账号下至少还可以创建2个委托。
解压、预览等 基因 文件个数统计、模糊搜索、压缩、容量监控通知等 医疗 数据从存储网关到OBS、AI分析、影像筛查等 监控 视频截帧、图片压缩、图片转存、车牌识别、人脸识别、RTMP直存OBS等
事件发生的源桶，即事件在该桶中发生时，触发关联工作流。 该参数不支持修改，默认为创建事件触发器的桶。 事件源类型 使事件触发器生效的事件源类型。目前，OBS支持以下事件源类型： ObjectCreated：表示所有创建对象的操作，包含Put、Post、Copy对象以及合并段。 Put：使用Put方法上传对象。
通过数据处理软件完成数据处理。 传统云上处理方式：使用云上存储服务和数据处理服务，数据写入存储服务后，再调用数据处理服务接口实现数据处理。 云上近数据处理方式：使用云上存储服务和DWR的近数据处理能力，数据写入存储服务后，自动触发DWR编排的工作流完成数据处理。 表1 数据处理方式对比
server='https://obs.cn-north-4.myhuaweicloud.com' #OBS的endpoint，不同region的OBS Endpoint不同 ) bucketName = event['Records'][0]['obs']['bucket']['name']
每个工作流需要绑定一个触发器用于触发执行工作流，该触发器当前仅支持作用于OBS桶上，用户可在触发器中定义工作流的触发方式。 异步启动工作流 调用用户的工作流，并且客户端不关注请求调用的结果，服务端收到请求后将请求排队，排队成功后请求就返回，服务端在空闲的情况下会逐个处理排队的请求。 同步启动工作流
图解数据工坊服务
实施步骤 准备工作 点击开通mpc服务授权。 选择打开委托授权或桶授权。 委托授权：开启后，媒体处理服务将拥有您所有桶的读写权限，子账号不支持委托权限。 桶授权：开启后，媒体处理服务仅拥有已授权桶的读写权限。 操作步骤 登录DWR控制台，在“工作流”页面单击右上角“创建工作流”，
权限隔离。 将DWR资源委托给更专业、高效的其他华为云账号或者云服务，这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DWR服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如图1所示。
启动工作流 通过事件触发器异步启动工作流 通过API异步启动工作流 通过API同步启动工作流 父主题： 数据处理
修订记录 发布日期 修订记录 2023-05-06 第三次正式发布。 本次变更说明如下： 使用限制，新增不支持并行文件系统的限制。 2022-04-30 第二次正式发布。 本次变更说明如下： 增加IAM细粒度授权。 2022-02-14 第一次正式发布。
处理数据 入门流程 示例：图片质量变换
算子管理 算子市场介绍 发布算子 官方算子一览
数据处理 数据处理介绍 创建工作流 启动工作流
相关参考 自定义函数开发规范
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
