检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传统线下处理方式：硬件为用户自建IDC，软件为自研或集成商的数据处理软件，通过数据处理软件完成数据处理。 传统云上处理方式：使用云上存储服务和数据处理服务，数据写入存储服务后，再调用数据处理服务接口实现数据处理。 云上近数据处理方式：使用云上存储服务和DWR的近数据处理能力，数据写入存储服务后，自动触发DWR编排的工作流完成数据处理。
媒资转码”函数，且配置“媒资转码”函数的转码输出桶为桶A。用户创建一条工作流workflowB，在工作流中使用了内置的“媒资转码”函数，且配置“媒资转码”函数的转码输出桶为桶B。然后，在桶B上配置触发器triggerA关联工作流workflowA，在桶A上配置触发器trigger
据工作流函数使用到的服务按需添加。 如果账号的下的IAM用户需要使用DWR，则需要给IAM用户配置FunctionGraph、数据处理服务（如MPC）、SMN等服务的访问权限。具体配置的权限需要和委托的权限保持一致。委托的权限详情可以在“统一身份认证 > 委托”中查看名称以“ob
使用限制 区域限制 当前支持使用的区域为：北京四、上海一、上海二、广州、新加坡。 使用限制 当前仅支持OBS对象桶，不支持并行文件系统。 当前仅支持创建串行的工作流。 一个事件触发器仅支持关联一个工作流，一个工作流可同时被多个事件触发器关联。 当前暂不支持创建重名工作流，即使工作
工作流编排”页面。 将“质量变换”算子拖拽至编排区域进行串联编排，并填写相关属性配置信息，如图1所示。 quality_q代表图片按照原图的q%进行压缩，取值范围为[1，100]，可根据实际情况配置。 quality_bucket为图片处理后的输出桶，这里设置为“piccomp-
所有开发者均可以创建用于数据处理的算子，审核通过后发布至DWR算子市场，开放给所有华为云用户使用。 发布之前请按要求提供算子的基本信息、上传算子所需文件、配置算子参数。 发布区域：北京四、上海一、上海二、广州、新加坡 发布算子 OBS 2.0支持创建工作流 工作流主要是对算子进行编排，这样DWR
了解更多常见问题、案例和解决方案 热门案例 触发器配置不当导致“无限循环”触发工作流如何处理？ 如何测试算子？ 一个事件触发器可以设置多个前缀或者后缀吗？ 技术专题 技术、观点、课程专题呈现 云计算小课专题 云计算知识哪家强，云上小课来开讲！ 云图说合集 云图说系列，是您了解华为云的必备利器
什么是数据工坊 数据工坊（Data Workroom，DWR）是一款近数据处理服务，通过易用的数据处理工作流编排和开放生态的数据处理算子，能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示，DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为自有算子和第三方开发者提供的第三方算子。
函数开发规范。 DWR支持异步和同步两种方式启动工作流，其中同步方式支持直接返回数据： 通过事件触发器启动工作流（异步方式） 在OBS桶上配置事件触发器，指定工作流触发的条件，如桶内什么数据在执行某类操作后开始处理，当事件触发时异步执行满足条件的复杂任务。通常这类复杂任务处理逻辑
265_4K_低码_1入9出”，将片源转为4K、2K、1080等码率的视频。该模板实际调用的是MPC服务的新建转码任务接口。 约束与限制 媒资转码算子不支持同步返回，如您配置了同步工作流执行媒资转码算子，则会采用异步方式执行，且返回值会格式异常。 流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建
算子已在华为云云市场上架，上架指导参考发布API类商品操作指导。 操作步骤 登录管理控制台。在左侧导航栏上方，单击，选择“存储 > 数据工坊DWR”。 进入DWR页面。 在左侧导航栏选中“发布算子”，进入“发布算子”页面。 单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息
在左侧导航栏选中“发布算子”，进入“发布算子”页面。 单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 算子名称不能与本用户已有的算子重名。 算子提供方 - 算子描述 - API链接 填写华为云云商店已上架的算子链接。 算子分类 根据算子市场上提供的分类进行选择。
与其他服务的关系 DWR数据处理的数据源是华为云存储服务，DWR提供的华为云自有算子是通过函数生成，且能力源是华为云数据处理相关的云服务。因此，DWR与其他服务的关系如表1所示。 表1 DWR与其他云服务的关系 服务类别 服务名称 交互关系 存储服务 对象存储服务（Object Storage
建议信息 选择“视频解析“算子 单击“创建工作流“ 在DWR服务中创建工作流 将“视频解析”算子拖拽至编排区域进行串联编排，并填写相关属性配置信息，如图1所示。 bucket为视频处理后的输出桶，这里设置为“piccomp-output”。 保存并填写工作流名称“MediaMetadata”。
创建解析对象元数据并封装MPC转码任务的函数。 在FunctionGraph创建函数，选择“Python 2.7”运行时语言，并为函数配置具有访问OBS权限的委托，最后配置函数环境变量：region_id=cn-north-4。创建函数请参见《函数工作流服务用户指南》。 具体代码如下： 1
子加入工作流中，从而快速构建特有的数据处理功能。 触发器 每个工作流需要绑定一个触发器用于触发执行工作流，该触发器当前仅支持作用于OBS桶上，用户可在触发器中定义工作流的触发方式。 异步启动工作流 调用用户的工作流，并且客户端不关注请求调用的结果，服务端收到请求后将请求排队，排队
启动工作流 通过事件触发器异步启动工作流 通过API异步启动工作流 通过API同步启动工作流 父主题： 数据处理
资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理，都会涉及到对OBS API的调用，每调用一次API都计算一次请求次数。对象存储服务OBS会根据调用API的请求次数进行费用收取，收取详情参见OBS请求费用说明。
修订记录 发布日期 修订记录 2023-05-06 第三次正式发布。 本次变更说明如下： 使用限制，新增不支持并行文件系统的限制。 2022-04-30 第二次正式发布。 本次变更说明如下： 增加IAM细粒度授权。 2022-02-14 第一次正式发布。
处理数据 入门流程 示例：图片质量变换
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
